Stopregels zijn de criteria waarop je een AI-toepassing pauzeert, bijstuurt of stopt, vastgelegd vóórdat de toepassing live gaat. Ze beantwoorden drie vragen: bij welke drempel grijpen we in, wie besluit en hoe snel kunnen we de toepassing technisch uitzetten?
De meeste organisaties hebben voor een AI-project een startbesluit. Bijna niemand heeft een stopbesluit. Het gevolg is voorspelbaar: een toepassing die slecht presteert, blijft draaien. Er is al in geïnvesteerd, er zijn mensen aan gewend en niemand heeft ooit afgesproken wanneer het genoeg is.
Stopregels zijn het derde deel van ons kader voor AI-governance, na waarde en ethische kaders. Lees het volledige kader in AI-governance voor bestuur en RvC: waarde, ethiek en stopregels.
Waarom vóór livegang?
Drie redenen.
Achteraf is iedereen partijdig. Zodra een toepassing draait, heeft iemand er zijn naam aan verbonden. Een drempel die je dan nog vaststelt, wordt onbewust zo gekozen dat de toepassing er net boven zit.
Een drempel dwingt tot meten. Wie vooraf afspreekt dat minder dan 90% correcte antwoorden een reden is om te pauzeren, moet ook regelen dat correctheid wordt gemeten. Zonder stopregel meet niemand het.
Bij een incident is er geen tijd voor overleg. Als persoonsgegevens op de verkeerde plek terechtkomen, moet de toepassing direct uit. Wie dan nog moet uitzoeken wie dat mag besluiten, verliest uren.
Twee soorten stopregels
Niet elke drempel vraagt hetzelfde gevolg. Maak onderscheid tussen evaluerende en absolute stopregels.
Evaluerende stopregels: pauzeren, herstellen of heroverwegen
Deze criteria gaan over prestaties. Als een drempel wordt geraakt, volgt een besluit, geen automatische stop.
| Criterium | Voorbeeld van een drempel | Gevolg |
|---|---|---|
| Kwaliteit | Minder dan 90% correcte antwoorden over 4 weken | Pauzeren, herstellen, opnieuw toetsen |
| Gebruik | Minder dan het afgesproken aantal actieve gebruikers na 3 maanden | Stoppen of herontwerpen |
| Kosten | Meer dan 20% boven begroting | Directie besluit over voortzetting |
| Datakwaliteit | Kwaliteitscontroles op de bron falen structureel | Toepassing tijdelijk uit tot de bron is hersteld |
| Waarde | Baat blijft na twee kwartalen onder de helft van de businesscase | Heroverwegen of stoppen |
Absolute stopregels: direct uit, daarna onderzoek
Deze criteria gaan over schade. Hier wacht je niet op een evaluatie.
| Criterium | Drempel | Gevolg |
|---|---|---|
| Privacy of beveiliging | Elk incident met persoonsgegevens | Direct stoppen en escaleren |
| Bias of klantimpact | Aantoonbaar scheve of schadelijke uitkomst | Direct stoppen, onderzoek |
| Buiten het doel | De toepassing wordt gebruikt voor iets waar ze niet voor is goedgekeurd | Direct stoppen, opnieuw beoordelen |
Het laatste criterium wordt vaak vergeten. Een toepassing die is goedgekeurd voor klantinzicht en ongemerkt wordt gebruikt om medewerkers te beoordelen, verandert van risicocategorie. Onder de AI Act kan ze dan hoog-risico worden. Zie Wat is de EU AI Act?.
Evaluerende stopregels leiden tot een besluit, absolute stopregels zetten de toepassing direct uit.
Hoe je de drempels bepaalt
Stopregels zijn geen losse getallen. Ze komen voort uit de businesscase.
- Begin bij de nulmeting. Hoeveel uur kost het werk nu? Hoe vaak klopt het huidige antwoord? Zonder nulmeting weet je niet wat "slechter" is.
- Leid de drempel af van de belofte. Belooft de businesscase 10 uur per week tijdwinst, dan is 3 uur na twee kwartalen een signaal. Belooft ze betere antwoorden dan de huidige rapportage, dan is een lager correctheidspercentage een reden om te stoppen.
- Kies een meetperiode. Eén slechte dag is geen trend. Vier weken is een redelijke periode voor kwaliteit, drie maanden voor gebruik.
- Leg vast wie meet. Een drempel zonder meting is een wens. Correctheid meet je bijvoorbeeld via een feedbackknop bij elk antwoord en een steekproef door de eigenaar.
- Laat de directie de drempels vaststellen, per toepassing, bij het besluit over de businesscase.
Een drempel komt voort uit de businesscase, niet uit een los getal.
De voorbeelddrempels in dit artikel zijn een startpunt, geen norm. Een toepassing die contracten doorzoekt, vraagt een hogere correctheid dan een toepassing die ideeën genereert.
Wie besluit?
Stopregels werken alleen als duidelijk is wie wat mag.
| Rol | Bij evaluerende stopregels | Bij absolute stopregels |
|---|---|---|
| Eigenaar van de toepassing | Signaleert en stelt een besluit voor | Zet de toepassing direct uit, of laat dat doen |
| IT of beheer | Levert de metingen | Voert de stop uit en beperkt de schade |
| Directie | Besluit: doorgaan, bijsturen of stoppen | Besluit over maatregelen en externe meldingen |
| RvC | Ziet elk kwartaal welke drempels zijn geraakt | Wordt geïnformeerd bij elk significant incident |
Het belangrijkste principe: bij een absolute stopregel mag de eigenaar direct stoppen zonder toestemming te vragen. Achteraf verantwoorden is beter dan vooraf wachten.
Kun je ook echt stoppen?
Dit is de vraag die in de praktijk het vaakst misgaat. Een stopregel op papier is waardeloos als niemand weet hoe je de toepassing uitzet.
Stel jezelf per toepassing deze vragen:
- Waar zet je het uit? Is dat één schakelaar, of moet je vijf systemen langs?
- Wat stopt er precies? Alleen de chatinterface, of ook de agent die op de achtergrond data ophaalt?
- Welke sleutels moet je intrekken? Heeft de toepassing eigen API-sleutels of koppelingen met externe partijen?
- Hoe lang duurt het? Minuten, uren of dagen?
- Wat merkt de gebruiker? Krijgt die een duidelijke melding, of een foutmelding zonder uitleg?
Hoe meer toepassingen je hebt, hoe belangrijker het wordt dat ze allemaal door dezelfde laag lopen. Dan kun je op één plek toegang intrekken, op één plek zien wat er gebeurt en op één plek stoppen. Als elke agent zijn eigen koppelingen heeft, wordt stoppen een zoektocht. Zie Verbind één keer, niet per agent.
Test het. Zet elke toepassing minstens één keer per jaar bewust uit, net als een calamiteitentest. Meet hoe lang het duurt en wat er misging.
Valkuilen
- Drempels achteraf verschuiven. Als een drempel wordt geraakt en het antwoord is een nieuwe drempel, heb je geen stopregel. Aanpassen mag, maar alleen als apart, vastgelegd directiebesluit.
- Nooit een drempel raken. Dat klinkt goed, maar betekent vaak dat niemand meet. Een gezonde organisatie raakt af en toe een evaluerende drempel en stuurt bij.
- Alleen kwaliteit meten. Een toepassing die goede antwoorden geeft maar door niemand wordt gebruikt, kost geld zonder waarde op te leveren.
- Kosten vergeten. Bij AI groeien de kosten mee met het gebruik en agents kunnen onverwacht duur worden. Zie De rekening van een agent staat vast voordat hij draait.
- Stoppen zien als falen. Een toepassing stoppen omdat ze niet oplevert wat ze beloofde, is goed bestuur. Het maakt ruimte voor de volgende toepassing op de lijst.
Een template om mee te beginnen
Leg per toepassing op één pagina vast:
Toepassing: [naam]
Eigenaar: [persoon]
Doel: [waarvoor goedgekeurd en waarvoor niet]
Nulmeting: [huidige situatie]
Belofte: [baat uit de businesscase]
Evaluerende stopregels
Kwaliteit: [drempel] over [periode] → [gevolg]
Gebruik: [drempel] na [periode] → [gevolg]
Kosten: [drempel] → [gevolg]
Datakwaliteit: [drempel] → [gevolg]
Absolute stopregels
Privacy/security: elk incident → direct uit, escaleren
Bias/klantimpact: aantoonbare schade → direct uit, onderzoek
Buiten doel: gebruik buiten goedkeuring → direct uit
Stoppen
Waar: [plek/schakelaar]
Door wie: [rol]
Hersteltijd: [getest op datum, duur]
Vastgesteld door directie op: [datum]
Evaluatie: maandelijks (eigenaar), per kwartaal (directie en RvC)
