Stopregels voor AI: afbreekcriteria vastleggen vóór livegang

Stopregels zijn de criteria waarop je een AI-toepassing pauzeert, bijstuurt of stopt, vastgelegd vóórdat de toepassing live gaat. Ze beantwoorden drie vragen: bij welke drempel grijpen we in, wie besluit, en hoe snel kunnen we de toepassing technisch uitzetten?

De meeste organisaties hebben voor een AI-project een startbesluit. Bijna niemand heeft een stopbesluit. Het gevolg is voorspelbaar: een toepassing die slecht presteert, blijft draaien. Er is al in geïnvesteerd, er zijn mensen aan gewend, en niemand heeft ooit afgesproken wanneer het genoeg is.

Stopregels zijn het derde deel van ons kader voor AI-governance, na waarde en ethische kaders. Lees het volledige kader in AI-governance voor bestuur en RvC: waarde, ethiek en stopregels.

Waarom vóór livegang?

Drie redenen.

Achteraf is iedereen partijdig. Zodra een toepassing draait, heeft iemand er zijn naam aan verbonden. Een drempel die je dan nog vaststelt, wordt onbewust zo gekozen dat de toepassing er net boven zit.

Een drempel dwingt tot meten. Wie vooraf afspreekt dat minder dan 90% correcte antwoorden een reden is om te pauzeren, moet ook regelen dat correctheid wordt gemeten. Zonder stopregel meet niemand het.

Bij een incident is er geen tijd voor overleg. Als persoonsgegevens op de verkeerde plek terechtkomen, moet de toepassing direct uit. Wie dan nog moet uitzoeken wie dat mag besluiten, verliest uren.

Twee soorten stopregels

Niet elke drempel vraagt hetzelfde gevolg. Maak onderscheid tussen evaluerende en absolute stopregels.

Evaluerende stopregels: pauzeren, herstellen of heroverwegen

Deze criteria gaan over prestaties. Als een drempel wordt geraakt, volgt een besluit, geen automatische stop.

Absolute stopregels: direct uit, daarna onderzoek

Deze criteria gaan over schade. Hier wacht je niet op een evaluatie.

Het laatste criterium wordt vaak vergeten. Een toepassing die is goedgekeurd voor klantinzicht en ongemerkt wordt gebruikt om medewerkers te beoordelen, verandert van risicocategorie. Onder de AI Act kan ze dan hoog-risico worden. Zie Wat is de EU AI Act?.

Evaluerende stopregels leiden tot een besluit, absolute stopregels zetten de toepassing direct uit.

Hoe je de drempels bepaalt

Stopregels zijn geen losse getallen. Ze komen voort uit de businesscase.

1. Begin bij de nulmeting. Hoeveel uur kost het werk nu? Hoe vaak klopt het huidige antwoord? Zonder nulmeting weet je niet wat "slechter" is.
2. Leid de drempel af van de belofte. Belooft de businesscase 10 uur per week tijdwinst, dan is 3 uur na twee kwartalen een signaal. Belooft ze betere antwoorden dan de huidige rapportage, dan is een lager correctheidspercentage een reden om te stoppen.
3. Kies een meetperiode. Eén slechte dag is geen trend. Vier weken is een redelijke periode voor kwaliteit, drie maanden voor gebruik.
4. Leg vast wie meet. Een drempel zonder meting is een wens. Correctheid meet je bijvoorbeeld via een feedbackknop bij elk antwoord en een steekproef door de eigenaar.
5. Laat de directie de drempels vaststellen, per toepassing, bij het besluit over de businesscase.

Een drempel komt voort uit de businesscase, niet uit een los getal.

De voorbeelddrempels in dit artikel zijn een startpunt, geen norm. Een toepassing die contracten doorzoekt, vraagt een hogere correctheid dan een toepassing die ideeën genereert.

Wie besluit?

Stopregels werken alleen als duidelijk is wie wat mag.

Het belangrijkste principe: bij een absolute stopregel mag de eigenaar direct stoppen zonder toestemming te vragen. Achteraf verantwoorden is beter dan vooraf wachten.

Kun je ook echt stoppen?

Dit is de vraag die in de praktijk het vaakst misgaat. Een stopregel op papier is waardeloos als niemand weet hoe je de toepassing uitzet.

Stel jezelf per toepassing deze vragen:

• Waar zet je het uit? Is dat één schakelaar, of moet je vijf systemen langs?
• Wat stopt er precies? Alleen de chatinterface, of ook de agent die op de achtergrond data ophaalt?
• Welke sleutels moet je intrekken? Heeft de toepassing eigen API-sleutels of koppelingen met externe partijen?
• Hoe lang duurt het? Minuten, uren of dagen?
• Wat merkt de gebruiker? Krijgt die een duidelijke melding, of een foutmelding zonder uitleg?

Hoe meer toepassingen je hebt, hoe belangrijker het wordt dat ze allemaal door dezelfde laag lopen. Dan kun je op één plek toegang intrekken, op één plek zien wat er gebeurt en op één plek stoppen. Als elke agent zijn eigen koppelingen heeft, wordt stoppen een zoektocht. Zie Verbind één keer, niet per agent.

Test het. Zet elke toepassing minstens één keer per jaar bewust uit, net als een calamiteitentest. Meet hoe lang het duurt en wat er misging.

Valkuilen

• Drempels achteraf verschuiven. Als een drempel wordt geraakt en het antwoord is een nieuwe drempel, heb je geen stopregel. Aanpassen mag, maar alleen als apart, vastgelegd directiebesluit.
• Nooit een drempel raken. Dat klinkt goed, maar betekent vaak dat niemand meet. Een gezonde organisatie raakt af en toe een evaluerende drempel en stuurt bij.
• Alleen kwaliteit meten. Een toepassing die goede antwoorden geeft maar door niemand wordt gebruikt, kost geld zonder waarde op te leveren.
• Kosten vergeten. Bij AI groeien de kosten mee met het gebruik, en agents kunnen onverwacht duur worden. Zie De rekening van een agent staat vast voordat hij draait.
• Stoppen zien als falen. Een toepassing stoppen omdat ze niet oplevert wat ze beloofde, is goed bestuur. Het maakt ruimte voor de volgende toepassing op de lijst.

Een template om mee te beginnen

Leg per toepassing op één pagina vast:

Toepassing:         [naam]
Eigenaar:           [persoon]
Doel:               [waarvoor goedgekeurd, en waarvoor niet]
Nulmeting:          [huidige situatie]
Belofte:            [baat uit de businesscase]

Evaluerende stopregels
  Kwaliteit:        [drempel] over [periode] → [gevolg]
  Gebruik:          [drempel] na [periode] → [gevolg]
  Kosten:           [drempel] → [gevolg]
  Datakwaliteit:    [drempel] → [gevolg]

Absolute stopregels
  Privacy/security: elk incident → direct uit, escaleren
  Bias/klantimpact: aantoonbare schade → direct uit, onderzoek
  Buiten doel:      gebruik buiten goedkeuring → direct uit

Stoppen
  Waar:             [plek/schakelaar]
  Door wie:         [rol]
  Hersteltijd:      [getest op datum, duur]

Vastgesteld door directie op: [datum]
Evaluatie:          maandelijks (eigenaar), per kwartaal (directie en RvC)

Veelgestelde vragen

Zijn stopregels verplicht onder de AI Act? Niet onder die naam. Voor hoog-risico-AI vraagt de AI Act wel om risicobeheer en menselijk toezicht, inclusief de mogelijkheid om het systeem te onderbreken.¹ Voor alle andere toepassingen zijn stopregels simpelweg goed bestuur.

Wie stelt de drempels vast? De directie, per toepassing, bij het besluit over de businesscase. De eigenaar doet een voorstel.

Wat als een drempel wordt geraakt maar de toepassing wel waardevol is? Dan besluit de directie bewust om door te gaan, met een reden en een nieuwe evaluatiedatum. Het verschil met geen stopregel is dat het een besluit is en geen gewoonte.

Gelden stopregels ook voor een pilot? Juist voor een pilot. Een pilot zonder einddatum en zonder stopcriteria wordt ongemerkt productie.

Waar begin je? Met de toepassing die nu het meest wordt gebruikt. Vul het template in en test of je haar kunt uitzetten. Vraag een fundamentscan aan.