Een raad van commissarissen hoeft niet te begrijpen hoe een taalmodel werkt om goed toezicht te houden op AI. Wat nodig is, zijn vijf vaste vragen per kwartaal. Het antwoord laat zien of AI waarde oplevert, of iemand verantwoordelijk is en of de organisatie kan stoppen als het misgaat.
Toezicht op de jaarrekening werkt ook zo. Je hoeft niet zelf te boeken om te zien of de cijfers kloppen. Je moet weten welke vragen je stelt en hoe een goed antwoord eruitziet.
Deze vijf vragen komen voort uit ons kader voor AI-governance: waarde, ethische kaders en stopregels, op een fundament van cybersecurity en datasoevereiniteit. Lees het volledige kader in AI-governance voor bestuur en RvC: waarde, ethiek en stopregels.
Vijf vaste vragen per kwartaal, van register tot regie.
1. Welke AI-toepassingen draaien er en wie is per toepassing eigenaar?
Waarom deze vraag: je kunt geen toezicht houden op iets wat je niet kunt zien. In veel organisaties weet niemand precies welke AI er draait. Er is een chatbot hier, een Copilot-licentie daar en een pilot die nooit formeel is gestopt.
Een goed antwoord: een AI-register op één pagina. Per toepassing staat erin wat die doet, wat de status is (pilot, in gebruik, gestopt) en wie de business-eigenaar is. Een eigenaar is een persoon, geen afdeling.
Doorvragen als:
- het antwoord "IT" of "het datateam" is. Dan is de eigenaar onduidelijk;
- het register sinds vorig kwartaal niet is bijgewerkt;
- medewerkers AI-tools gebruiken die niet in het register staan.
2. Wat hebben ze opgeleverd ten opzichte van de businesscase?
Waarom deze vraag: AI-projecten worden vaak gestart op enthousiasme en voortgezet op gewoonte. Zonder meting weet niemand of een toepassing haar kosten waard is.
Een goed antwoord: per toepassing een businesscase van vóór de start, met een nulmeting en een doel. Daarnaast staat de actuele stand. Bijvoorbeeld: het aantal uur per week dat aan het controleren van cijfers opgaat, het percentage AI-antwoorden dat als correct is beoordeeld en het aantal actieve gebruikers.
Doorvragen als:
- baten worden beschreven in plaats van gemeten ("medewerkers zijn enthousiast");
- er geen nulmeting is, want dan is elke verbetering een aanname;
- de lopende kosten niet bekend zijn. Bij AI groeien die mee met het gebruik. Zie ook De rekening van een agent staat vast voordat hij draait.
3. Is een afbreekcriterium geraakt en wat is er besloten?
Waarom deze vraag: dit is de vraag die het vaakst ontbreekt en misschien de belangrijkste. Een toepassing zonder stopregels loopt door omdat ze nu eenmaal gestart is.
Een goed antwoord: voor elke toepassing liggen afbreekcriteria vast die vóór livegang zijn bepaald. Het gaat om drempels voor kwaliteit, gebruik, kosten, datakwaliteit, privacy en bias. Het antwoord noemt ook of een drempel is geraakt en wat de directie toen besloot: doorgaan, bijsturen of stoppen.
Doorvragen als:
- er nooit een criterium wordt geraakt, want dat kan betekenen dat niemand meet;
- drempels achteraf zijn verschoven;
- niemand kan zeggen hoe je een toepassing technisch stopt en hoe snel.
4. Waren er incidenten en zijn ze binnen de termijnen gemeld?
Waarom deze vraag: onder de Cyberbeveiligingswet en de AVG gelden vaste meldtermijnen en die klok loopt vanaf het moment van ontdekking.23 Bestuurders zijn eindverantwoordelijk. Te laat melden is een tweede incident bovenop het eerste.
Een goed antwoord: een overzicht van incidenten en bijna-incidenten, met per incident wanneer het is ontdekt, gemeld en opgelost. Daarnaast een escalatieladder met vaste termijnen, die jaarlijks is getest.
Doorvragen als:
- er nooit bijna-incidenten zijn. Een gezonde organisatie ziet die wel;
- de RvC pas achteraf hoort van een significant incident;
- de laatste calamiteitentest meer dan een jaar geleden is.
5. Blijft alle data in de EU en onder onze regie?
Waarom deze vraag: elke nieuwe koppeling met klanten, partners of een AI-model is een nieuwe route waarlangs data kan weglekken. Daarnaast worden klanten en toezichthouders kritischer op waar data staat en wie erbij kan.
Een goed antwoord: elke datakoppeling doorloopt dezelfde controles. Data blijft in de EU, er is een verwerkersovereenkomst vóór de eerste datastroom, het doel is vastgelegd, toegang loopt via één identiteit met minimale rechten en er is een exit-strategie.
Doorvragen als:
- het antwoord "we zitten in een EU-regio" is en verder niets. Bij Amerikaanse leveranciers sluit dat toegang onder Amerikaans recht niet volledig uit;
- er koppelingen zijn zonder vastgelegd doel;
- niemand weet hoe lang een overstap naar een andere leverancier zou duren.
Per vraag: hoe een goed antwoord eruitziet en wanneer je doorvraagt.
Hoe je dit praktisch organiseert
De vijf vragen werken het best als ze een vast agendapunt zijn, met een dashboard van één pagina waarop de directie antwoord geeft. Dat dashboard bevat:
- het AI-register met eigenaren en status;
- de baten tegenover de kosten per toepassing;
- de geraakte afbreekcriteria en de besluiten die zijn genomen;
- de incidenten en meldtermijnen;
- de status van cybersecurity en NIS2.
Eén keer per jaar toetst de RvC het kader zelf: zijn dit nog de goede vragen? Plan daar ook een korte sessie AI-geletterdheid voor de RvC bij. De AI Act vraagt AI-geletterdheid van wie met AI werkt en toezicht houden hoort daarbij.1
Zo'n dashboard vraagt wel iets van je data. Als elke toepassing haar eigen definities en logging heeft, kost het elk kwartaal dagen om het in te vullen. Als alles door één laag loopt, is het een export. Zie Verbind één keer, niet per agent.
