Maandagochtend. Een data steward scherpt de finance-agent aan. De nieuwe versie gaat beter om met kostenplaatsen en noemt sneller zijn bronnen. Voor hij live gaat, stelt de beoordelaar de vraag die elke beoordelaar stelt: is hij echt beter, of alleen anders?
Het eerlijke antwoord was tot nu toe een paar testvragen en een goed gevoel. Dat is geen verwijt aan de beoordelaar. Er was simpelweg niets beters.
Waarom een goed gevoel niet genoeg is
Een agent is geen rapport. Bij een rapport klopt het cijfer of het klopt niet. Een agent antwoordt in taal, op vragen die niemand vooraf kent. Wie één instructie aanpast, verandert zijn gedrag ook op plekken waar hij niet aan dacht. De vraag over kostenplaatsen gaat beter. De vraag over afschrijvingen, die vorige maand nog goed ging, misschien niet meer.
Daar komt bij dat een taalmodel niet twee keer precies hetzelfde zegt. Eén goed antwoord in een test kan geluk zijn. Wie op een handvol testvragen afgaat, keurt dus soms een toevalstreffer goed.
Het gevolg is voorspelbaar. Teams die dat risico zien, laten hun agent liever met rust. Teams die het niet zien, passen hem aan en merken het later. In beide gevallen groeit de agent niet mee met het werk.
Een handvol testvragen tegenover een vaste set, meerdere keren gesteld en getest als de gebruiker.
Wat een benchmark verandert
In Datahub volgt een eigen agent al een vaste weg: een wijziging begint als concept, wordt beoordeeld en gaat dan pas live. Agent-benchmarks voegen bewijs toe aan die weg. Vier dingen maken het verschil.
Van een eigen set vragen tot het besluit van een mens.
Elke agent heeft zijn eigen set vragen. De vragen die hij goed moet hebben, met het verwachte antwoord waar dat er is. Het team dat eigenaar is van de agent beheert de set. Elke vraag die ooit misging komt erbij, zodat dezelfde fout niet ongemerkt terugkomt.
De nieuwe versie ligt naast de live versie. Beide beantwoorden dezelfde vragen, elk meerdere keren. Zo telt een gelukkig antwoord niet als verbetering.
De jury weet niet wie wat schreef. Een AI-jury vergelijkt elk paar antwoorden twee keer, in beide volgordes. Spreken de twee oordelen elkaar tegen, dan is het gelijkspel. Welk model oordeelde, staat op elke scorekaart. Daardoor blijven uitkomsten over tijd vergelijkbaar.
De scorekaart is leesbaar. Beter, gelijk, slechter. De vragen die slechter gingen staan bovenaan, met beide antwoorden naast elkaar.
Niet "het voelt beter". Veertien vragen beter, twee slechter. En hier zijn die twee.
Getest als de mensen die hem gebruiken
Wat een agent antwoordt, hangt af van wat hij mag zien. Een controller ziet meer dan een stagiair en krijgt dus terecht een ander antwoord. Een agent krijgt daarbij betekenis en geen bulk. Een test die draait met de rechten van de maker zegt daarom weinig over wat de gebruiker straks krijgt.
Een benchmark draait zoals de agent echt gaat draaien. Dat kan als een rol: de agent antwoordt zoals een controller of een salesleider hem zou zien, met precies die toegang. De maker ziet daarbij nooit meer dan zijn eigen rol toestaat.
Het kan ook met de eigen rechten van de agent, voor agents die onder eigen, goedgekeurde toegang werken. Dan lezen alleen de mensen die die toegang goedkeuren de antwoorden. Alle anderen zien de scores.
De scorekaart adviseert, mensen beslissen
Dient een maker een nieuwe versie in, dan draait de benchmark vanzelf. De scorekaart verschijnt bij de beoordeling.
Een versie wordt nooit tegengehouden door een getal. Dat is een bewuste keuze. De eigenaars van een agent weten dingen die geen score vangt: dat een vraag achterhaald is, of dat één verslechtering het waard is voor wat ervoor terugkomt. Wat verandert is het gesprek. Van "ziet er goed uit" naar "twaalf vragen beter, laten we naar die ene kijken".
Er is nog een lezer: de auditor. Elke run legt vast wie hem draaide, onder welke rol, welke versies zijn vergeleken en welke jury oordeelde. Waarom een versie live ging, is daarmee na te vertellen. Hoe rollen en het logboek verder zijn ingericht, staat bij beveiliging.
Je vraagt het je eigen assistent
Hiervoor hoeft niemand een nieuw programma te leren. Datahub is headless: ook benchmarks zijn bereikbaar via MCP. Je vraagt de assistent die je al gebruikt om de nieuwe versie met de live versie te vergelijken. Daar lees je ook de uitkomst. Waarom je daarvoor één keer verbindt en niet per agent, lees je in een eerder artikel.
Benchmarks draaien in je eigen Datahub-omgeving, op het AI-model dat je organisatie al koos, onder dezelfde rollen, guardrails en audit trail als elke andere actie van een agent.
Waar je mee begint
- Kies de agent die het meest wordt gebruikt.
- Laat het team dat eigenaar is tien vragen opschrijven die hij goed moet hebben.
- Voeg elke vraag toe die in de praktijk misgaat.
- Vergelijk de volgende wijziging met de live versie voor je hem indient.
Betere agents zijn goed. Betere agents waarvan je kunt laten zien dat ze beter zijn, verdienen vertrouwen.
Lees verder over agent-benchmarks, eigen agents en het bedrijfsbrein waarop ze draaien.
