Niet 'het voelt beter'. Veertien vragen beter, twee slechter.
Elke eigen agent krijgt zijn eigen set vragen. Een nieuwe versie beantwoordt die naast de live versie. De beoordelaar beslist met een scorekaart voor zich, niet op een goed gevoel.
Je vraagt het de assistent die je al gebruikt.
Datahub is headless: ook benchmarks zijn bereikbaar via MCP. Je start een vergelijking en leest de uitkomst in Copilot, Claude, ChatGPT of een andere assistent.
Dezelfde vragen. Twee versies. Een eerlijke jury.
Een wijziging aan een agent begint als concept, wordt beoordeeld en gaat dan pas live. Een benchmark voegt bewijs toe aan die weg.
Getest als de mensen die hem gaan gebruiken.
Het antwoord van een agent hangt af van wat hij mag zien. Daarom draait een benchmark zoals de agent straks echt draait.
De scorekaart adviseert. Mensen beslissen.
Dient een maker een nieuwe versie in, dan draait de benchmark vanzelf. De scorekaart verschijnt bij de beoordeling. Geen versie wordt tegengehouden door een getal, want de eigenaars weten dingen die geen score vangt.
De live versie antwoordt door terwijl de nieuwe wordt gewogen.
Een auditor kan uitleggen waarom een versie live ging.
Elke run legt vast wie hem draaide, onder welke rol, welke versies zijn vergeleken en welke jury oordeelde. Teams durven daardoor vaker te verbeteren, omdat elke wijziging tegen dezelfde vragen wordt gelegd.
Wie, welke rol, welke versies, welke jury.
Wat beoordelaars willen weten.
Betere agents. En het bewijs dat ze beter zijn.
In een kennismaking wordt bekeken welke agent in je organisatie het eerst een eigen set vragen verdient.