Agent-benchmarks

    Niet 'het voelt beter'. Veertien vragen beter, twee slechter.

    Elke eigen agent krijgt zijn eigen set vragen. Een nieuwe versie beantwoordt die naast de live versie. De beoordelaar beslist met een scorekaart voor zich, niet op een goed gevoel.

    14 beter4 gelijk2 slechtereerst wat slechter werdlivenieuw
    Zo werkt het

    Je vraagt het de assistent die je al gebruikt.

    Datahub is headless: ook benchmarks zijn bereikbaar via MCP. Je start een vergelijking en leest de uitkomst in Copilot, Claude, ChatGPT of een andere assistent.

    Vergelijk mijn nieuwe versie van de finance-agent met de live versie.

    je assistentBeide versies beantwoorden dezelfde twintig vragen, elk meerdere keren. De scorekaart volgt.als rol: controller

    Je vraagt om de vergelijking.

    Geen testscript en geen apart programma. Je assistent start de benchmark binnen jouw rechten.

    Waar is hij slechter geworden?

    je assistentOp twee vragen over kostenplaatsen. Ik zet beide antwoorden naast elkaar.14 beter · 4 gelijk · 2 slechter

    Je leest wat er veranderde.

    De vragen die slechter gingen staan bovenaan. Daar zit het gesprek, niet in het gemiddelde.

    Dien deze versie in ter beoordeling.

    je assistentIngediend. De scorekaart staat bij de beoordeling. Goedkeuren doet de steward.wacht op goedkeuring

    Een mens beslist.

    Je assistent kan indienen, niet goedkeuren. De beoordelaar ziet het bewijs en neemt het besluit.

    Wat erin zit

    Dezelfde vragen. Twee versies. Een eerlijke jury.

    Een wijziging aan een agent begint als concept, wordt beoordeeld en gaat dan pas live. Een benchmark voegt bewijs toe aan die weg.

    ging één keer mis

    Een eigen set vragen per agent.

    De vragen die je agent goed moet hebben, met het verwachte antwoord waar dat er is. Het team dat eigenaar is van de agent beheert de set. Elke vraag die ooit misging komt erbij.

    livenieuwzelfde vraag

    Naast de live versie gelegd.

    De nieuwe versie en de live versie beantwoorden dezelfde vragen, elk meerdere keren. Zo telt een toevalstreffer niet als verbetering.

    ABBAoordeel

    Een jury die niet weet wie wat schreef.

    Een AI-jury vergelijkt elk paar antwoorden twee keer, in beide volgordes. Spreken de twee oordelen elkaar tegen, dan is het gelijkspel. Het jurymodel staat op elke scorekaart.

    Getest zoals gebruikt

    Getest als de mensen die hem gaan gebruiken.

    Het antwoord van een agent hangt af van wat hij mag zien. Daarom draait een benchmark zoals de agent straks echt draait.

    Als een rol.

    De agent antwoordt zoals een controller of een salesleider hem zou zien, met precies de toegang van die rol. De maker ziet nooit meer dan zijn eigen rol toestaat.

    groep

    Met de eigen rechten van de agent.

    Sommige agents werken onder eigen, goedgekeurde toegang. Die worden met precies die rechten getest, tijdens de beoordeling. Alleen wie die toegang goedkeurt leest de antwoorden. Alle anderen zien de scores.

    In de beoordeling

    De scorekaart adviseert. Mensen beslissen.

    Dient een maker een nieuwe versie in, dan draait de benchmark vanzelf. De scorekaart verschijnt bij de beoordeling. Geen versie wordt tegengehouden door een getal, want de eigenaars weten dingen die geen score vangt.

    conceptin reviewgoedgekeurdlezers: v2

    De live versie antwoordt door terwijl de nieuwe wordt gewogen.

    Aantoonbaar

    Een auditor kan uitleggen waarom een versie live ging.

    Elke run legt vast wie hem draaide, onder welke rol, welke versies zijn vergeleken en welke jury oordeelde. Teams durven daardoor vaker te verbeteren, omdat elke wijziging tegen dezelfde vragen wordt gelegd.

    wierolversiesjury

    Wie, welke rol, welke versies, welke jury.

    Veelgestelde vragen

    Wat beoordelaars willen weten.

    Volgende stap

    Betere agents. En het bewijs dat ze beter zijn.

    In een kennismaking wordt bekeken welke agent in je organisatie het eerst een eigen set vragen verdient.