De kwaliteitsketen — de harde les over modeloutput
De agents produceerden mooie taal en verkeerde bedragen. Elke afwijking klonk plausibel. De harde les: modeloutput mag nooit onbeoordeeld naar een gebruiker.
De keten draaide. De rapporten waren leesbaar. En op een woensdagochtend stond er een bedrag in dat gewoon niet klopte. Niet ver ernaast — helemaal ernaast. De onderbouwing was overtuigend geschreven, met verwijzingen naar het juiste contract en de juiste factuur. Alleen was het bedrag een verzinsel.
Wat we ontdekten
Het model was uitstekend in het samenvatten van wat het zag. Het was ook uitstekend in het samenvatten van wat het níet zag: ontbrekende cijfers werden ingevuld met plausibele waarden, en die waarden kregen dezelfde overtuigende toon als de rest. In één zaak dubbeltelde het model een correctie. In een andere las het een percentage als absoluut bedrag. Beide keer was de tekst er omheen foutloos.
Elke fout was — geïsoleerd — begrijpelijk. Bij elkaar opgeteld waren ze onaanvaardbaar. Een controller kan één rapport handmatig checken. Duizend niet.
Wat we bouwden
We introduceerden een kwaliteitsketen die vóór publicatie draaide. Geen filter op stijl of toon — een filter op cijfers.
- Figuur-exact. Elk genoemd bedrag moest woord-voor-woord terugkomen in de brondata. Anders: geblokkeerd.
- Eliminatie. Elke conclusie moest expliciet een andere plausibele verklaring uitsluiten. Geen "waarschijnlijk" zonder de tegenhypothese.
- Missen-check. De keten moest actief zoeken naar wat híer had moeten staan en niet stond — geen stille weglating.
- Volwassenheid. Nieuwe signaaltypes gingen door een leerperiode: eerst schaduw, dan aanbeveling, dan pas rapport.
En de belangrijkste regel: modeloutput die deze poort niet passeerde, ging níet naar de gebruiker. Niet gefilterd, niet gecorrigeerd — geblokkeerd. Beter geen antwoord dan een fout antwoord dat overtuigend klinkt.
De echte les
De grootste risicofactor in een agent-systeem is niet dat het model faalt. Het is dat het overtuigend faalt. Elke rapportlaag die je toevoegt zonder verificatie, vergroot het gat tussen toon en waarheid. De kwaliteitsketen was het duurste onderdeel van het platform en tegelijk het meest onmisbare.
DE LES Een model dat overtuigend liegt, is gevaarlijker dan een model dat zichtbaar faalt. Verificatie is geen luxe — het is de vergunning om überhaupt te publiceren.