Dataontsluiting — van database-restore tot analyseerbare werkelijkheid
De vraag was helder, de data niet. Maanden gingen op aan het toegankelijk maken van bronsystemen die nooit voor analyse waren bedoeld.
Nadat de vraag gesteld was, kwam de eerste harde muur: de bron. Een operationeel bronsysteem uit de begintijd, ontworpen om transacties door te laten en niets meer. Geen exportlaag, geen analysemodel, geen sluitende referentiële integriteit. Voor de dagelijkse operatie werkte het prima. Voor een controle-agent was het onleesbaar.
Wat er nodig was
We hadden een gecontroleerde kopie nodig die we mochten bevragen zonder de operatie te raken. Een restore van het bronsysteem, elke nacht ververst, met alleen leesrechten. En bovenop die restore een dunne semantische laag die de rauwe tabellen vertaalde naar begrippen die een controller herkent: contract, factuurregel, aanwezigheid, tariefkaart.
Dat klinkt eenvoudig. Het duurde maanden.
Wat we onderweg tegenkwamen
- Ontbrekende sleutels. Contracten refereerden aan klanten via een tekstveld, niet via een ID. Elke naamvariant was in feite een andere klant.
- Impliciete regels. Sommige contracten hadden geen einddatum in het systeem — de einddatum stond in een PDF die alleen de interne domeinexpert kende.
- Historische mutaties. Prijsafspraken werden overschreven in plaats van gehistoriseerd. Om terug te rekenen naar het moment van facturatie moest de tariefkaart worden gereconstrueerd uit audit-logs.
- Kalender-conflicten. Aanwezigheid stond in een ander systeem met een andere tijdzone. Zonder normalisatie leek elk nachtelijk contract een uur te veel of te weinig te draaien.
Elke bevinding werd een regel in de semantische laag. Niet in het model — in code. Reproduceerbaar, testbaar, en zichtbaar voor iedereen die het antwoord later las.
De echte les
De grootste weerstand zat niet in het bouwen van agents. Die zat in het accepteren dat je zonder een schoon, gehistoriseerd datafundament nooit een betrouwbaar antwoord krijgt — hoe goed het model er ook uitziet. Het werk aan de bron voelt onzichtbaar. Zonder dat werk is elk later antwoord een gok.
DE LES Een model is nooit beter dan de data die het krijgt. Het onzichtbare werk aan de bron is de helft van het platform.