Datakwaliteit heeft twee eigenaren

Een dataplatform kan voortdurend controleren of de data klopt: of een kolom gevuld is, of een waarde uniek is, of een tabel op tijd is ververst. Dat kan realtime, een paar keer per dag of elke nacht. Slagen al die controles, dan geldt de data als van goede kwaliteit. Toch komt er soms een getal uit dat niemand in de vergadering vertrouwt.

Dat komt doordat datakwaliteit uit twee vragen bestaat die vaak door elkaar lopen. De eerste gaat over de data zelf: klopt het technisch? De tweede gaat over de betekenis: wordt het juiste uitgerekend? Die vragen horen bij verschillende mensen, en dat verschil wordt gemakkelijk over het hoofd gezien.

De eerste vraag gaat over de vorm van de data, de tweede over de betekenis erachter.

De data moet technisch kloppen

De eerste vraag is technisch van aard. Op het dataplatform wordt die getoetst met geautomatiseerde tests, bijvoorbeeld in dbt: controles op volledigheid, op uniciteit, op actualiteit. Die tests draaien doorlopend of op vaste momenten en vangen echte fouten op, van ontbrekende regels tot dubbele records en data die is blijven staan.

Dit is serieus werk, en het hoort thuis bij IT: dicht bij de bron, op het platform, met de techniek om afwijkingen snel te zien. Zonder deze laag is er geen betrouwbare basis. Deze laag alleen is niet voldoende.

Een correcte tabel kan een verkeerd getal geven

Een tabel kan volledig, uniek en actueel zijn en alsnog een getal opleveren dat de business niet herkent. De data is dan technisch in orde, terwijl de uitkomst iets berekent wat niemand zo heeft afgesproken. "Actieve klant" telt bijvoorbeeld iemand mee die al drie maanden niets heeft gekocht. In de omzet zitten de creditnota's wel, of juist niet.

Geen technische test ziet dat. Een dbt-test op volledigheid of uniciteit weet niet wat de business met een begrip bedoelde. Zo'n test controleert de vorm van de data, niet de betekenis erachter.

Twee vragen, twee eigenaren

Achter die twee vragen zitten twee verantwoordelijkheden. IT zorgt dat de data technisch klopt. De business bepaalt wat "kloppen" inhoudt: welke definitie geldt, welke regels meetellen, wat een begrip precies betekent. Het zijn twee vakgebieden, allebei nodig, en ze vullen elkaar aan.

IT bewaakt de vorm van de data, de business de betekenis ervan.

In de praktijk beleggen veel organisaties alleen het eerste. Er staan tests op het platform, maar er is niemand aangewezen als eigenaar van de betekenis. De data wordt dan wel bewaakt en de betekenis niet, en precies in dat gat ontstaat het getal dat niemand vertrouwt.

Het data contract verbindt de twee

Een data contract brengt die twee kanten samen. De business legt de definitie vast en is er eigenaar van: wat telt mee, wat niet, over welke periode. Dat blijft geen document in een la, want het wordt de specificatie die op het platform wordt afgedwongen. IT vertaalt de definitie naar tests die in dbt meedraaien met de technische controles.

Het contract maakt van een afspraak een test die meedraait op het platform.

Slaagt zo'n test niet, dan betekent dat meer dan "de data is vuil". Het betekent dat de werkelijkheid is afgeweken van wat is afgesproken. En het contract laat zien wie daarover gaat: de eigenaar van de betekenis, niet een willekeurig mailadres.

Wat er overblijft

Datakwaliteit wordt zo meer dan een schoonmaakklus van IT: een gedeelde afspraak tussen IT en de business, vastgelegd in een contract en bewaakt op het platform. De techniek bewaakt de juistheid van de data, de eigenaar de betekenis ervan, en het contract houdt beide aan hetzelfde getal.

Data die er schoon uitziet, is daarmee nog niet vanzelf juist. Juist wordt data pas wanneer iemand de betekenis erachter heeft vastgelegd en eronder blijft staan.