Direct Lake, Import of DirectQuery: welke opslagmodus wanneer

Import, DirectQuery en Direct Lake beschrijven één ding: hoe een rapport bij de gegevens komt. Import maakt een kopie in het geheugen, DirectQuery stelt de vraag door aan de bron, Direct Lake leest rechtstreeks de Delta-bestanden in je lakehouse.

De keuze wordt vaak gemaakt op gevoel of op wat er nieuw is. Het loont om hem terug te brengen tot drie vragen.

Drie vragen, in deze volgorde

Versheid, volume en waar je data al staat: in die volgorde.

Hoe vers moet het antwoord zijn? Als een cijfer van vanochtend volstaat, is een kopie prima. Bij voorraad of ritstatus die per uur telt, wordt doorvragen aan de bron interessant.

Hoe groot is de tabel echt? Niet hoeveel rijen er in het bronsysteem staan, maar hoeveel er in het model nodig zijn. Veel modellen zijn groot door historie die niemand bevraagt.

Staat de data al in een lakehouse? Direct Lake leest Delta-tabellen zoals ze zijn. Staat je data in een klassieke database, dan is dat pad er niet zonder eerst te verplaatsen.

Wat de drie modi feitelijk doen

• Import. Data wordt gekopieerd en gecomprimeerd in het model. Snelste rapporten, volledige modelleringsvrijheid, maar versheid hangt aan je verversschema en het geheugen stelt een grens.
• DirectQuery. Elke visual stuurt een query naar de bron. Altijd actueel en geen kopie, maar de gebruikerservaring is zo snel als je bron en elke klik belast dat systeem.
• Direct Lake. Het model leest Delta-bestanden rechtstreeks uit de opslag, zonder importstap en zonder query naar een database. Dichtbij importsnelheid bij groot volume, mits je tabellen netjes onderhouden zijn.

Geen ranglijst maar een profiel: elke modus wint op één as.

Direct Lake heeft ook een grens die je vooraf hoort te kennen: als een query buiten wat rechtstreeks gelezen kan worden valt, wordt teruggevallen op DirectQuery gedrag. Het rapport werkt dan nog, maar de snelheid verandert. Dat is geen fout, wel iets om te weten voordat je het aan de directie belooft.

De keuze die je model niet redt

Welke modus je ook kiest, hij bepaalt hoe snel een cijfer verschijnt, niet of het cijfer klopt. Drie rapporten met drie eigen definities van marge blijven drie antwoorden geven, ongeacht de opslagmodus.

Daarom hoort de definitie onder het rapport te liggen, in een laag die alle drie de modi bedient. Dat is de kern van wat data architectuur is, en de reden dat we bij een lakehouse ook naar de catalogus kijken en niet alleen naar de opslag. In Databricks heet die laag Unity Catalog; in andere platformen heet het anders en doet het hetzelfde werk.

Een praktische aanpak

Begin bij Import zolang het past. Stap over op Direct Lake wanneer volume de importstap onwerkbaar maakt en je data al in Delta-formaat staat. Gebruik DirectQuery gericht, voor de paar tabellen waar de laatste minuten echt tellen, en niet als standaard voor je hele model.

En meet voordat je verhuist. Een model dat traag is door te veel kolommen, ontbrekende relaties of berekeningen op rijniveau wordt niet sneller van een andere opslagmodus.