Integratie · dbt

    Je dbt-project zichtbaar voor wie de cijfers gebruikt.

    Datahub leest de artefacten van je dbt-runs en toont modellen, lineage en testresultaten. Alleen lezen: Datahub draait dbt niet en verandert niets aan je project.

    erp.orderserp.customerscrm.dealsstg_ordersstg_customersfct_revenuedim_customerTest faaltRapportBronnenStagingMarts
    • Lineage

      Wat voedt wat

      Per model zie je wat erin gaat en wat ervan afhangt, rechtstreeks uit je manifest.

    • Tests

      De uitslag van elke run

      Per test de status, het aantal fouten en de looptijd, bij elke synchronisatie vastgelegd.

    • Alleen lezen

      Je project blijft van jou

      Datahub draait dbt niet, beheert geen projecten en plant geen taken.

    100+ uur
    In de praktijk

    financieel werk per week draait nu elke nacht automatisch

    Hudig & Veder werkt met Databricks en dbt.

    Hudig & Veder
    Wat je ziet

    Antwoord op de vragen die elk datateam krijgt.

    • “Waar komt dit cijfer in het rapport vandaan?”

    • “Welke tests faalden in de laatste run?”

    • “Wat hangt er af van deze bron?”

    • “Hoe ziet de SQL eruit na het compileren?”

    • “Welke kolommen heeft dit model en hoe is het opgeslagen?”

    • “Welke modellen dragen deze tag?”

    Hoe het werkt

    Eerst uploaden, dan synchroniseren.

    Na je dbt-run gaan de artefacten naar een container in Azure Blob Storage. Daarna synchroniseert Datahub, met een klik of als laatste stap in je CI/CD. Datahub heeft geen eigen planner, dus je pipeline bepaalt het ritme.

    manifestVerplichtcatalogOptioneelrun_resultsOptioneelBlobSync nuNa elke dbt-run, vanuit je CI/CD

    Het manifest is genoeg om te beginnen.

    • Wat het leest

      Drie bestanden

      Uit de map target van je dbt-run.

      • manifest.json, verplicht
      • catalog.json, optioneel
      • run_results.json, optioneel
    • Wat je ziet

      Elk onderdeel van je project

      Modellen, bronnen, seeds en snapshots, elk met zijn eigen pagina.

      • Schema, materialisatie, tags en kolommen
      • Ruwe en gecompileerde SQL
      • Lineage naar boven en beneden
    • Nog niet

      In de datacatalogus

      De dbt-gegevens staan nog niet in de datacatalogus van Datahub. Je bekijkt ze in de dbt-verkenner.

    Waar je het gebruikt

    Eén koppeling, drie antwoorden.

    • Lineage

      Waar een cijfer vandaan komt

      Volg een model terug naar zijn bronnen en vooruit naar wat ervan afhangt.

    • Kwaliteit

      Of het cijfer te vertrouwen is

      Zie per run welke tests slaagden, waarschuwden of faalden.

    • SQL

      Hoe het berekend wordt

      Lees de SQL zoals hij is geschreven en zoals hij na het compileren draait.

    Zo koppel je dbt

    In vier stappen van dbt-run naar lineage.

    1. 01

      Artefacten uploaden

      Zet na je dbt-run de bestanden uit target in een Azure Blob-container, met de Azure CLI of je CI/CD.

    2. 02

      Aanmelding instellen

      Eén keer een app-registratie met leesrechten op de container. Het geheim staat in Azure Key Vault.

    3. 03

      Koppeling maken

      Vul het opslagaccount, de container en eventueel een voorvoegsel in en test de verbinding.

    4. 04

      Synchroniseren

      Klik op Sync nu, of roep de API aan als laatste stap van je pipeline.

    Veelgestelde vragen

    Wat datateams vragen voor ze koppelen.

    Volgende stap

    Laat zien waar elk cijfer vandaan komt.

    In een kennismaking wordt bekeken hoe je dbt-project draait en wat er nodig is om het te koppelen.