dbt (data build tool) is een tool waarmee je datatransformaties schrijft als SQL-modellen. dbt bepaalt de volgorde, bouwt de tabellen en views in je datawarehouse, test de uitkomst en genereert documentatie. Je gebruikt het zodra meer dan één persoon aan transformaties werkt of zodra anderen op de cijfers moeten kunnen vertrouwen.
Wat dbt doet
In een modern dataplatform laad je ruwe data eerst in het warehouse en transformeer je daarna: ELT in plaats van ETL. dbt verzorgt die laatste stap. Een model is een bestand met één SELECT-statement. dbt maakt daar een tabel of view van.
Modellen verwijzen naar elkaar met de functie ref(). Daaruit leidt dbt af in welke volgorde alles gebouwd moet worden, en tekent het de lineage: welk rapport hangt af van welke bron.
- Tests: controles zoals "deze sleutel is uniek" en "dit veld is nooit leeg" draaien bij elke build.
- Documentatie: beschrijvingen staan naast de code en worden een doorzoekbare site.
- Versiebeheer: alles is tekst in Git, dus elke wijziging is te reviewen en terug te draaien.
- Hergebruik: met Jinja en macro’s schrijf je logica één keer.
Wat dbt niet doet
- dbt haalt geen data op uit bronsystemen. Daar gebruik je een laadtool voor, zoals Azure Data Factory, Fivetran of Airbyte.
- dbt rekent zelf niet. De SQL draait in je warehouse: Snowflake, Databricks, BigQuery, Microsoft Fabric of PostgreSQL.
- dbt is geen planner voor al je processen. Het bepaalt de volgorde van zijn eigen modellen; voor de keten eromheen gebruik je bijvoorbeeld Apache Airflow.
Wat het oplevert
Zonder dbt staan transformaties vaak verspreid over views, stored procedures en scripts, zonder tests en met kennis in de hoofden van een paar mensen. Met dbt staat de logica op één plek, is ze getest en kan een nieuwe collega lezen hoe een cijfer tot stand komt.
Dat merk je vooral bij wijzigingen. Een aanpassing aan een bronmodel laat in de lineage zien welke rapporten geraakt worden, en de tests vertellen of er iets stuk is voordat een gebruiker het ziet.
Wanneer wel, wanneer niet
| dbt past goed als | dbt voegt weinig toe als |
|---|---|
| je transformaties in SQL schrijft | bijna alle logica in Python of Spark zit |
| meerdere mensen aan dezelfde modellen werken | één persoon een handvol views onderhoudt |
| cijfers aantoonbaar moeten kloppen | het om eenmalige analyses gaat |
| je een cloud-datawarehouse gebruikt | je nog geen centraal warehouse hebt |
dbt Core of dbt Cloud
dbt Core is open source. Je draait het zelf, vanaf de command line of vanuit een planner. dbt Cloud is de beheerde dienst van dbt Labs, met een editor in de browser, planning van jobs, CI en een catalogus. De modellen die je schrijft zijn in beide gelijk, dus je kunt met Core beginnen en later overstappen, of andersom.
Hoe je begint
- Kies één onderwerp, bijvoorbeeld omzet, en bouw dat van bron tot rapport.
- Leg een indeling in lagen vast: staging, intermediate en marts.
- Voeg vanaf het eerste model tests toe op sleutels.
- Zet CI aan, zodat elke wijziging gebouwd en getest wordt voordat ze live gaat.
In de training Data Build Tool (dbt) bouw je in twee dagen zo’n project. Voor het ontwerp van de modellen zelf is er Data Modeling.