Apache Airflow is een open-source platform om workflows te plannen en te bewaken. Je beschrijft in Python welke taken er zijn en in welke volgorde ze draaien; Airflow voert ze volgens schema uit, probeert mislukte taken opnieuw en laat zien wat er is gebeurd. Je hebt het nodig zodra je processen over meerdere systemen lopen en van elkaar afhangen.
Hoe Airflow werkt
De kern is de DAG: een verzameling taken met afhankelijkheden, zonder kringverwijzingen. "Haal de export op, laad hem in het warehouse, draai de transformaties, ververs het dashboard" is een DAG van vier taken.
- De scheduler bepaalt wanneer een DAG moet draaien en welke taken aan de beurt zijn.
- Een executor voert de taken uit, op één machine of verdeeld over veel.
- De webinterface toont elke run: wat slaagde, wat faalde en de logs erbij.
- Providers leveren kant-en-klare koppelingen met onder meer Snowflake, Databricks, dbt, Azure en AWS.
Omdat een DAG gewone Python-code is, staat hij in Git, kun je hem testen en kun je taken genereren uit configuratie.
Wanneer je het nodig hebt
Niet elke organisatie heeft Airflow nodig. Veel platformen hebben een eigen planner die voor hun eigen werk prima volstaat.
| Situatie | Wat meestal volstaat |
|---|---|
| Alleen dbt-modellen op een schema | De planner van dbt Cloud of een job in je CI |
| Alles speelt zich af in Databricks | Databricks Workflows |
| Alles speelt zich af in Microsoft Fabric of Azure | Pipelines in Fabric of Azure Data Factory |
| Eén script per nacht | Cron of een geplande taak |
| Ketens over meerdere systemen, met afhankelijkheden, herstarts en bewaking | Airflow |
Het omslagpunt is dus niet de hoeveelheid data, maar de hoeveelheid samenhang: zodra taak B alleen mag draaien als taak A in een ander systeem is geslaagd, en iemand moet kunnen zien waarom het vannacht misging.
Zelf draaien of afnemen
Airflow zelf beheren betekent een database, een scheduler en workers onderhouden en upgraden. Wie dat niet wil, neemt het af als dienst, bijvoorbeeld bij Astronomer, als Amazon MWAA of als Google Cloud Composer. De DAGs die je schrijft blijven dezelfde.
Waar het vaak misgaat
- Zwaar rekenwerk in Airflow zelf. Airflow hoort het werk aan te sturen, niet uit te voeren. Laat het warehouse of Spark rekenen.
- Taken die niet herhaalbaar zijn. Een taak die bij een tweede poging dubbele rijen oplevert, maakt elke herstart riskant.
- Eén grote DAG voor alles. Kleinere DAGs per domein zijn makkelijker te begrijpen en te herstellen.
- Geen tests. Door een importfout laadt een DAG ongemerkt niet meer; een eenvoudige test in CI vangt dat op.
Airflow en dbt samen
Een veelgebruikte combinatie: Airflow haalt data op en start daarna dbt voor de transformaties. Airflow bewaakt de keten, dbt de logica en de tests. In de training Apache Airflow bouw je zo’n keten in twee dagen.