NIEUWTraining AI Agents en automation met n8n: 3 dagen, klassikaal of live online.AI Agents met n8n. Bekijk de training →
Contact

Wat is Apache Airflow en wanneer heb je het nodig?

Apache Airflow is een open-source platform om workflows te plannen en te bewaken. Je beschrijft in Python welke taken er zijn en in welke volgorde ze draaien; Airflow voert ze volgens schema uit, probeert mislukte taken opnieuw en laat zien wat er is gebeurd. Je hebt het nodig zodra je processen over meerdere systemen lopen en van elkaar afhangen.

Hoe Airflow werkt

De kern is de DAG: een verzameling taken met afhankelijkheden, zonder kringverwijzingen. "Haal de export op, laad hem in het warehouse, draai de transformaties, ververs het dashboard" is een DAG van vier taken.

  • De scheduler bepaalt wanneer een DAG moet draaien en welke taken aan de beurt zijn.
  • Een executor voert de taken uit, op één machine of verdeeld over veel.
  • De webinterface toont elke run: wat slaagde, wat faalde en de logs erbij.
  • Providers leveren kant-en-klare koppelingen met onder meer Snowflake, Databricks, dbt, Azure en AWS.

Omdat een DAG gewone Python-code is, staat hij in Git, kun je hem testen en kun je taken genereren uit configuratie.

Wanneer je het nodig hebt

Niet elke organisatie heeft Airflow nodig. Veel platformen hebben een eigen planner die voor hun eigen werk prima volstaat.

SituatieWat meestal volstaat
Alleen dbt-modellen op een schemaDe planner van dbt Cloud of een job in je CI
Alles speelt zich af in DatabricksDatabricks Workflows
Alles speelt zich af in Microsoft Fabric of AzurePipelines in Fabric of Azure Data Factory
Eén script per nachtCron of een geplande taak
Ketens over meerdere systemen, met afhankelijkheden, herstarts en bewakingAirflow

Het omslagpunt is dus niet de hoeveelheid data, maar de hoeveelheid samenhang: zodra taak B alleen mag draaien als taak A in een ander systeem is geslaagd, en iemand moet kunnen zien waarom het vannacht misging.

Zelf draaien of afnemen

Airflow zelf beheren betekent een database, een scheduler en workers onderhouden en upgraden. Wie dat niet wil, neemt het af als dienst, bijvoorbeeld bij Astronomer, als Amazon MWAA of als Google Cloud Composer. De DAGs die je schrijft blijven dezelfde.

Waar het vaak misgaat

  • Zwaar rekenwerk in Airflow zelf. Airflow hoort het werk aan te sturen, niet uit te voeren. Laat het warehouse of Spark rekenen.
  • Taken die niet herhaalbaar zijn. Een taak die bij een tweede poging dubbele rijen oplevert, maakt elke herstart riskant.
  • Eén grote DAG voor alles. Kleinere DAGs per domein zijn makkelijker te begrijpen en te herstellen.
  • Geen tests. Door een importfout laadt een DAG ongemerkt niet meer; een eenvoudige test in CI vangt dat op.

Airflow en dbt samen

Een veelgebruikte combinatie: Airflow haalt data op en start daarna dbt voor de transformaties. Airflow bewaakt de keten, dbt de logica en de tests. In de training Apache Airflow bouw je zo’n keten in twee dagen.

Veelgestelde vragen

Staat je vraag er niet bij? Bel of mail ons.

Is Apache Airflow een ETL-tool?

Nee. Airflow plant en bewaakt taken, maar verplaatst of transformeert zelf geen data. Het start de tools die dat doen, zoals een laadtool, dbt of een Spark-job.

Wat is het verschil tussen Airflow en Azure Data Factory?

Azure Data Factory is een beheerde dienst waarin je pipelines grotendeels visueel bouwt, met veel kant-en-klare koppelingen binnen Azure. Airflow is open source, je beschrijft pipelines in Python en het werkt op elke cloud. Data Factory past bij teams die in Azure blijven; Airflow bij teams die code en vrijheid belangrijker vinden.

Moet ik Python kennen voor Airflow?

Ja. Een DAG is Python-code. Je hoeft geen ervaren ontwikkelaar te zijn, maar functies, modules en packages moet je zelfstandig kunnen gebruiken.

Plan een kennismaking

Vertel kort waar je mee bezig bent. Een van onze engineers neemt contact met je op.

info@codemode.nl · 06 40 85 93 86

Stuur een bericht

Vul je naam in.
Vul een volledig e-mailadres in, zoals naam@bedrijf.nl.

Bedankt, we nemen contact op.

Je bericht is verstuurd naar ons team.