Training Apache Airflow
Plan en bewaak datapipelines met Apache Airflow: DAGs schrijven, koppelen met je platform en betrouwbaar draaien.
Over de training Apache Airflow
Apache Airflow plant en bewaakt datapipelines die je als Python-code beschrijft. In deze training schrijf je DAGs met taken en afhankelijkheden, laat je ze volgens een schema draaien en leer je wat er nodig is om Airflow betrouwbaar in productie te gebruiken: retries, alerts, backfills en tests.
Wat je leert
- DAGs schrijven met operators, sensors en de TaskFlow API
- Schema’s, data-intervallen en backfills correct toepassen
- Verbindingen, variabelen en secrets veilig beheren
- Pipelines robuust maken met retries, timeouts en alerts
- DAGs testen en via CI uitrollen
Programma
Airflow in de basis
- Scheduler, webserver, executor en metadatabase
- Je eerste DAG
- Operators en afhankelijkheden
- De interface: grid, graph en logs
DAGs schrijven
- De TaskFlow API en XComs
- Schema’s, data-intervallen en catchup
- Sensors en deferrable operators
- Dynamic task mapping
Koppelen met je dataplatform
- Connections, hooks en providers
- Taken op Snowflake, Databricks en in dbt starten
- Datasets en data-aware scheduling
- Variabelen en secrets backends
Airflow in productie
- Retries, timeouts, SLA’s en alerts
- Idempotente taken en backfills
- DAGs testen met pytest
- Executors, schalen en uitrollen via CI
Voorkennis
- Je schrijft zelfstandig Python: functies, modules en packages
- Basiskennis van SQL en de command line
- Ervaring met Docker is handig
Voor wie
Voor data engineers en analytics engineers die pipelines plannen, bewaken en beheren.
Vragen over de training Airflow
Staat je vraag er niet bij? Bel of mail ons.
Wat is Apache Airflow?
Apache Airflow is een open-source platform om workflows te plannen en te bewaken. Je beschrijft een workflow in Python als een DAG: een reeks taken met afhankelijkheden. Airflow voert de taken volgens een schema uit, probeert mislukte taken opnieuw en laat in een webinterface zien wat er is gebeurd.
Hoeveel Python moet ik kennen voor de Airflow-training?
Je moet zelfstandig functies en modules kunnen schrijven en met packages kunnen werken. Decorators en context managers komen in de training aan bod; die hoef je vooraf niet te kennen.
Wat kost de training Apache Airflow?
De training Apache Airflow duurt 2 dagen en kost € 1.825 klassikaal of € 1.450 live online, exclusief btw.
Kan ik de training Apache Airflow in-company volgen?
Ja. Elke training kan klassikaal, live online of in-company voor je eigen team, in het Nederlands of Engels. In-company passen we de casussen aan op jullie eigen data en omgeving.
Verwante trainingen in Data Engineering
Alle 7 trainingenDeze training voor je team?
Vertel kort waar je mee bezig bent. Een van onze engineers neemt contact met je op.
info@codemode.nl · 06 40 85 93 86