Training Microsoft Fabric Data Pipelines
Bouw laadstraten in Microsoft Fabric met pipelines, Dataflows Gen2 en notebooks, volgens de medallion-opzet.
Over de training Microsoft Fabric Data Pipelines
In Microsoft Fabric bouw je datapipelines met Data Factory, Dataflows Gen2 en notebooks, bovenop OneLake. In deze training haal je data op uit verschillende bronnen, laad je die volgens de medallion-opzet in een lakehouse en richt je planning, bewaking en uitrol in.
Wat je leert
- Kiezen tussen pipelines, Dataflows Gen2 en notebooks voor een taak
- Data incrementeel laden naar een lakehouse in Delta-formaat
- Een medallion-opzet met bronze, silver en gold inrichten
- Pipelines parametriseren, plannen en bewaken
- Wijzigingen uitrollen met Git-integratie en deployment pipelines
Programma
Fabric en OneLake
- Workspaces, capaciteit en items
- Lakehouse en warehouse
- Delta-tabellen in OneLake
- Shortcuts naar bestaande opslag
Data ophalen
- De Copy-activiteit en connectors
- On-premises bronnen via de gateway
- Dataflows Gen2 met Power Query
- Incrementeel laden met watermarks
Transformeren
- Notebooks met PySpark en Spark SQL
- Bronze, silver en gold
- Merge en schema-evolutie in Delta
- Tabellen onderhouden: optimize en vacuum
Orkestreren
- Activiteiten, parameters en expressies
- ForEach, voorwaarden en foutpaden
- Notebooks en dataflows aanroepen
- Plannen en triggers
Beheer
- Runs bewaken in de Monitoring hub
- Meldingen bij fouten
- Git-integratie en deployment pipelines
- Kosten: capaciteit en verbruik volgen
Voorkennis
- Je schrijft SQL-queries met joins en aggregaties
- Basiskennis van datawarehousing of ETL
- Enige ervaring met Python is handig voor de notebooks
Voor wie
Voor data engineers en BI-ontwikkelaars die laadstraten in Microsoft Fabric bouwen of van Azure Data Factory of SSIS overstappen.
Vragen over de training Fabric Pipelines
Staat je vraag er niet bij? Bel of mail ons.
Wat is het verschil tussen een pipeline en een Dataflow Gen2 in Fabric?
Een pipeline orkestreert: hij kopieert data en start andere onderdelen in de juiste volgorde. Een Dataflow Gen2 transformeert data met Power Query, zonder code. In de praktijk roept een pipeline dataflows en notebooks aan.
Wat is het verschil met de training Microsoft Fabric?
De training Microsoft Fabric geeft in twee dagen een overzicht van het hele platform, van OneLake tot Power BI. Deze training gaat in tweeënhalve dag de diepte in op één onderdeel: data ophalen, transformeren en orkestreren.
Wat kost de training Microsoft Fabric Data Pipelines?
De training Microsoft Fabric Data Pipelines duurt 2,5 dagen en kost € 2.375 klassikaal of € 1.900 live online, exclusief btw.
Kan ik de training Microsoft Fabric Data Pipelines in-company volgen?
Ja. Elke training kan klassikaal, live online of in-company voor je eigen team, in het Nederlands of Engels. In-company passen we de casussen aan op jullie eigen data en omgeving.
Verwante trainingen in Data Engineering
Alle 7 trainingenDeze training voor je team?
Vertel kort waar je mee bezig bent. Een van onze engineers neemt contact met je op.
info@codemode.nl · 06 40 85 93 86