Training Apache Spark
Verwerk grote datasets met PySpark: DataFrames, Spark SQL, prestaties, streaming en MLlib.
Over de training Apache Spark
Apache Spark verwerkt datasets die niet meer op één machine passen, verdeeld over een cluster. In vijf dagen werk je met PySpark van DataFrames en Spark SQL naar streaming en machine learning, en leer je uit de Spark UI aflezen waarom een job traag is en wat je eraan doet.
Wat je leert
- Uitleggen hoe driver, executors, jobs, stages en taken samenwerken
- Data verwerken met DataFrames en Spark SQL in PySpark
- Trage jobs analyseren met de Spark UI en het queryplan
- Shuffles, skew en geheugenproblemen oplossen
- Streams verwerken met Structured Streaming
- Modellen trainen met MLlib
Programma
Dag 1: architectuur en DataFrames
- Driver, executors en de cluster manager
- Transformaties, acties en lazy evaluation
- DataFrames lezen en schrijven: Parquet, CSV, JSON
- Selecteren, filteren en kolommen afleiden
Dag 2: Spark SQL
- Joins en aggregaties
- Window functions
- Complexe typen: arrays, maps en structs
- UDF’s en pandas UDF’s, en wanneer je ze vermijdt
Dag 3: prestaties
- Jobs, stages en taken in de Spark UI
- Partitionering en shuffles
- Broadcast joins en adaptive query execution
- Skew, caching en geheugen
Dag 4: opslag en streaming
- Delta Lake: transacties, merge en time travel
- Structured Streaming: bronnen, sinks en triggers
- Watermarks en vensters
- Checkpoints en herstel na fouten
Dag 5: machine learning en productie
- MLlib: features, pipelines en evaluatie
- RDD’s: wanneer je ze nog nodig hebt
- Jobs verpakken, configureren en indienen
- Testen van Spark-code
Voorkennis
- Je schrijft zelfstandig Python
- Je schrijft SQL-queries met joins en aggregaties
- Basiskennis van de command line
Voor wie
Voor data engineers en data scientists die grote datasets verwerken, op Databricks, Microsoft Fabric, Synapse of een eigen cluster.
Vragen over de training Apache Spark
Staat je vraag er niet bij? Bel of mail ons.
Wat is Apache Spark?
Apache Spark is een open-source engine voor het verwerken van grote hoeveelheden data, verdeeld over een cluster van machines. Je schrijft de verwerking in Python, SQL, Scala of R; Spark verdeelt het werk. Spark is de motor onder Databricks, Microsoft Fabric en Azure Synapse.
Wat is het verschil tussen de trainingen Apache Spark en Azure Databricks?
Apache Spark gaat vijf dagen de diepte in op de engine zelf, los van een leverancier. Azure Databricks behandelt in drie dagen het platform eromheen: workspaces, clusters, Delta Lake, jobs en Unity Catalog, met Spark als onderdeel.
Wat kost de training Apache Spark?
De training Apache Spark duurt 5 dagen en kost € 3.999 klassikaal of € 3.200 live online, exclusief btw.
Kan ik de training Apache Spark in-company volgen?
Ja. Elke training kan klassikaal, live online of in-company voor je eigen team, in het Nederlands of Engels. In-company passen we de casussen aan op jullie eigen data en omgeving.
Verwante trainingen in Data Engineering
Alle 7 trainingenDeze training voor je team?
Vertel kort waar je mee bezig bent. Een van onze engineers neemt contact met je op.
info@codemode.nl · 06 40 85 93 86