NIEUWTraining AI Agents en automation met n8n: 3 dagen, klassikaal of live online.AI Agents met n8n. Bekijk de training →
Contact

Training Apache Spark

Verwerk grote datasets met PySpark: DataFrames, Spark SQL, prestaties, streaming en MLlib.

Over de training Apache Spark

Apache Spark verwerkt datasets die niet meer op één machine passen, verdeeld over een cluster. In vijf dagen werk je met PySpark van DataFrames en Spark SQL naar streaming en machine learning, en leer je uit de Spark UI aflezen waarom een job traag is en wat je eraan doet.

Wat je leert

  • Uitleggen hoe driver, executors, jobs, stages en taken samenwerken
  • Data verwerken met DataFrames en Spark SQL in PySpark
  • Trage jobs analyseren met de Spark UI en het queryplan
  • Shuffles, skew en geheugenproblemen oplossen
  • Streams verwerken met Structured Streaming
  • Modellen trainen met MLlib

Programma

Dag 1: architectuur en DataFrames

  • Driver, executors en de cluster manager
  • Transformaties, acties en lazy evaluation
  • DataFrames lezen en schrijven: Parquet, CSV, JSON
  • Selecteren, filteren en kolommen afleiden

Dag 2: Spark SQL

  • Joins en aggregaties
  • Window functions
  • Complexe typen: arrays, maps en structs
  • UDF’s en pandas UDF’s, en wanneer je ze vermijdt

Dag 3: prestaties

  • Jobs, stages en taken in de Spark UI
  • Partitionering en shuffles
  • Broadcast joins en adaptive query execution
  • Skew, caching en geheugen

Dag 4: opslag en streaming

  • Delta Lake: transacties, merge en time travel
  • Structured Streaming: bronnen, sinks en triggers
  • Watermarks en vensters
  • Checkpoints en herstel na fouten

Dag 5: machine learning en productie

  • MLlib: features, pipelines en evaluatie
  • RDD’s: wanneer je ze nog nodig hebt
  • Jobs verpakken, configureren en indienen
  • Testen van Spark-code

Voorkennis

  • Je schrijft zelfstandig Python
  • Je schrijft SQL-queries met joins en aggregaties
  • Basiskennis van de command line

Voor wie

Voor data engineers en data scientists die grote datasets verwerken, op Databricks, Microsoft Fabric, Synapse of een eigen cluster.

Vragen over de training Apache Spark

Staat je vraag er niet bij? Bel of mail ons.

Wat is Apache Spark?

Apache Spark is een open-source engine voor het verwerken van grote hoeveelheden data, verdeeld over een cluster van machines. Je schrijft de verwerking in Python, SQL, Scala of R; Spark verdeelt het werk. Spark is de motor onder Databricks, Microsoft Fabric en Azure Synapse.

Wat is het verschil tussen de trainingen Apache Spark en Azure Databricks?

Apache Spark gaat vijf dagen de diepte in op de engine zelf, los van een leverancier. Azure Databricks behandelt in drie dagen het platform eromheen: workspaces, clusters, Delta Lake, jobs en Unity Catalog, met Spark als onderdeel.

Wat kost de training Apache Spark?

De training Apache Spark duurt 5 dagen en kost € 3.999 klassikaal of € 3.200 live online, exclusief btw.

Kan ik de training Apache Spark in-company volgen?

Ja. Elke training kan klassikaal, live online of in-company voor je eigen team, in het Nederlands of Engels. In-company passen we de casussen aan op jullie eigen data en omgeving.

Deze training voor je team?

Vertel kort waar je mee bezig bent. Een van onze engineers neemt contact met je op.

info@codemode.nl · 06 40 85 93 86

Stuur een bericht

Vul je naam in.
Vul een volledig e-mailadres in, zoals naam@bedrijf.nl.

Bedankt, we nemen contact op.

Je bericht is verstuurd naar ons team.