Een datawarehouse bewaart gestructureerde, opgeschoonde data voor rapportage. Een data lake bewaart alle data in ruwe vorm, als bestanden. Een lakehouse combineert die twee: bestanden in een open formaat, met de transacties, het beheer en de snelheid van een warehouse erbovenop.
De drie naast elkaar
| Datawarehouse | Data lake | Lakehouse | |
|---|---|---|---|
| Wat erin staat | Gestructureerde tabellen | Bestanden in elke vorm: tabellen, logs, tekst, beeld | Bestanden in een open tabelformaat, plus ruwe bestanden |
| Structuur | Vooraf vastgelegd | Pas bij het lezen | Vastgelegd per tabel, flexibel voor ruwe data |
| Sterk in | Rapportage en SQL-analyse | Goedkope opslag en data science | Beide, op één kopie van de data |
| Zwakke plek | Minder geschikt voor ongestructureerde data | Zonder beheer wordt het een moeras | Vraagt meer kennis om goed in te richten |
| Voorbeelden | Snowflake, Fabric Warehouse, Azure Synapse | Azure Data Lake Storage, Amazon S3 | Databricks, Fabric Lakehouse |
Waarom het lakehouse is ontstaan
Lange tijd hadden organisaties twee systemen: een data lake voor ruwe data en data science, en een warehouse voor rapportage. Data werd van het ene naar het andere gekopieerd, met dubbele opslag, dubbele logica en cijfers die uit elkaar liepen.
Open tabelformaten zoals Delta Lake en Apache Iceberg losten dat op. Ze leggen een laag met metadata over gewone bestanden, waardoor die zich gedragen als tabellen: met transacties, wijzigingen op rijniveau en de mogelijkheid om terug te kijken naar een eerdere versie.
De grens vervaagt
De drie begrippen beschrijven steeds minder verschillende producten en steeds meer verschillende manieren van werken. Snowflake leest en schrijft Iceberg-tabellen, Databricks heeft een SQL-warehouse, en Microsoft Fabric biedt een lakehouse en een warehouse op dezelfde opslag. Hoe de platformen zich tot elkaar verhouden lees je in Snowflake, Databricks of Microsoft Fabric.
Lagen in een lakehouse: bronze, silver en gold
Een lakehouse wordt meestal in drie lagen ingericht, de medallion-opzet:
- Bronze: data zoals ze uit de bron komt, onbewerkt en volledig.
- Silver: opgeschoond, ontdubbeld en in het juiste type.
- Gold: gemodelleerd voor gebruik, bijvoorbeeld als sterschema voor rapportage.
De lagen zijn een afspraak, geen techniek. Dezelfde indeling werkt ook in een warehouse; in dbt heten ze vaak staging, intermediate en marts.
Wat kies je
- Vooral rapportage op gestructureerde data, met een team dat in SQL werkt: een datawarehouse.
- Ook machine learning, streaming of veel ongestructureerde data: een lakehouse.
- Alleen een data lake, zonder tabelformaat en beheer: zelden nog een goed idee.
Welke opslag je ook kiest, de kwaliteit van het datamodel bepaalt of mensen de data kunnen gebruiken. Dat is het onderwerp van de training Data Modeling. Voor het lakehouse in de praktijk zijn er Azure Databricks en Microsoft Fabric.