RAG staat voor retrieval-augmented generation. Je zoekt eerst de passages uit je eigen documenten die bij een vraag passen en geeft die mee aan een taalmodel. Het model antwoordt dan op basis van jouw bronnen, met een verwijzing erbij. Je hebt het nodig zodra een model vragen moet beantwoorden over informatie die het niet kent: interne documenten, actuele gegevens of klantspecifieke kennis.
Hoe RAG werkt
Een RAG-toepassing heeft twee fasen. Vooraf maak je de documenten doorzoekbaar:
- Je deelt documenten op in stukken van een paar alinea’s.
- Van elk stuk bereken je een embedding: een reeks getallen die de betekenis vastlegt.
- Die sla je op in een index, vaak een vectordatabase.
Bij elke vraag gebeurt daarna dit:
- De vraag wordt op dezelfde manier omgezet en vergeleken met de index.
- De best passende stukken worden opgehaald.
- Het taalmodel krijgt de vraag en die stukken, en formuleert een antwoord met bronvermelding.
RAG, fine-tuning of alles meegeven
| RAG | Fine-tuning | Alles in de prompt | |
|---|---|---|---|
| Wat het is | Relevante stukken opzoeken en meegeven | Het model bijtrainen op eigen voorbeelden | De volledige documenten meesturen |
| Goed voor | Vragen over veel of veranderende documenten | Een vaste stijl, vorm of taak aanleren | Een klein aantal documenten |
| Nieuwe informatie toevoegen | Index bijwerken | Opnieuw trainen | Document vervangen |
| Bronvermelding | Ja | Nee | Ja |
| Zwakke plek | Het zoeken moet de juiste stukken vinden | Leert geen feiten betrouwbaar aan | Duur en traag bij veel tekst |
Voor kennis uit documenten is RAG bijna altijd de eerste keuze. Fine-tuning lost een ander probleem op: hoe het model schrijft of beslist, niet wat het weet.
Waar de kwaliteit van afhangt
Een slecht antwoord komt bij RAG meestal niet van het taalmodel, maar van het zoeken. Als de juiste passage niet wordt opgehaald, kan het model niet goed antwoorden.
- Opdelen: te kleine stukken missen context, te grote verdunnen de inhoud. Deel op langs koppen en alinea’s.
- Zoeken: combineer zoeken op betekenis met zoeken op exacte woorden, zoals productcodes en namen.
- Herordenen: laat een tweede model de opgehaalde stukken op relevantie sorteren.
- Opschonen: verouderde en dubbele documenten leveren tegenstrijdige antwoorden op.
Waar het vaak misgaat
- Rechten: een medewerker krijgt via de assistent informatie te zien waar hij geen toegang toe heeft. Filter bij het zoeken op de rechten van de gebruiker.
- Verouderde index: het document is aangepast, de index niet.
- Geen meting: zonder testvragen met bekende antwoorden weet je niet of een wijziging het beter maakt.
- Tabellen en scans: tekst uit pdf’s met tabellen of gescande pagina’s komt vaak verminkt in de index.
Hoe je begint
Kies één afgebakende verzameling documenten en twintig tot vijftig vragen waarvan je het goede antwoord kent. Bouw de eenvoudigste versie, meet hoe vaak de juiste passage wordt gevonden en verbeter daarna gericht.
In de training Werken met Large Language Models in Python bouw je een RAG-toepassing en leer je de kwaliteit meten. Een agent die zelf bepaalt wanneer hij zoekt, is de volgende stap; zie Wat is een AI-agent?.