RAG of fine-tuning? Zo kies je voor je eigen bedrijfsdata

Twee manieren om een model jouw kennis te laten gebruiken: je haalt de juiste stukken op op het moment van de vraag, of je traint het model bij met je eigen materiaal. Ze lossen verschillende problemen op, en worden vaak door elkaar gehaald.

Wat het verschil in de praktijk betekent

Zodra je de bron moet kunnen aanwijzen, of toegang per gebruiker geldt, valt bijtrainen af.

Ophalen bij de vraag betekent dat nieuwe kennis direct beschikbaar is en dat je bij elk antwoord kunt zeggen waar het uit komt. Bijtrainen verwerkt kennis in de gewichten van het model: de bron verdwijnt, en een correctie vraagt een nieuwe trainingsronde.

Voor bedrijfscijfers, voorraadstanden, contracten en procedures is dat verschil beslissend. Die veranderen, en iemand moet kunnen navertellen waarop een antwoord rustte.

Bijtrainen is wel nuttig voor vorm: een vaste toon, een vast formaat, een vakjargon dat het model consequent moet gebruiken. Vorm, niet feiten.

De keten bij ophalen

Toegangsrechten gelden bij het zoeken, niet pas bij het tonen. Betekenis reist mee met de bron.

De stap die het vaakst ontbreekt is de derde: betekenis meesturen. Een model dat drie tabellen met omzet vindt, weet niet welke jullie omzet is. Als de definitie en de eigenaar meekomen, kiest het niet zelf maar volgt het jullie afspraak. Zie wat is data governance.

Wanneer welke keuze

• Feiten die veranderen: ophalen. Voorraad, orders, marges, prijzen.
• Documenten met rechten: ophalen, met toegang per gebruiker in de zoekstap.
• Vaste toon of vorm: bijtrainen, op een kleine, goed gekozen set.
• Beide: normaal. Bijtrainen voor de vorm, ophalen voor de feiten.

Wat je in beide gevallen nodig hebt, is een laag waarin je gegevens en definities al kloppen. Zie AI implementeren en wat is een dataplatform.

Kort samengevat

Voor bedrijfsdata is ophalen bij de vraag bijna altijd het antwoord, omdat je de bron moet kunnen aanwijzen en toegang moet kunnen afdwingen. Bijtrainen doe je voor de vorm, niet voor de waarheid.