Je bent lekker op dreef met een AI-tool, maar na een tijdje lijkt de software je niet meer te begrijpen. Instructies worden genegeerd en feiten worden door elkaar gehaald. In dit artikel leggen we uit wat ‘context rot’ is en hoe je voorkomt dat je AI-project hierdoor in de soep loopt.
Het geheugen van een LLM werkt anders
Wanneer je een Large Language Model (LLM) zoals ChatGPT of Gemini gebruikt, lijkt het alsof de AI een gesprek “onthoudt”. In werkelijkheid heeft het model geen geheugen zoals mensen. Het werkt met een zogeheten context window: de hoeveelheid tekst die het model op een bepaald moment tegelijk kan zien en gebruiken.
Naarmate een gesprek langer of ingewikkelder wordt, neemt de kans toe dat belangrijke informatie minder goed wordt meegenomen. Zodra je over die grens heen gaat, treedt er ‘context rot’ op. De AI verliest dan letterlijk de draad van het verhaal. Dit komt doordat het model moeite krijgt om alle relevante details correct te wegen.
Waarom de AI de kluts kwijtraakt
Je kunt de context window zien als het werkgeheugen van de AI. Dit geheugen wordt gemeten in tokens (stukjes tekst of code). Elk woord dat jij typt én elk antwoord dat de AI geeft, vult dit geheugen op.
Wanneer het venster vol raakt, gebeuren er drie dingen die gevaarlijk zijn voor je resultaten:
- Het ‘First-In, First-Out’-principe: Om ruimte te maken voor nieuwe informatie, ‘vergeet’ de AI de oudste informatie uit de chat. Vaak zijn dat juist de belangrijke kaders of stijlafspraken die je in je eerste prompt hebt gezet.
- Lost in the Middle: Uit onderzoek blijkt dat LLM’s informatie aan het begin en het einde van een tekst goed onthouden, maar de informatie in het midden van een lang prompt of brontekst laten verslappen. De kern van je opdracht verwatert dan.
- Hallucinaties: Omdat de AI stukjes context mist, gaat hij gaten invullen met informatie die logisch klinkt, maar feitelijk onjuist is. Hij begint dingen te verzinnen om het gesprek gaande te houden.
Deze fouten vallen lang niet altijd (direct) op. De AI blijft namelijk heel zelfverzekerd antwoorden, ook als hij de oorspronkelijke opdracht of de veiligheidsregels allang kwijt is.
Wanneer treedt context rot op? (in cijfers)
Hoewel elke AI anders is, kun je voor de meeste zakelijke toepassingen de volgende grenzen aanhouden:
- De 10-paginaregel: Bij documenten of instructies langer dan 3.000 tot 5.000 woorden (ongeveer 10 tot 15 A4’tjes) kan de AI moeite beginnen te krijgen om alle details te koppelen.
- De chat-lengte: Na ongeveer 15 tot 20 interacties (heen-en-weer praten) zit de context window zo vol met eerdere antwoorden dat er belangrijke informatie naar de achtergrond kan verdwijnen.
- Complexiteit van bijlages: Een PDF vol met tabellen, afbeeldingen en kleine lettertjes is riskanter dan een platte tekst van dezelfde omvang. De AI moet dan namelijk harder ‘rekenen’ om de context te begrijpen.
Hoe houd je je AI scherp?
Het is frustrerend als een AI die eerst best acceptabel was, ineens slordig wordt. Gelukkig kun je zelf bijsturen om de kwaliteit hoog te houden:
- Snoei in je bijlages: Voer niet lukraak enorme documenten in en gebruik bij voorkeur tekst-only bijlages. Hoe meer ruis je toevoegt, hoe sneller de ‘rot’ toeslaat.
- Herhaal je kaders: Merk je dat de AI afdwaalt? Kopieer de belangrijkste instructies uit je eerste prompt en herhaal deze halverwege het gesprek.
- Start op tijd een schone lei: Soms is een chatsessie simpelweg ‘vervuild’. Het is dan effectiever om een nieuwe chat te starten met een beknopte samenvatting van de eerdere uitkomsten.
- Gebruik systeeminstructies: Maak gebruik van functies zoals Gems (Gemini) of Custom Instructions (ChatGPT). Als je wilt dat de AI altijd in de u-vorm schrijft of beknopt antwoordt, zet dit dan in de instellingen. Dit zit ‘bovenop’ het geheugen en is veel minder gevoelig voor context rot dan een losse instructie in de chat.
Nieuwe technologie, nieuwe uitdagingen
Het fenomeen context rot is een van de grootste uitdagingen bij het professioneel inzetten van AI-tools. Hoewel de techniek achter LLM’s blijft verbeteren, moeten we kritisch blijven op de output.
Heb je vragen over het optimaal inrichten van je AI-prompts of maak je je zorgen over de kwaliteit van je gegenereerde content? Neem gerust contact met ons op.
