Context window
Stel je voor dat je een dik boek leest, maar je kortetermijngeheugen slechts de laatste drie bladzijden kan vasthouden: zodra je verder bladert, vergeet je direct wat er in het eerste hoofdstuk gebeurde. Dit is precies hoe een context window werkt bij grote taalmodellen. Het venster vormt het actieve werkgeheugen van de AI tijdens een lopende interactie. Alles wat binnen dit venster valt (van eerdere vragen en antwoorden in een chatsessie tot ingeladen documenten) kan het model actief meewegen. Valt informatie buiten die grens, dan verdwijnt het simpelweg uit het zicht en verliest het model de aansluiting.
Tokens als de maatstaf voor digitaal geheugen
De omvang van dit venster meten we niet in traditionele woorden of zinnen, maar in tokens. Binnen natuurlijke taalverwerking en Machine Learning breekt een algoritme tekst op in kleine fragmenten van gemiddeld drie tot vier letters. Waar vroege taalmodellen een bescheiden venster hadden van slechts enkele duizenden tokens, slikken moderne systemen tegenwoordig honderdduizenden tot zelfs miljoenen tokens in één keer. Dankzij deze enorme sprong voorwaarts kunnen gebruikers complete jaarverslagen, dikke wetboeken of duizenden regels computercode uploaden zonder dat de AI halverwege de draad kwijtraakt.
De uitdaging van de naald in de hooiberg
Een reusachtig venster klinkt ideaal, maar brengt ook wiskundige en praktische uitdagingen met zich mee. Hoe groter de hoeveelheid data die tegelijk in het geheugen moet blijven, hoe exponentieel zwaarder de benodigde rekenkracht wordt. Bovendien worstelen modellen soms met aandachtsspreiding, een fenomeen dat onderzoekers ‘lost in the middle’ noemen: feiten aan het begin of einde van een lange prompt worden scherp opgemerkt, terwijl details diep in het midden weleens over het hoofd worden gezien. Zeker bij complexe multimodale AI, waarbij naast tekst ook afbeeldingen en audio kostbare tokenruimte opsnoepen, blijft een slim ingerichte context cruciaal voor scherpe antwoorden.
Grote documentstromen beheersen in de praktijk
Voor bedrijven bepaalt het venster rechtstreeks wat er technisch haalbaar is op de digitale werkvloer. Het maakt het verschil tussen een simpele chatbot die alleen losse vragen beantwoordt en een geavanceerde assistent die een complete contractsgeschiedenis analyseert. Binnen een centraal AI-platform worden documenten gestructureerd aangeboden, zodat modellen altijd de juiste context binnenkrijgen zonder overbelast te raken.
Heeft jouw organisatie specifieke wensen rondom het doorzoeken van enorme archieven of specialistische databanken, dan bieden maatwerk AI-oplossingen de perfecte architectuur via slimme zoektechnologieën. Om medewerkers te leren hoe ze prompts efficiënt opbouwen en het geheugen van modellen optimaal benutten, vormt een AI-geletterdheidstraining de sleutel tot direct resultaat.
Veelgestelde vragen
Zodra de limiet wordt overschreden, vergeet het model de oudste informatie uit het gesprek of document om ruimte te maken voor de nieuwste invoer.
Een venster van 128.000 tokens staat gelijk aan grofweg 90.000 tot 100.000 woorden, wat vergelijkbaar is met een roman van ongeveer driehonderd pagina’s.
Trainingsdata bevat de permanente basiskennis die het model tijdens het trainen heeft geleerd, terwijl het context window puur fungeert als het tijdelijke werkgeheugen voor de huidige sessie.
Ja, het verwerken van aanzienlijk grotere hoeveelheden data binnen één venster vereist meer rekenkracht, wat kan leiden tot een langere wachttijd voor het antwoord.