Gidsen
Tokens en context: hoeveel GPT kan onthouden
Modellen lezen tekst in kleine stukjes genaamd tokens en kunnen er maar een beperkte hoeveelheid tegelijk verwerken. Dit verklaart waarom lange chats ontsporen en waarom een nieuwe chat met een korte samenvatting vaak veel beter werkt.

Als je ooit een lang AI-gesprek hebt gevoerd waarin het model ineens een detail vergat dat je aan het begin deelde, dan heb je te maken gehad met de contextlimiet. Het is geen bug en het model is niet slordig. Taalmodellen lezen tekst in kleine stukjes, zogenaamde tokens, en kunnen bij elk antwoord maar een beperkt deel van het gesprek meenemen. Zodra je begrijpt hoe tokens en context werken, vallen veel vreemde reacties op hun plek. Met een paar simpele gewoontes houd je lange chats in GBT Chat nauwkeurig.
Wat is een token?
Een token is een stukje tekst: soms een heel kort woord, soms een deel van een langer woord, een leesteken of een spatie met een paar letters. "Kat" is één token. "Onwaarschijnlijkerwijs" wordt waarschijnlijk opgeknipt in meerdere stukjes. Getallen, code en ongebruikelijke namen vallen vaker uiteen in meer stukjes dan alledaagse woorden.
De vuistregel van OpenAI voor het Engels is dat één token ongeveer driekwart woord is; honderd tokens zijn dus zo'n vijfenzeventig woorden. Andere talen hebben vaak meer tokens nodig voor dezelfde inhoud, vooral talen met lange samengestelde woorden of niet-Latijnse schriften. Je hoeft in onze chat zelf nooit tokens te tellen, maar dit principe legt wel uit waarom lengte uitmaakt.
Waarom zulke stukjes in plaats van letters of hele woorden? Met losse letters zou het verwerken van teksten extreem lang duren. Bij hele woorden zou een onmogelijk grote woordenschat nodig zijn om elke naam, typfout en taal te dekken. Tokens zitten daar precies tussenin. Daarom werkt elk modern GPT-model ermee.
Wat is het contextvenster?
Het contextvenster is de hoeveelheid tekst die een model tegelijkertijd kan meenemen bij het formuleren van een antwoord. Het omvat alles wat het model te zien krijgt: de instructies van de website, de eerdere berichten in je chat, je nieuwe bericht én het antwoord dat het op dat moment schrijft. Zie het als het bureau van het model. Alles wat op het bureau ligt, kan worden gebruikt; wat er niet op past, bestaat simpelweg niet.
Het model zelf heeft geen ander geheugen van je gesprek. Telkens wanneer je een bericht stuurt, verzendt de chat het relevante deel van het gesprek opnieuw, en leest het model dit met een schone lei. Daarom "herinnert" het zich eerdere berichten binnen dezelfde chat, en weet het niets over je andere chats.
Hoe groot is het venster, en wat stuurt onze chat mee?
In de documentatie van OpenAI staat voor de GPT-6-modellen die we gebruiken een enorm contextvenster van ongeveer 1,05 miljoen tokens. Een venster van die omvang meesturen bij elk bericht zou traag en kostbaar zijn, en een gratis site moet elk verzoek compact houden. Daarom stuurt GBT Chat alleen het meest recente deel van het gesprek naar het model: ongeveer de laatste paar pagina's tekst, plus je nieuwe bericht. Bij alledaagse chats merk je hier niets van. In een lange sessie verdwijnen de allereerste berichten uiteindelijk uit beeld.
Aan de uitvoerkant geldt een vergelijkbare limiet: antwoorden hebben een maximale lengte. Als een heel lang antwoord halverwege stopt, typ dan "ga verder" en het model pakt de draad weer op waar het gebleven was.
Afbeeldingen tellen ook mee. Voeg je een foto toe met de knop +, dan wordt deze met dat bericht meegestuurd en neemt hij een deel van het venster in. Alleen de twee meest recente afbeeldingen in een chat worden meegestuurd; oudere afbeeldingen worden vervangen door een korte notitie dat er een afbeelding stond. Wil je opnieuw iets vragen over een eerdere afbeelding, voeg hem dan gewoon nogmaals toe.
Waarom lange chats ontsporen
Er gebeuren drie dingen naarmate een gesprek langer wordt:
- Vroege details vallen weg. Het budget dat je in bericht twee noemde, ligt bij bericht dertig misschien niet meer op het bureau.
- Oude en nieuwe instructies botsen. Als je in het begin vroeg om een "formele" toon en later om "informeel", moet het model raden wat nu geldt.
- Fouten stapelen zich op. Een fout die het model eerder maakte en die je niet hebt gecorrigeerd, blijft in het gesprek staan en kan latere antwoorden beïnvloeden.
De oplossing is niet om lange chats te vermijden, maar om ze slim te beheren. De onderstaande gewoontes zorgen dat belangrijke feiten altijd in het zicht van het model blijven.
Gewoontes om lange chats op koers te houden
Minder goed: (bericht 40) Schrijf nu de definitieve versie. Beter: Schrijf de definitieve versie van de sollicitatiebrief. Ter herinnering: de functie is junior data-analist in een ziekenhuis, maximaal 250 woorden, noem mijn SQL-cursus en mijn vrijwilligerswerk, vriendelijke maar professionele toon.
Het betere bericht herhaalt de belangrijkste feiten in plaats van erop te vertrouwen dat ze nog in beeld zijn. Het kost je maar een paar regels en voorkomt giswerk. Andere handige gewoontes:
- Vat samen en begin opnieuw. Vraag: "Vat alles waar we het tot nu toe over eens zijn puntsgewijs samen." Start daarna een nieuwe chat en plak de samenvatting als je eerste bericht. Open de samenvattingsprompt en gebruik deze in elk lang gesprek.
- Eén onderwerp per chat. Een nieuw onderwerp verdient een nieuwe chat. Geef chats een duidelijke naam in het zijmenu, zodat je ze later makkelijk terugvindt.
- Corrigeer fouten direct. Gebruik Bewerken bij je eigen bericht om een misverstand bij de bron aan te pakken, in plaats van het in de geschiedenis te laten staan.
- Plaats lange teksten vlak voor je vraag. Plak je een lange tekst, herhaal je instructie dan ook direct daaronder, zodat het verzoek vers in het geheugen zit.
Werken met lange teksten
Eén bericht kan een paar pagina's tekst bevatten; een veel langere lap tekst wordt geweigerd omdat deze te groot is. Knip grote documenten daarom op. Stuur één sectie per keer en vraag om een korte samenvatting, verzamel de samenvattingen in een nieuwe chat en werk daarmee verder. Dit kost wat meer tijd dan alles in één keer plakken, maar elk deel krijgt zo de volle aandacht van het model. De samenvatter is handig om tekst deel voor deel te verwerken, en onze gids voor lezen en onderzoek bevat prompts voor de rest.
Een paar tips voor het plakken van tekst:
- Label onderdelen duidelijk: "DEEL 1 van 4", "TEKST A", "TEKST B".
- Verwijder wat je niet nodig hebt, zoals paginakoppen, voetnoten of lange bronnenlijsten. Zo blijft er meer ruimte in het venster over voor de inhoud.
- Vertel het model vóór de tekst waar het op moet letten, en herhaal dat eronder.
Tokens, Denk en snelheid
Wanneer je op Denk klikt, neemt GPT-6.1 Terra even de tijd om na te denken voordat het begint met schrijven. Die denkstap gebruikt ook tokens, maar die zie je niet en ze tellen niet mee voor je berichten; je merkt alleen een korte pauze, aangegeven als "Dacht na gedurende" een aantal seconden. De standaard GPT-6 Luna slaat deze stap over en antwoordt daarom sneller. Geen van beide opties verandert hoeveel van je chat het model kan zien. Ben je benieuwd hoe de twee in de praktijk verschillen? De Luna vs Terra-vergelijking en het overzicht van GPT-versies leggen het uit.
Veelgestelde vragen
Kosten langere berichten meer van mijn gratis tegoed?
Nee. Elk bericht telt als één, ongeacht de lengte. Een enkel bericht dat veel te lang is, wordt geweigerd in plaats van meegeteld, en lange chats worden ingekort zoals hierboven beschreven. In de FAQ vind je alle details over daglimieten.
Onthoudt het model wie ik ben tussen verschillende chats?
Nee. Elke chat begint met een schone lei; er is geen geheugen over chats heen. Je geschiedenis wordt alleen lokaal in je browser bewaard, zodat je oude chats kunt openen, maar het model ziet uitsluitend de chat waarin je op dat moment bezig bent.
Waarom negeert de chat soms een instructie die ik aan het begin gaf?
Of de instructie is buiten het zichtbare deel van de chat gevallen, of een later bericht leek de eerdere instructie te overschrijven. Herhaal de instructie gewoon even in je huidige bericht.
Hoeveel woorden is een token in andere talen?
Dat verschilt. Het Engels is een van de meest efficiënte talen; veel andere talen hebben meer tokens nodig voor dezelfde hoeveelheid tekst. Voor het gebruik van onze chat maakt dat verder weinig uit, behalve dat lange chats iets eerder worden ingekort.
Is een groter contextvenster altijd beter?
Niet per se. Zelfs met een gigantisch venster besteden modellen meer aandacht aan duidelijke, relevante tekst dan aan een enorme berg ongeordende informatie. Een compacte, overzichtelijke context levert meestal betere antwoorden op dan een lange, rommelige chat.
Verder lezen
Direct antwoord op je vraag
Geen account, geen creditcard, niets te downloaden. Typ wat je wilt weten en binnen een paar seconden verschijnt het begin van je antwoord.