Hoppa till innehåll

Guider

Tokens och kontext: så mycket kan GPT hålla i minnet

AI-modeller läser text i små bitar som kallas tokens och kan bara hantera en viss mängd åt gången. Det förklarar varför långa chattar tappar tråden och varför det ofta är smartare att starta en ny chatt med en kort sammanfattning.

6 min läsningUppdaterad

Om du någonsin har haft en lång AI-chatt där modellen plötsligt glömde bort en detalj du nämnde i början, har du stött på kontextgränsen. Det är ingen bugg och det beror inte på slarv. Språkmodeller läser text i små delar som kallas tokens, och varje gång de svarar kan de bara ta hänsyn till en viss mängd av konversationen. När du väl förstår tokens och kontext blir mycket av det oväntade beteendet logiskt, och några enkla vanor hjälper dig att hålla långa chattar i GBT Chat träffsäkra.

Vad en token är

En token är en textbit: ibland ett helt kort ord, ibland en del av ett längre ord, ett skiljetecken eller ett mellanslag tillsammans med några bokstäver. "Katt" är en token. "Otroligt" kan delas upp i flera. Siffror, kod och ovanliga namn bryts ofta ner i fler delar än vanliga ord.

OpenAI:s tumregel för engelska är att en token motsvarar ungefär tre fjärdedels ord, så hundra tokens är cirka sjuttiofem ord. Andra språk kräver ofta fler tokens för samma innebörd, särskilt språk med långa sammansatta ord eller icke-latinska alfabet. Du behöver aldrig räkna tokens själv i vår chatt, men konceptet förklarar varför längden spelar roll.

Varför textbitar istället för bokstäver eller hela ord? Enskilda bokstäver skulle göra texterna extremt långsamma att bearbeta; hela ord skulle kräva ett orimligt stort ordförråd för att täcka alla namn, stavfel och språk. Tokens hamnar mittemellan, vilket är anledningen till att alla moderna GPT-modeller använder dem.

Vad kontextfönstret är

Kontextfönstret är den mängd text som en modell kan ta hänsyn till samtidigt när den skriver ett svar. Det inkluderar allt den ser: instruktionerna från sajten, de tidigare meddelandena i din chatt, ditt nya meddelande och svaret den håller på att skriva. Tänk på det som modellens skrivbord. Det som får plats på skrivbordet kan användas; det som inte ryms finns helt enkelt inte där.

Modellen i sig har inget annat minne av er konversation. Varje gång du skickar ett meddelande skickar chatten den relevanta delen av konversationen på nytt, och modellen läser in den från början. Det är därför den "minns" tidigare meddelanden i samma chatt, och varför den inte vet någonting om dina andra chattar.

Hur stort fönstret är och vad vår chatt skickar

OpenAI:s dokumentation anger ett mycket stort kontextfönster för de GPT-6-modeller vi använder, på ungefär 1,05 miljoner tokens. Att skicka ett så stort fönster vid varje meddelande vore långsamt och dyrt, och en gratissajt måste hålla nere storleken på varje förfrågan. Därför skickar GBT Chat den senaste delen av konversationen – ungefär de senaste boksidorna med text – plus ditt nya meddelande. I vanliga vardagschattar märker du det aldrig. I en lång session försvinner däremot de allra tidigaste meddelandena ur sikte.

Det finns en liknande gräns på andra hållet: svaren har en maximal längd. Om ett väldigt långt svar bryts mitt i, skriv bara "fortsätt" så tar modellen vid där den slutade.

Bilder räknas också. När du bifogar ett foto med +-knappen skickas det med det meddelandet och tar upp en del av fönstret. Bara de två senaste bilderna i en chatt skickas med; äldre ersätts med en kort notis om att en bild fanns där. Om du vill ställa fler frågor om en tidigare bild är det bara att bifoga den igen.

Varför långa chattar spårar ur

Tre saker händer när en konversation växer:

  • Tidiga detaljer faller bort. Budgeten du nämnde i det andra meddelandet kanske inte längre ligger på skrivbordet vid meddelande trettio.
  • Gamla och nya instruktioner krockar. Om du skrev "formellt" tidigt och "vardagligt" senare måste modellen gissa vad som fortfarande gäller.
  • Misstag byggs på. Ett fel som modellen gjorde tidigare, och som du inte rättade till, ligger kvar i historiken och kan påverka senare svar.

Lösningen är inte att undvika långa chattar, utan att hantera dem smart. Vanorna nedan håller viktiga fakta synliga för modellen.

Vanor som håller långa chattar på rätt spår

Mindre bra:
(meddelande 40) Skriv den slutliga versionen nu.

Bättre:
Skriv den slutliga versionen av personliga brevet. Påminnelser: tjänsten
är junior dataanalytiker på ett sjukhus, max 250 ord, nämn min
SQL-kurs och mitt volontärarbete, varm men professionell ton.

Det bättre meddelandet upprepar de viktigaste punkterna istället för att lita på att de fortfarande syns. Det kostar bara ett par rader och eliminerar gissningsleken. Andra bra vanor:

  • Sammanfatta och börja om. Be modellen: "Sammanfatta allt vi kommit överens om hittills i punktform", starta sedan en ny chatt och klistra in sammanfattningen som ditt första meddelande. Öppna sammanfattningsprompten och använd den i långa chattar.
  • Ett ämne per chatt. Ett nytt ämne förtjänar en ny chatt. Byt namn på chattarna i menyn så att du enkelt hittar tillbaka till dem senare.
  • Rätta misstag direkt. Använd Redigera på ditt meddelande för att åtgärda ett missförstånd vid källan, istället för att låta det ligga kvar i historiken.
  • Placera långt material mot slutet. När du klistrar in en lång text, lägg till din instruktion efter texten också, så att uppgiften är färsk i minnet.

Att arbeta med långa texter

Ett enskilt meddelande rymmer några boksidor med text; klistrar du in betydligt mer nekas det för att det är för långt. Dela därför upp stora dokument. Skicka ett avsnitt i taget och be om en kort sammanfattning av varje del. Samla sedan sammanfattningarna i en ny chatt och arbeta vidare utifrån dem. Det tar lite längre tid än att klistra in allt på en gång, men varje del får modellens fulla uppmärksamhet. Vår sammanfattare är smidig för steg-för-steg-läsning, och vår guide för läsning och research har fler användbara prompter.

Några tips när du klistrar in:

  • Märk upp delarna tydligt: "DEL 1 av 4", "TEXT A", "TEXT B".
  • Rensa bort onödigt innehåll, som sidhuvuden, fotnoter eller långa källförteckningar, så att mer av fönstret kan användas till själva texten.
  • Berätta för modellen vad den ska leta efter innan texten, och upprepa det efteråt.
Använd en assistent för återkommande instruktioner. Om varje chatt börjar med samma förutsättningar – som din skrivstil, ditt yrke eller din målgrupp – kan du skapa en egen assistent med dessa instruktioner under Assistenter. De inkluderas i varje meddelande i den chatten, så de faller aldrig bort på samma sätt som ett tidigt meddelande kan göra.

Tokens, Think och hastighet

När du trycker på Think lägger GPT-6.1 Terra lite tid på att resonera innan den skriver. Det resonemanget förbrukar också tokens, men du ser det inte och det räknas inte mot dina meddelanden; du märker bara den korta pausen, som visas som "Tänkte i" ett antal sekunder. Standardmodellen GPT-6 Luna hoppar över det steget, vilket gör att den svarar snabbare. Inget av valen påverkar hur mycket av din chatt modellen kan se. Om du vill veta mer om hur de skiljer sig åt i praktiken kan du läsa vår jämförelse mellan Luna och Terra samt översikten över GPT-versioner.

Vanliga frågor

Kostar längre meddelanden mer av min gratiskvot?

Nej. Varje meddelande räknas som ett, oavsett längd. Ett enskilt meddelande som är alldeles för långt nekas istället för att förbrukas, och långa chattar kortas ner enligt beskrivningen ovan. Se vår FAQ för detaljer om dagliga gränser.

Minns modellen mig mellan olika chattar?

Nej. Varje chatt börjar från noll, och det finns inget minne mellan olika chattar. Din historik sparas bara i din webbläsare så att du kan öppna gamla chattar igen, men modellen ser bara den du befinner dig i.

Varför ignorerar chatten ibland en instruktion jag gav i början?

Antingen har instruktionen fallit utanför den del av chatten som modellen kan se, eller så verkade ett senare meddelande åsidosätta den. Upprepa instruktionen i ditt nuvarande meddelande.

Hur många ord motsvarar en token på andra språk?

Det varierar. Engelska hör till de mest effektiva; många andra språk kräver fler tokens för samma text. Det påverkar inte vad du kan göra i vår chatt, förutom att långa chattar kortas ner lite tidigare.

Är ett större kontextfönster alltid bättre?

Inte nödvändigtvis. Även med ett enormt fönster är modeller mer uppmärksamma på tydlig, relevant text än på ett gigantiskt berg av information. En kort, välstrukturerad kontext ger oftast bättre svar än en lång och rörig.

Få svar på din fråga nu

Inget konto, inget kort, inget att ladda ner. Skriv vad du vill veta så börjar svaret rulla in inom ett par sekunder.

Börja chatta