Salta al contenuto

Guide

Token e contesto: quanto riesce a ricordare GPT

I modelli leggono il testo in piccole unità chiamate token e possono considerarne solo una certa quantità alla volta. Capire questo meccanismo spiega perché le chat lunghe perdono il filo e perché iniziare una nuova chat con un breve riepilogo dia spesso risultati migliori.

6 min di letturaAggiornato

Se ti è mai capitato che l'IA dimenticasse all'improvviso un dettaglio importante durante una conversazione lunga, ti sei scontrato con il limite di contesto. Non è un bug e non è una distrazione dell'IA. I modelli linguistici leggono il testo suddividendolo in piccoli frammenti chiamati token e, ogni volta che generano una risposta, possono prendere in considerazione solo una quantità limitata della conversazione. Una volta compreso il funzionamento di token e contesto, molti comportamenti anomali diventano chiari, e con poche semplici abitudini manterrai le tue chat lunghe su GBT Chat sempre precise.

Che cos'è un token

Un token è una porzione di testo: a volte una parola corta intera, a volte una parte di una parola più lunga, un segno di punteggiatura o uno spazio seguito da qualche lettera. "Gatto" è un token. "Incredibilmente" potrebbe essere diviso in più parti. Numeri, codice e nomi insoliti tendono a essere frammentati in più elementi rispetto alle parole più comuni.

La regola empirica di OpenAI per l'inglese è che un token equivale a circa tre quarti di parola, quindi cento token corrispondono a circa settantacinque parole. Altre lingue spesso richiedono più token per esprimere lo stesso significato, specialmente quelle con parole composte lunghe o caratteri non latini. Nella nostra chat non dovrai mai contare i token, ma questo concetto aiuta a capire perché la lunghezza sia importante.

Perché usare frammenti invece di singole lettere o parole intere? Lavorare lettera per lettera renderebbe l'elaborazione dei testi lentissima; lavorare solo a parole intere richiederebbe un vocabolario sterminato e impossibile da gestire per includere ogni nome proprio, errore di battitura e lingua. I token rappresentano la via di mezzo ideale, ed è per questo che tutti i moderni modelli GPT li utilizzano.

Che cos'è la finestra di contesto

La finestra di contesto è la quantità massima di testo che un modello può esaminare simultaneamente mentre genera una risposta. Comprende tutto ciò che riceve: le istruzioni del sito, i messaggi precedenti della chat, il tuo ultimo messaggio e la risposta che sta scrivendo. Immaginala come la scrivania del modello: può usare solo ciò che ci sta sopra; tutto ciò che non entra, semplicemente non esiste.

Il modello non conserva alcuna memoria della conversazione. Ogni volta che invii un messaggio, la chat invia nuovamente la parte rilevante della cronologia e il modello la rilegge da zero. Ecco perché "ricorda" i passaggi precedenti all'interno della stessa chat, ma non sa nulla di ciò che hai scritto nelle altre conversazioni.

Quant'è grande la finestra e cosa invia la nostra chat

La documentazione di OpenAI indica una finestra di contesto molto ampia per i modelli GPT-6 che utilizziamo: circa 1,05 milioni di token. Tuttavia, inviare una quantità simile di dati a ogni singolo messaggio sarebbe lento e proibitivo per un servizio gratuito. Per questo, GBT Chat invia al modello solo la parte più recente della conversazione — all'incirca le ultime pagine di testo — più il tuo nuovo messaggio. Nelle chat quotidiane non te ne accorgerai nemmeno; solo nelle sessioni molto lunghe i messaggi iniziali smetteranno di essere visibili al modello.

Esiste un limite simile anche per l'output: le risposte hanno una lunghezza massima. Se una risposta molto lunga si interrompe a metà, scrivi semplicemente "continua" e il modello riprenderà esattamente da dove si era fermato.

Anche le immagini occupano spazio nel contesto. Quando carichi una foto con il pulsante +, viene inviata insieme al messaggio e consuma una parte della finestra. Nella cronologia vengono mantenute solo le ultime due immagini; quelle precedenti vengono sostituite da una breve nota che segnala la presenza passata di un'immagine. Se vuoi fare nuove domande su un'immagine inviata in precedenza, allegala di nuovo.

Perché le chat lunghe perdono il filo

Man mano che una conversazione si allunga, si verificano tre problemi:

  • I dettagli iniziali spariscono. Il budget che hai specificato nel secondo messaggio potrebbe non essere più sulla "scrivania" al trentesimo messaggio.
  • Istruzioni vecchie e nuove vanno in conflitto. Se all'inizio hai chiesto un tono "formale" e poi "informale", il modello deve tirare a indovinare quale regola seguire.
  • Gli errori si accumulano. Se il modello commette un errore e non lo correggi subito, quell'inesattezza rimane nella cronologia e rischia di influenzare le risposte successive.

La soluzione non è evitare le conversazioni lunghe, ma gestirle nel modo giusto. Bastano alcune buone abitudini per mantenere le informazioni chiave sempre accessibili al modello.

Abitudini per mantenere le chat lunghe sui binari giusti

Meno efficace:
(messaggio 40) Ora scrivi la versione finale.

Più efficace:
Scrivi la versione finale della lettera di presentazione. Promemoria: la
posizione è per junior data analyst in ospedale, massimo 250 parole,
cita il corso di SQL e il mio volontariato, tono cordiale ma professionale.

Il secondo esempio ripete i dettagli chiave invece di dare per scontato che il modello li veda ancora. Richiede solo un paio di righe in più ed elimina ogni ambiguità. Altri consigli utili:

  • Riassumi e ricomincia. Chiedi: "Riassumi tutti i punti concordati finora in un elenco puntato", poi apri una nuova chat e incolla il riassunto come primo messaggio. Apri il prompt di riassunto e usalo in qualsiasi chat lunga.
  • Un argomento per chat. Quando cambi argomento, apri una nuova chat. Rinomina le conversazioni nel menu laterale per ritrovarle facilmente.
  • Correggi subito gli errori. Usa il tasto Modifica sul tuo messaggio per correggere un malinteso alla radice, invece di trascinarlo nella cronologia.
  • Metti il testo lungo all'inizio e l'istruzione alla fine. Quando incolli un testo lungo, ripeti la tua richiesta anche dopo il testo, così che resti bene in evidenza.

Come lavorare con testi lunghi

Un singolo messaggio può contenere fino a qualche pagina di testo; se incolli un documento troppo lungo, verrà rifiutato. Dividi i testi voluminosi: invia una sezione alla volta chiedendo un breve riassunto per ciascuna, poi raccogli i riassunti in una nuova chat per lavorarci. È un metodo leggermente più lento, ma garantisce la massima attenzione su ogni punto. Lo strumento di riassunto è perfetto per lavorare sezione per sezione, mentre la nostra guida a lettura e ricerca offre ottimi prompt per il resto del lavoro.

Alcuni consigli per incollare testi lunghi:

  • Etichetta chiaramente le parti: "PARTE 1 di 4", "TESTO A", "TESTO B".
  • Rimuovi il superfluo, come intestazioni di pagina, note a piè di pagina o lunghe bibliografie, per sfruttare al meglio la finestra di contesto.
  • Indica al modello cosa cercare prima del testo e ripeti l'istruzione subito dopo.
Usa un assistente per le istruzioni ricorrenti. Se inizi ogni chat con le stesse indicazioni (stile di scrittura, lavoro o target di riferimento), crea un assistente personalizzato con queste istruzioni nella sezione Assistenti. Verranno incluse automaticamente in ogni messaggio della chat, senza il rischio che finiscano fuori contesto come accadrebbe con un messaggio iniziale.

Token, Ragiona e velocità

Quando attivi l'opzione Ragiona, GPT-6.1 Terra dedica qualche istante all'elaborazione logica prima di formulare la risposta. Questa fase di riflessione utilizza token, ma non viene mostrata e non viene conteggiata nei tuoi messaggi; noterai solo una breve pausa, indicata da un timer che segnala per quanti secondi ha ragionato. Il modello predefinito GPT-6 Luna salta questo passaggio ed è quindi più veloce. Nessuna delle due scelte influisce sulla quantità di cronologia visibile al modello. Per capire meglio le differenze pratiche, consulta il confronto Luna vs Terra e la panoramica sulle versioni di GPT.

Domande frequenti

I messaggi più lunghi consumano più crediti gratuiti?

No. Ogni messaggio inviato conta come uno, a prescindere dalla sua lunghezza. I messaggi eccessivamente lunghi vengono rifiutati anziché conteggiati, e le chat molto lunghe vengono accorciate automaticamente come spiegato sopra. Trovi tutti i dettagli sui limiti giornalieri nelle nostre FAQ.

Il modello si ricorda di me tra una chat e l'altra?

No. Ogni chat parte da zero e non c'è memoria condivisa tra conversazioni diverse. La cronologia viene salvata solo nel tuo browser per consentirti di riaprire le vecchie conversazioni, ma il modello ha accesso solo alla chat aperta in quel momento.

Perché a volte la chat ignora un'istruzione data all'inizio?

L'istruzione potrebbe essere scivolata fuori dalla porzione di testo visibile al modello, oppure un messaggio successivo l'ha involontariamente sovrascritta. Basta ripeterla nel tuo messaggio attuale.

A quante parole corrisponde un token nelle altre lingue?

Dipende dalla lingua. L'inglese è tra le più efficienti; molte altre lingue richiedono un numero maggiore di token per esprimere lo stesso testo. Questo non limita l'uso della nostra chat, se non per il fatto che le chat molto lunghe potrebbero iniziare ad accorciarsi leggermente prima.

Una finestra di contesto più ampia è sempre migliore?

Non necessariamente. Anche con contesti enormi, i modelli lavorano molto meglio su testi chiari e focalizzati rispetto a enormi masse disordinate di informazioni. Un contesto breve e ben strutturato garantisce quasi sempre risposte più accurate rispetto a uno lungo e caotico.

La tua domanda, risposta subito

Niente account, niente carta, niente da scaricare. Scrivi cosa vuoi sapere e l'inizio della risposta apparirà in uno o due secondi.

Inizia a chattare