Saltar al contenido

Guías

Tokens y contexto: cuánto puede retener GPT en memoria

Los modelos leen el texto en fragmentos llamados tokens y solo pueden procesar una cantidad limitada a la vez. Entender esto aclara por qué los chats muy largos se desvían y por qué abrir uno nuevo con un breve resumen suele funcionar mucho mejor.

6 min de lecturaActualizado

Si alguna vez has tenido una conversación larga con una IA donde el modelo de repente olvidó un detalle que le diste al principio, te has topado con el límite de contexto. No es un error ni un descuido del modelo. Los modelos de lenguaje leen el texto en pequeños fragmentos llamados tokens y, cada vez que responden, solo pueden procesar una cantidad determinada de la conversación. Una vez que entiendes los tokens y el contexto, muchas conductas extrañas cobran sentido, y unos cuantos hábitos simples ayudan a mantener la precisión en chats largos dentro de GBT Chat.

Qué es un token

Un token es un fragmento de texto: a veces es una palabra corta completa, a veces parte de una palabra más larga, un signo de puntuación o un espacio con un par de letras. "Gato" suele ser un token. "Increíblemente" puede dividirse en varios. Los números, el código y los nombres poco comunes suelen fragmentarse en más partes que las palabras habituales.

La regla general de OpenAI para el inglés es que un token equivale aproximadamente a tres cuartos de palabra, por lo que cien tokens son unas setenta y cinco palabras. Otros idiomas a menudo necesitan más tokens para expresar lo mismo, sobre todo aquellos con palabras compuestas largas o alfabetos no latinos. No necesitas contar tokens tú mismo en nuestro chat, pero la idea explica por qué la longitud importa tanto.

¿Por qué fragmentos en vez de letras o palabras completas? Las letras harían que procesar los textos fuera demasiado lento; las palabras completas requerirían un vocabulario descomunal para cubrir cada nombre, errata e idioma. Los tokens se sitúan en un punto medio ideal, razón por la cual todo modelo GPT moderno trabaja con ellos.

Qué es la ventana de contexto

La ventana de contexto es la cantidad de texto que un modelo puede considerar al mismo tiempo cuando redacta una respuesta. Incluye todo lo que se le muestra: las instrucciones del sitio, los mensajes anteriores de tu conversación, tu nuevo mensaje y la respuesta que está escribiendo. Imagínalo como el escritorio de trabajo del modelo. Todo lo que cabe en el escritorio se puede usar; lo que no cabe, simplemente desaparece.

El modelo en sí no tiene otra memoria de tu conversación. Cada vez que envías un mensaje, el chat vuelve a enviar la parte relevante del historial y el modelo la lee desde cero. Por eso "recuerda" mensajes anteriores dentro de un mismo chat, pero no sabe absolutamente nada sobre tus otras conversaciones.

De qué tamaño es la ventana y qué envía nuestro chat

La documentación de OpenAI indica una ventana de contexto enorme para los modelos GPT-6 que usamos: de unos 1.05 millones de tokens. Enviar una ventana de ese tamaño en cada mensaje sería lento y costoso, y un sitio gratuito debe mantener cada solicitud ligera. Por eso, GBT Chat envía al modelo la parte más reciente de la conversación, que equivale más o menos a las últimas páginas de texto, además de tu mensaje actual. En chats cotidianos ni lo notarás. En una sesión muy larga, los mensajes más antiguos irán quedando fuera.

Existe un límite similar en el otro sentido: las respuestas tienen una longitud máxima. Si una respuesta muy extensa se corta a la mitad, solo escribe "continúa" y el modelo retomará el texto justo donde se quedó.

Las imágenes también cuentan. Cuando adjuntas una foto con el botón +, se envía con ese mensaje y ocupa parte de la ventana. Solo se envían las dos imágenes más recientes del chat; las más antiguas se sustituyen por una breve nota indicando que había una imagen allí. Si quieres volver a preguntar sobre una imagen anterior, adjúntala de nuevo.

Por qué se desvían los chats largos

A medida que una conversación crece, suceden tres cosas:

  • Los primeros detalles se pierden. El presupuesto que mencionaste en el mensaje dos tal vez ya no esté sobre el escritorio para el mensaje treinta.
  • Las instrucciones viejas y nuevas entran en conflicto. Si al inicio pediste un tono "formal" y más tarde uno "casual", el modelo tiene que adivinar cuál sigue vigente.
  • Los errores se acumulan. Si el modelo cometió un error antes y no lo corregiste, se queda en la conversación y puede afectar las respuestas posteriores.

La solución no es evitar los chats largos, sino gestionarlos bien. Los siguientes hábitos ayudan a mantener los datos clave siempre a la vista del modelo.

Hábitos para mantener el rumbo en chats largos

Poco efectivo:
(mensaje 40) Ahora escribe la versión final.

Mucho mejor:
Escribe la versión final de la carta de presentación. Recordatorios: el
puesto es de analista de datos junior en un hospital, máximo 250 palabras,
menciona mi curso de SQL y mi voluntariado, tono cercano pero profesional.

El segundo mensaje repite los datos esenciales en vez de asumir que siguen en pantalla. Solo toma un par de líneas y elimina las dudas. Otros buenos hábitos:

  • Resume y reinicia. Pide "Resume todo lo que hemos acordado hasta ahora en puntos", luego abre un nuevo chat y pega ese resumen en tu primer mensaje. Abre el prompt de resumen y úsalo en cualquier chat largo.
  • Un tema por chat. Un tema nuevo merece una conversación nueva. Renombra los chats en el panel lateral para encontrarlos fácilmente después.
  • Corrige los errores al momento. Usa Editar en tu mensaje para resolver cualquier malentendido de raíz, en lugar de dejarlo en el historial.
  • Coloca el contenido largo al final. Cuando pegues un texto extenso, añade también tu instrucción después de él para que la petición quede fresca.

Cómo trabajar con textos largos

Un solo mensaje puede albergar unas cuantas páginas de texto; si pegas algo demasiado largo, el sistema lo rechazará por exceso de longitud. Por eso, conviene dividir documentos grandes. Envía una sección a la vez y pide un breve resumen de cada una; luego reúne esos resúmenes en un nuevo chat y trabaja a partir de ellos. Es más lento que pegar todo de golpe, pero cada fragmento recibe la atención completa del modelo. El resumidor es ideal para este paso por secciones, y nuestra guía de lectura e investigación incluye prompts para el resto.

Consejos útiles al pegar texto:

  • Identifica las partes claramente: "PARTE 1 de 4", "TEXTO A", "TEXTO B".
  • Elimina lo innecesario, como encabezados de página, notas al pie o listas largas de referencias, para que la ventana se aproveche en el contenido real.
  • Indica al modelo qué debe buscar antes del texto y recuérdaselo al final.
Usa un asistente para las instrucciones que siempre repites. Si cada chat empieza con la misma configuración —como tu estilo de redacción, tu profesión o tu público objetivo—, crea tu propio asistente con esas pautas en Asistentes. Se incluirán en cada mensaje de esa conversación, así que nunca se perderán como ocurriría con un mensaje antiguo.

Tokens, Pensar y velocidad

Cuando activas Pensar, GPT-6.1 Terra se toma un momento para razonar antes de redactar. Ese razonamiento también consume tokens, pero no los ves y no restan límite a tus mensajes; solo notarás una breve pausa, indicada como "Pensó durante" cierta cantidad de segundos. El modelo predeterminado GPT-6 Luna omite ese paso, por lo que responde más rápido. Ninguna de las dos opciones cambia cuánto de tu conversación puede ver el modelo. Si quieres saber cómo se diferencian en la práctica, la comparativa Luna vs Terra y la guía de versiones de GPT te lo explican a fondo.

Preguntas frecuentes

¿Los mensajes más largos gastan más de mi límite gratuito?

No. Cada mensaje cuenta como uno solo, sin importar su longitud. Si un mensaje es excesivamente largo simplemente se rechaza en lugar de contabilizarse, y los chats extensos se recortan como explicamos antes. Las Preguntas frecuentes detallan todo sobre los límites diarios.

¿El modelo me recuerda entre distintos chats?

No. Cada conversación empieza desde cero y no hay memoria compartida entre chats. Tu historial solo se guarda en tu navegador para que puedas reabrir chats antiguos, pero el modelo únicamente ve aquel en el que estás escribiendo.

¿Por qué el chat a veces ignora una indicación que di al inicio?

O bien la indicación quedó fuera de la parte visible del chat que el modelo puede leer, o un mensaje posterior pareció anularla. Vuelve a incluir esa indicación en tu mensaje actual.

¿Cuántas palabras equivale un token en otros idiomas?

Varía. El inglés es de los más eficientes; muchos otros idiomas requieren más tokens para el mismo texto. Esto no limita lo que puedes hacer en nuestro chat, más allá de que las conversaciones largas puedan recortarse un poco antes.

¿Una ventana de contexto más grande siempre es mejor?

No necesariamente. Incluso con una ventana gigantesca, los modelos prestan más atención a textos claros y relevantes que a una acumulación interminable de información. Un contexto breve y bien organizado suele ofrecer mejores respuestas que uno largo y desordenado.

Tu respuesta, al instante

Sin cuenta, sin tarjeta y sin descargas. Escribe lo que quieras saber y las primeras palabras de la respuesta aparecerán en uno o dos segundos.

Empezar a chatear