Гайды
Токены и контекст: какой объем информации удерживает GPT
Модели обрабатывают текст фрагментами — токенами — и могут учитывать лишь ограниченный объем данных за раз. Это объясняет, почему в долгих беседах теряется суть и почему новый чат с краткой выжимкой часто дает лучший результат.

Если в долгом диалоге с ИИ модель вдруг забывала то, о чем вы писали в самом начале, вы столкнулись с ограничением контекста. Это не сбой и не невнимательность модели. Языковые модели читают текст небольшими фрагментами — токенами, и с каждым ответом они могут учитывать лишь определенный объем беседы. Если разобраться в работе токенов и контекста, многие странности станут понятны, а пара простых привычек поможет сохранить точность длинных переписок в GBT Chat.
Что такое токен
Токен — это кусочек текста: иногда целое короткое слово, иногда часть длинного слова, знак препинания или пробел с несколькими буквами. «Кот» — это один токен. Слово «невероятно» может разбиться на несколько. Числа, программный код и редкие имена обычно делятся на большее число частей, чем обычные слова.
По общему правилу OpenAI, для английского языка один токен равен примерно трем четвертям слова, то есть сотня токенов — это около 75 слов. В других языках для передачи того же смысла часто требуется больше токенов, особенно если в них много длинных составных слов или используется нелатинский алфавит. В нашем чате вам никогда не придется считать токены вручную, но сам этот принцип объясняет, почему длина имеет значение.
Почему используются кусочки, а не отдельные буквы или целые слова? С буквами обработка текста стала бы чересчур долгой. Если же брать целые слова, потребовался бы нереально огромный словарь, чтобы охватить все имена, опечатки и языки. Токены стали удобным компромиссом, поэтому с ними работают все современные модели GPT.
Что такое окно контекста
Окно контекста — это объем текста, который модель может учитывать единовременно при составлении ответа. Сюда входит все, что ей передается: системные инструкции сайта, предыдущие реплики из диалога, ваше новое сообщение и сам создаваемый ответ. Представьте, что это рабочий стол модели: все, что на нем лежит, идет в ход; чего не поместилось — для нее просто не существует.
Никакой другой памяти о диалоге у самой модели нет. При каждой отправке сообщения чат заново передает нужную часть переписки, и модель прочитывает ее с чистого листа. Именно поэтому она «помнит» предыдущие фразы внутри одного чата и при этом ничего не знает о ваших соседних диалогах.
Размер окна и что передает наш чат
В документации OpenAI для используемых нами моделей GPT-6 заявлено огромное окно контекста — примерно 1,05 миллиона токенов. Передавать такой объем с каждым сообщением было бы медленно и накладно, а бесплатному сайту важно сохранять каждый запрос компактным. Поэтому GBT Chat отправляет модели только самую свежую часть беседы — примерно последние несколько страниц текста — плюс ваше новое сообщение. В повседневном общении вы этого даже не заметите. В долгих же беседах самые ранние сообщения просто перестают учитываться.
Похожее ограничение действует и в обратную сторону: у ответов есть максимальная длина. Если очень длинный ответ оборвался на полуслове, просто напишите «продолжи», и модель закончит мысль с того места, где остановилась.
Изображения тоже расходуют лимит. Когда вы прикрепляете фото кнопкой +, оно отправляется вместе с сообщением и занимает часть окна. В историю включаются только два последних изображения из диалога; более старые заменяются короткой пометкой о том, что там была картинка. Если вы хотите снова обсудить изображение, отправленное ранее, просто прикрепите его еще раз.
Почему длинные диалоги теряют нить
По мере роста переписки возникают три проблемы:
- Теряются ранние детали. Бюджет, упомянутый во втором сообщении, к тридцатому может просто исчезнуть с «рабочего стола» модели.
- Старые инструкции спорят с новыми. Если в начале вы попросили писать «официально», а позже — «простыми словами», модели приходится угадывать, какое требование актуально.
- Копятся неточности. Ошибка, допущенная моделью ранее, останется в контексте, если ее не исправить, и может повлиять на последующие ответы.
Выход не в том, чтобы избегать длинных переписок, а в том, чтобы правильно их вести. Простые приемы ниже помогут удержать важные факты в поле зрения модели.
Как удерживать контекст в долгом диалоге
Неудачно: (сообщение 40) А теперь напиши финальный вариант. Лучше: Напиши финальный вариант сопроводительного письма. Напоминаю: вакансия — младший аналитик данных в больнице, максимум 250 слов, упомяни мой курс по SQL и волонтерство, тон дружелюбный, но деловой.
Во втором случае ключевые факты повторяются прямо в запросе, а не отдаются на волю случая. Это займет пару строк, зато избавит от догадок. Другие полезные привычки:
- Обобщайте и начинайте заново. Попросите: «Сделай краткую выжимку по пунктам всего, о чем мы договорились», создайте новый диалог и отправьте этот итог первым сообщением. Откройте готовый запрос для выжимки и используйте его в любой длинной беседе.
- Один чат — одна тема. Для нового вопроса лучше создать новый диалог. Переименовывайте чаты в боковом меню, чтобы потом легко их находить.
- Исправляйте ошибки сразу. Используйте кнопку Редактировать на своем сообщении, чтобы исправить недопонимание в корне, а не тянуть ошибку через всю историю.
- Большие фрагменты ставьте ближе к концу. Если вы вставляете объемный текст, продублируйте задание после него, чтобы модель сразу видела свежую задачу.
Работа с объемными текстами
Одно сообщение вмещает несколько страниц текста; слишком длинную вставку система отклонит как превышающую лимит. Поэтому делите большие документы на части. Отправляйте по одному разделу и просите краткий пересказ каждого, а затем соберите эти выжимки в новом чате и работайте уже с ними. Это займет чуть больше времени, чем отправка всего сразу, зато каждая часть получит максимум внимания модели. Для поэтапной работы пригодится наш инструмент для сокращения текста, а в руководстве по чтению и исследованиям найдутся подходящие запросы для остальных задач.
Несколько советов по отправке текстов:
- Четко разделяйте части: «ЧАСТЬ 1 из 4», «ТЕКСТ А», «ТЕКСТ Б».
- Убирайте лишнее: колонтитулы, сноски или длинные списки литературы, чтобы освободить место в окне под суть.
- Укажите модели, на что обратить внимание, перед текстом и повторите это после него.
Токены, режим Think и скорость
Когда вы нажимаете Think, модель GPT-6.1 Terra берет немного времени на рассуждения перед ответом. Этот процесс тоже расходует токены, но вы их не видите, и они не тратят ваш лимит сообщений; вы заметите лишь небольшую паузу с пометкой «Думал … секунд». Стандартная GPT-6 Luna этот шаг пропускает, поэтому отвечает быстрее. Ни один из вариантов не меняет объем переписки, доступный модели. Если вам интересно сравнить их в деле, загляните в сравнение Luna и Terra и обзор версий GPT.
Частые вопросы
Тратят ли длинные сообщения больше бесплатного лимита?
Нет. Каждое сообщение считается как одно, независимо от его длины. Слишком длинное сообщение будет отклонено, а не списано со счета, а длинные переписки просто обрезаются по описанному выше принципу. Подробнее о дневных лимитах можно узнать в разделе Частые вопросы.
Помнит ли модель меня в других чатах?
Нет. Каждый чат начинается с чистого листа, общая память между ними отсутствует. История сохраняется только в вашем браузере, чтобы вы могли вернуться к старым записям, но модель видит только текущую беседу.
Почему чат иногда игнорирует указание из начала беседы?
Инструкция либо вышла за пределы фрагмента переписки, который видит модель, либо более позднее сообщение противоречило ей. Просто напомните правило в текущем запросе.
Сколько слов приходится на токен в других языках?
По-разному. Английский язык — один из самых экономных; во многих других языках на тот же объем текста уходит больше токенов. На возможностях нашего чата это не сказывается, разве что долгие переписки начнут обрезаться чуть раньше.
Всегда ли чем больше окно контекста, тем лучше?
Не всегда. Даже с огромным окном модели внимательнее относятся к четкому и по делу составленному тексту, чем к длинной свалке из разрозненных данных. Короткий и структурированный контекст почти всегда дает более качественные ответы, чем длинный и хаотичный.
Читайте также
Ответ на ваш вопрос за пару секунд
Без аккаунта, привязки карт и скачивания. Напишите свой вопрос, и чат начнет отвечать уже через пару секунд.