Перейти до вмісту

Гайди

Токени й контекст: скільки інформації тримає в пам'яті GPT

Моделі сприймають текст невеликими частинами — токенами — і можуть обробляти лише обмежений їх обсяг одночасно. Це пояснює, чому довгі бесіди з часом втрачають нитку і чому новий чат із коротким описом задачі часто працює набагато краще.

5 хв читанняОновлено

Якщо у вас колись був довгий діалог зі штучним інтелектом, де модель раптом забувала важливу деталь із самого початку, ви зіткнулися з лімітом контексту. Це не помилка і не неуважність моделі. Мовні моделі читають текст невеликими частинами — токенами, і щоразу, коли вони відповідають, вони можуть враховувати лише певний обсяг розмови. Коли ви зрозумієте, як працюють токени та контекст, багато дивацтв стануть зрозумілими, а кілька простих звичок допоможуть зберегти точність відповідей у довгих чатах GBT Chat.

Що таке токен

Токен — це фрагмент тексту: іноді ціле коротке слово, іноді частина довшого слова, розділовий знак або пробіл із кількома літерами. «Кіт» — це один токен. Довге слово може розбиватися на кілька частин. Числа, код і рідкісні імена зазвичай діляться на більше фрагментів, ніж звичайні слова.

Згідно з правилом OpenAI для англійської мови, один токен — це приблизно три чверті слова, тобто сто токенів — це десь сімдесят п'ять слів. Іншим мовам для передачі того самого змісту часто потрібно більше токенів, особливо якщо в них використовуються довгі складні слова або нелатинські алфавіти. Вам ніколи не доведеться рахувати токени самостійно в нашому чаті, але це пояснює, чому довжина має значення.

Чому текст розбивається на фрагменти, а не на літери чи цілі слова? Опрацювання тексту по літерах тривало б надто довго. А для цілих слів знадобився б нереально величезний словник, який охоплював би кожне ім'я, помилку та мову. Токени — це золота середина, саме тому кожна сучасна модель GPT працює з ними.

Що таке вікно контексту

Вікно контексту — це обсяг тексту, який модель може врахувати одночасно під час написання відповіді. Воно містить усе, що бачить модель: інструкції сайту, попередні повідомлення вашого чату, ваше нове повідомлення та саму відповідь, яку вона створює. Уявіть це як робочий стіл моделі. Те, що поміщається на столі, можна використовувати; те, що не помістилося, просто зникає з поля зору.

Сама модель не має іншої пам'яті про вашу розмову. Щоразу, коли ви надсилаєте повідомлення, чат надсилає релевантну частину розмови заново, і модель читає її з чистого аркуша. Ось чому вона «пам'ятає» попередні репліки в межах одного чату і нічого не знає про ваші інші бесіди.

Наскільки велике це вікно і що надсилає наш чат

У документації OpenAI зазначено дуже велике вікно контексту для моделей GPT-6, які ми використовуємо, — приблизно 1,05 мільйона токенів. Надсилання вікна такого розміру з кожним повідомленням було б повільним і дорогим, а безкоштовний сайт має зберігати кожен запит компактним. Тому GBT Chat надсилає моделі лише найновішу частину розмови — приблизно кілька останніх сторінок тексту — плюс ваше нове повідомлення. У повсякденних чатах ви цього навіть не помітите. Проте під час тривалої сесії найперші повідомлення зрештою випадають із поля зору.

Схоже обмеження діє і з іншого боку: відповіді мають максимальну довжину. Якщо дуже довга відповідь обривається на пів слові, просто напишіть «продовжуй», і модель підхопить думку з місця зупинки.

Зображення також мають значення. Коли ви прикріплюєте фото за допомогою кнопки +, воно надсилається разом із повідомленням і займає частину вікна. У запиті передаються лише два останні зображення з чату; старіші замінюються короткою приміткою про те, що тут була картинка. Якщо ви хочете знову запитати про попереднє фото, прикріпіть його ще раз.

Чому довгі чати втрачають нитку розмови

Із розвитком розмови відбуваються три речі:

  • Ранні деталі губляться. Бюджет, про який ви згадали в другому повідомленні, до тридцятого вже може зникнути зі «столу».
  • Старі й нові вказівки конфліктують. Якщо спочатку ви попросили писати «офіційно», а пізніше — «невимушено», моделі доводиться вгадувати, яке правило досі актуальне.
  • Помилки накопичуються. Якщо ви не виправили помилку моделі на початку, вона залишається в історії й може впливати на подальші відповіді.

Вихід не в тому, щоб уникати довгих чатів, а в тому, щоб правильно керувати ними. Кілька корисних звичок нижче допоможуть тримати важливі факти на виду в моделі.

Звички, які тримають довгі бесіди в руслі

Слабко:
(повідомлення 40) Тепер напиши фінальну версію.

Краще:
Напиши фінальну версію супровідного листа. Нагадую: посада —
молодший аналітик даних у лікарні, щонайбільше 250 слів, згадай мій
курс із SQL та волонтерство, тон доброзичливий, але професійний.

Кращий варіант повторює ключові факти замість сліпої надії на те, що вони все ще в полі зору. Це вимагає всього кількох рядків і позбавляє модель потреби вгадувати. Інші корисні поради:

  • Підсумуйте та почніть знову. Попросіть: «Підсумуй усе, про що ми домовилися, тезами», а потім почніть новий чат і вставте цей підсумок як перше повідомлення. Відкрийте промпт для підсумку та використовуйте його в будь-якому довгому чаті.
  • Один чат — одна тема. Нова тема варта окремого чату. Перейменовуйте чати в бічній панелі, щоб легко знаходити їх пізніше.
  • Виправляйте помилки одразу. Використовуйте кнопку Редагувати для свого повідомлення, щоб усунути непорозуміння на самому початку, а не тягнути його крізь усю історію.
  • Розміщуйте великі матеріали ближче до кінця. Коли ви вставляєте довгий текст, додайте свою інструкцію ще й після нього, щоб запит залишався свіжим для моделі.

Робота з великими текстами

Одне повідомлення може вмістити кілька сторінок тексту; якщо вставити занадто багато, система відхилить повідомлення через перевищення ліміту. Тому розбивайте великі документи. Надсилайте текст частинами та просіть короткий підсумок кожної з них, а потім зберіть ці підсумки в новому чаті й працюйте вже з ними. Це повільніше, ніж вставити все за один раз, але так кожна частина отримає повну увагу моделі. Наш інструмент для підсумків чудово підходить для покрокового опрацювання, а в нашому посібнику з читання та досліджень є промпти для решти завдань.

Кілька порад щодо вставлення тексту:

  • Чітко позначайте фрагменти: «ЧАСТИНА 1 з 4», «ТЕКСТ А», «ТЕКСТ Б».
  • Видаляйте зайве: колонтитули, виноски або довгі списки літератури, щоб корисний вміст займав більше місця у вікні.
  • Вказуйте моделі, на що звернути увагу, спочатку перед текстом, а потім повторіть це після нього.
Використовуйте асистента для повторюваних інструкцій. Якщо кожен ваш чат починається з однакових вказівок (наприклад, ваш стиль письма, професія чи цільова аудиторія), створіть власного помічника в розділі Асистенти. Ці інструкції додаються до кожного повідомлення в чаті, тому вони ніколи не загубляться, як це буває зі старими репліками.

Токени, Think та швидкість

Коли ви натискаєте Think, GPT-6.1 Terra витрачає трохи часу на міркування, перш ніж відповісти. Цей процес мислення також використовує токени, але ви їх не бачите, і вони не зараховуються до вашого ліміту повідомлень; ви помічаєте лише коротку паузу з написом «Роздуми тривали» із зазначенням секунд. Стандартна модель GPT-6 Luna пропускає цей крок, тому відповідає швидше. Жоден із варіантів не впливає на те, яку частину розмови бачить модель. Якщо вам цікаво, чим вони відрізняються на практиці, перегляньте порівняння Luna та Terra і наш огляд версій GPT.

Поширені запитання

Чи витрачають довші повідомлення більше безкоштовного ліміту?

Ні. Кожне повідомлення рахується як одне, незалежно від його довжини. Якщо повідомлення надто довге, воно просто не надішлеться (ліміт не спишеться), а довгі чати обрізаються, як описано вище. У розділі Часті запитання є всі деталі щодо щоденних лімітів.

Чи пам'ятає мене модель між різними чатами?

Ні. Кожен чат починається з нуля, пам'ять між ними не передається. Ваша історія зберігається лише у вашому браузері, щоб ви могли повернутися до старих розмов, але сама модель бачить тільки той діалог, у якому ви перебуваєте зараз.

Чому чат іноді ігнорує вказівку, яку я дав на самому початку?

Або ця інструкція вже випала з частини чату, яку бачить модель, або пізніше повідомлення випадково скасувало її дію. Просто повторіть свою вимогу в поточному повідомленні.

Скільки слів становить один токен в інших мовах?

Це залежить від мови. Англійська — одна з найекономніших; багатьом іншим мовам для передачі того самого тексту потрібно більше токенів. Це ніяк не впливає на ваші можливості в нашому чаті, окрім того, що довгі бесіди можуть обрізатися трохи раніше.

Чи більше вікно контексту завжди краще?

Не обов'язково. Навіть із величезним вікном моделі значно краще фокусуються на чіткому та релевантному тексті, ніж на купі всього підряд. Короткий, добре структурований контекст зазвичай забезпечує якісніші відповіді, ніж довгий і хаотичний.

Відповідь на ваше запитання — просто зараз

Жодних акаунтів, карток чи завантажень. Напишіть своє запитання, і перші слова відповіді з’являться вже за мить.

Почати чат