Poradniki
Tokeny i kontekst: ile informacji pamięta GPT
Modele przetwarzają tekst w małych kawałkach zwanych tokenami i mogą analizować tylko określoną ich liczbę naraz. Wyjaśnia to, dlaczego wątki w długich czatach się gubią i dlaczego rozpoczęcie nowej rozmowy z krótkim podsumowaniem bywa znacznie lepszym rozwiązaniem.

Jeśli zdarzyło Ci się prowadzić długą rozmowę ze sztuczną inteligencją, w której model nagle zapomniał o szczególe podanym na samym początku, to znak, że dotknął Cię limit kontekstu. To nie błąd ani nieuwaga modelu. Modele językowe czytają tekst w małych kawałkach zwanych tokenami i odpowiadając, mogą brać pod uwagę tylko określoną część rozmowy. Gdy zrozumiesz działanie tokenów i kontekstu, wiele nietypowych zachowań stanie się jasnych, a kilka prostych nawyków pomoże utrzymać precyzję długich czatów w GBT Chat.
Czym jest token
Token to fragment tekstu: czasem całe krótkie słowo, czasem część dłuższego wyrazu, znak interpunkcyjny albo spacja z kilkoma literami. Angielskie „cat” to jeden token. Długie słowo może zostać podzielone na kilka. Liczby, kod i nietypowe nazwy zazwyczaj dzielą się na więcej części niż zwykłe słowa.
Zgodnie z regułą OpenAI dla języka angielskiego jeden token to mniej więcej trzy czwarte słowa, czyli sto tokenów to około siedemdziesiąt pięć słów. Inne języki często wymagają większej liczby tokenów do przekazania tego samego znaczenia — dotyczy to zwłaszcza języków ze złożonymi wyrazami lub alfabetem innym niż łaciński. W naszym czacie nie musisz samodzielnie liczyć tokenów, ale ta zasada wyjaśnia, dlaczego długość ma znaczenie.
Dlaczego używa się takich fragmentów zamiast pojedynczych liter lub całych słów? Przetwarzanie samych liter trwałoby niezwykle długo, z kolei całe słowa wymagałyby niemożliwie wielkiego słownika, by objąć każde nazwisko, literówkę i język świata. Tokeny są idealnym kompromisem, dlatego korzysta z nich każdy nowoczesny model GPT.
Czym jest okno kontekstu
Okno kontekstu to ilość tekstu, którą model może przeanalizować jednocześnie podczas generowania odpowiedzi. Obejmuje wszystko, co widzi model: instrukcje systemowe strony, wcześniejsze wiadomości z Twojego czatu, Twoją nową wiadomość oraz odpowiedź, którą właśnie pisze. Możesz to sobie wyobrazić jako biurko modelu: korzysta z tego, co się na nim mieści, a to, na co brakuje miejsca, po prostu znika z pola widzenia.
Sam model nie ma żadnej innej pamięci o Twojej rozmowie. Za każdym razem, gdy wysyłasz wiadomość, czat przesyła odpowiednią część dotychczasowej konwersacji na nowo, a model czyta ją od początku. Właśnie dlatego „pamięta” wcześniejsze wiadomości w ramach jednego czatu i jednocześnie nie wie nic o Twoich pozostałych rozmowach.
Jak duże jest to okno i co przesyła nasz czat
W dokumentacji OpenAI modele GPT-6, z których korzystamy, mają przypisane bardzo duże okno kontekstu — około 1,05 miliona tokenów. Przesyłanie tak ogromnego okna przy każdej wiadomości byłoby powolne i kosztowne, a bezpłatny serwis musi dbać o optymalizację każdego zapytania. Dlatego GBT Chat wysyła do modelu najnowszą część rozmowy — mniej więcej kilka ostatnich stron tekstu — wraz z Twoją nową wiadomością. W codziennych rozmowach nawet tego nie zauważysz. Podczas długich sesji najwcześniejsze wiadomości po prostu przestają być widoczne.
Podobny limit działa w drugą stronę: odpowiedzi mają maksymalną długość. Jeśli bardzo długa odpowiedź nagle się urywa, napisz „kontynuuj”, a model podejmie wątek w miejscu, w którym przerwał.
Zdjęcia również się liczą. Gdy załączysz grafikę przyciskiem +, zostaje ona wysłana z wiadomością i zajmuje część okna kontekstu. W czacie uwzględniane są tylko dwa ostatnio dodane obrazy — starsze zastępuje krótka notatka, że zdjęcie zostało przesłane. Jeśli chcesz ponownie zapytać o wcześniejszy obraz, załącz go jeszcze raz.
Dlaczego długie rozmowy tracą wątek
W miarę jak rozmowa się rozrasta, zachodzą trzy zjawiska:
- Wczesne szczegóły znikają z pola widzenia. Budżet wspomniany w drugiej wiadomości może już nie leżeć na biurku przy wiadomości trzydziestej.
- Stare i nowe instrukcje wchodzą w konflikt. Jeśli na początku prosisz o styl „oficjalny”, a później „swobodny”, model musi zgadywać, która zasada wciąż obowiązuje.
- Błędy się kumulują. Błąd popełniony wcześniej przez model, jeśli go nie poprawisz, zostaje w historii rozmowy i może wpływać na kolejne odpowiedzi.
Rozwiązaniem nie jest unikanie długich rozmów, lecz umiejętne zarządzanie nimi. Poniższe nawyki pomogą utrzymać kluczowe fakty w zasięgu wzroku modelu.
Dobre nawyki w długich rozmowach
Słabo: (wiadomość 40) Teraz napisz wersję ostateczną. Lepiej: Napisz ostateczną wersję listu motywacyjnego. Przypomnienie: stanowisko to młodszy analityk danych w szpitalu, maksymalnie 250 słów, wspomnij o moim kursie SQL i wolontariacie, ton przyjazny, ale profesjonalny.
Lepsza wersja przypomina kluczowe fakty zamiast zakładać, że model nadal ma je przed oczami. To zaledwie parę linijek tekstu, a eliminuje zgadywanie. Inne przydatne nawyki:
- Podsumuj i zacznij od nowa. Napisz: „Podsumuj w punktach wszystko, co dotąd ustaliliśmy”, a potem otwórz nowy czat i wklej to podsumowanie jako pierwszą wiadomość. Otwórz prompt podsumowujący i korzystaj z niego w każdej długiej rozmowie.
- Jeden temat na jeden czat. Nowy wątek zasługuje na nową rozmowę. Zmieniaj nazwy czatów w panelu bocznym, aby łatwo je później znaleźć.
- Koryguj błędy na bieżąco. Użyj opcji Edytuj na swojej wiadomości, aby naprawić nieporozumienie u źródła, zamiast zostawiać je w historii.
- Długie materiały umieszczaj przed poleceniem. Gdy wklejasz obszerny tekst, powtórz swoją instrukcję również na samym końcu, by model miał ją świeżo w pamięci.
Praca z długimi tekstami
W jednej wiadomości zmieści się kilka stron tekstu; zbyt długi fragment zostanie odrzucony jako przekraczający limit. Dlatego warto dzielić duże dokumenty. Przesyłaj tekst fragmentami i proś o krótkie streszczenie każdego z nich, a następnie zbierz podsumowania w nowym czacie i pracuj na nich. To wolniejsze niż wklejenie wszystkiego naraz, ale każda część zyskuje wtedy pełną uwagę modelu. Narzędzie summarizer świetnie sprawdza się przy pracy partiami, a nasz przewodnik po czytaniu i researchu podpowie resztę przydatnych promptów.
Kilka wskazówek dotyczących wklejania tekstu:
- Wyraźnie oznaczaj części: „CZĘŚĆ 1 z 4”, „TEKST A”, „TEKST B”.
- Usuwaj zbędne elementy, takie jak nagłówki stron, przypisy czy długie bibliografie, aby zostawić więcej miejsca w oknie na właściwą treść.
- Wskaż modelowi, na co ma zwrócić uwagę, przed tekstem i powtórz to polecenie tuż za nim.
Tokeny, funkcja Think i szybkość
Gdy włączysz opcję Think, GPT-6.1 Terra poświęca chwilę na logiczne przeanalizowanie problemu przed napisaniem odpowiedzi. Ten proces myślowy również zużywa tokeny, ale nie widzisz ich i nie wliczają się one do Twoich wiadomości — zauważysz jedynie krótką przerwę z informacją „Myślał przez” określoną liczbę sekund. Domyślny model GPT-6 Luna pomija ten krok, dlatego odpowiada szybciej. Żaden z tych wyborów nie wpływa na to, jak duży fragment rozmowy widzi model. Jeśli ciekawi Cię, czym różnią się w praktyce, zajrzyj do porównania Luna vs Terra oraz zestawienia wersji GPT.
Często zadawane pytania (FAQ)
Czy dłuższe wiadomości bardziej zużywają darmowy limit?
Nie. Każda wiadomość liczy się jako jedno zapytanie, bez względu na długość. Wiadomość rażąco długa zostanie po prostu odrzucona zamiast naliczona, a długie rozmowy są przycinane zgodnie z zasadami opisanymi wyżej. Szczegółowe limity dzienne znajdziesz w sekcji FAQ.
Czy model pamięta mnie między różnymi czatami?
Nie. Każdy czat zaczyna się od czystej karty i nie ma wspólnej pamięci między wątkami. Twoja historia jest zapisywana wyłącznie w Twojej przeglądarce, więc możesz wrócić do starych rozmów, ale model widzi tylko ten czat, w którym aktualnie piszesz.
Dlaczego czat ignoruje czasem instrukcję podaną na początku?
Najczęściej instrukcja wypadła już z fragmentu rozmowy, który model aktualnie widzi, albo późniejsza wiadomość sprawiała wrażenie, że ją anulujesz. Po prostu powtórz polecenie w bieżącej wiadomości.
Ile słów przypada na jeden token w innych językach?
To zależy od języka. Angielski jest jednym z najbardziej zwięzłych; wiele innych języków wymaga większej liczby tokenów do zapisania tej samej treści. Nie ogranicza to Twoich możliwości w czacie — oznacza jedynie, że bardzo długie rozmowy zostaną przycięte odrobinę wcześniej.
Czy większe okno kontekstu zawsze oznacza lepsze odpowiedzi?
Niekoniecznie. Nawet przy potężnym oknie modele skupiają się bardziej na precyzyjnym, trafnym tekście niż na gigantycznym stosie chaotycznych danych. Krótki, dobrze uporządkowany kontekst daje zazwyczaj o wiele lepsze rezultaty niż długa, nieuporządkowana treść.
Czytaj dalej
Odpowiedź na Twoje pytanie od ręki
Bez konta, bez karty, bez instalowania. Wpisz, czego chcesz się dowiedzieć, a pierwsze słowa odpowiedzi pojawią się w sekundę lub dwie.