Přejít k obsahu

Návody

Tokeny a kontext: kolik informací si GPT dokáže pamatovat

Modely čtou text po malých kouscích zvaných tokeny a v jeden okamžik zvládnou zpracovat jen omezený objem. Pochopení tohoto principu objasňuje, proč se dlouhé chaty rozpadají a proč nový chat s krátkým shrnutím funguje mnohem lépe.

5 min čteníAktualizováno

Pokud jste někdy vedli delší AI konverzaci, ve které model z ničeho nic zapomněl detail zadaný na začátku, narazili jste na limit kontextu. Není to chyba ani nepozornost modelu. Jazykové modely čtou text po malých kouscích zvaných tokeny a při každé odpovědi mohou vzít v úvahu jen určité množství konverzace. Jakmile tokeny a kontext pochopíte, leccos z podivného chování začne dávat smysl — a pár jednoduchých návyků udrží dlouhé chaty v GBT Chat přesné.

Co je to token

Token je kousek textu: někdy celé krátké slovo, jindy část delšího slova, interpunkční znaménko nebo mezera s několika písmeny. Slovo „pes“ je jeden token. Slovo „neuvěřitelně“ se může rozdělit na několik. Čísla, kód a neobvyklá jména se obvykle dělí na více částí než běžná slova.

Podle orientačního pravidla OpenAI pro angličtinu odpovídá jeden token zhruba třem čtvrtinám slova, takže sto tokenů je přibližně sedmdesát pět slov. Jiné jazyky často potřebují k vyjádření stejného významu více tokenů, zejména ty s dlouhými složeninami nebo nepísmenkovým písmem. V našem chatu tokeny sami počítat nemusíte, ale tento princip vysvětluje, proč na délce záleží.

Proč kousky místo písmen nebo celých slov? Písmena by extrémně prodloužila zpracování textu; celá slova by zase vyžadovala nepředstavitelně velkou slovní zásobu, která by pokryla každé jméno, překlep i jazyk. Tokeny jsou zlatá střední cesta, a proto s nimi pracuje každý moderní GPT model.

Co je kontextové okno

Kontextové okno je množství textu, které může model zohlednit najednou při psaní odpovědi. Zahrnuje vše, co má k dispozici: instrukce od webu, předchozí zprávy v chatu, vaši novou zprávu i odpověď, kterou právě píše. Představte si ho jako pracovní stůl modelu. Co se na stůl vejde, s tím může pracovat; co se nevejde, to pro něj prostě neexistuje.

Samotný model nemá o vaší konverzaci žádnou jinou paměť. Pokaždé, když odešlete zprávu, chat pošle příslušnou část konverzace znovu a model si ji přečte od začátku. Proto si „pamatuje“ dřívější zprávy v rámci jednoho chatu a zároveň neví vůbec nic o vašich ostatních chatech.

Jak velké je okno a co náš chat posílá

Dokumentace OpenAI uvádí pro námi používané modely GPT-6 velmi velké kontextové okno — zhruba 1,05 milionu tokenů. Posílat okno této velikosti s každou zprávou by však bylo pomalé a drahé, a bezplatný web musí jednotlivé požadavky udržovat úsporné. Proto GBT Chat posílá modelu nejnovější část konverzace — zhruba posledních několik stránek textu — plus vaši novou zprávu. U běžných chatů si ničeho nevšimnete. V dlouhé konverzaci se ty nejstarší zprávy postupně vytratí ze zorného pole.

Podobný limit platí i z druhé strany: odpovědi mají maximální délku. Pokud se velmi dlouhá odpověď v půlce zastaví, napište „pokračuj“ a model naváže tam, kde skončil.

Počítají se i obrázky. Když připojíte fotku pomocí tlačítka +, odešle se s danou zprávou a zabere část okna. V chatu se odesílají pouze dva nejnovější obrázky; starší jsou nahrazeny krátkou poznámkou, že zde obrázek byl. Chcete-li se znovu zeptat na dřívější obrázek, vložte ho znovu.

Proč dlouhé chaty ztrácejí směr

S tím, jak konverzace roste, dochází ke třem věcem:

  • Počáteční detaily mizí. Rozpočet, který jste zmínili ve druhé zprávě, už u třicáté zprávy nemusí být na stole.
  • Staré a nové pokyny si odporují. Pokud jste na začátku napsali „formálně“ a později „neformálně“, model musí hádat, co stále platí.
  • Chyby se kupí. Pokud neopravíte chybu, kterou model udělal dříve, zůstane v historii a může ovlivnit další odpovědi.

Řešením není vyhýbat se dlouhým chatům, ale správně je řídit. Níže uvedené návyky udrží důležitá fakta na očích modelu.

Slabé:
(zpráva 40) Teď napiš finální verzi.

Lepší:
Napiš finální verzi motivačního dopisu. Připomenutí: pozice je
junior data analyst v nemocnici, maximálně 250 slov, zmiň můj
kurz SQL a dobrovolnictví, tón přátelský, ale profesionální.

Lepší zpráva zopakuje klíčová fakta, místo aby spoléhala na to, že jsou stále v zorném poli. Stojí to pár řádků a eliminuje dohady. Další návyky:

  • Shrnout a začít znovu. Požádejte: „Shrň vše, na čem jsme se dosud shodli, v bodech,“ pak otevřete nový chat a vložte shrnutí jako první zprávu. Otevřete prompt pro shrnutí a použijte ho v jakémkoli dlouhém chatu.
  • Jedno téma na jeden chat. Nové téma si zaslouží nový chat. Přejmenujte si chaty v bočním panelu, abyste je později snadno našli.
  • Opravujte chyby hned, jak je uvidíte. Použijte Upravit u své zprávy a napravte nedorozumění přímo u zdroje, než abyste ho nechali v historii.
  • Dlouhé texty dávejte ke konci. Když vkládáte dlouhý text, přidejte své instrukce i za něj, aby byl požadavek čerstvý.

Práce s dlouhými texty

Jedna zpráva pojme několik stránek textu; mnohem delší text systém odmítne jako příliš dlouhý. Velké dokumenty proto rozdělte. Posílejte jednu část po druhé a u každé požádejte o krátké shrnutí. Shrnutí pak shromážděte v novém chatu a pracujte s nimi. Je to sice pomalejší než jedno obří vložení, ale model se může plně soustředit na každou část. Shrnovač se skvěle hodí pro zpracování po částech a náš průvodce čtením a rešeršemi nabízí prompty pro zbytek práce.

Několik tipů pro vkládání:

  • Části jasně označte: „ČÁST 1 ze 4“, „TEXT A“, „TEXT B“.
  • Odstraňte vše zbytečné, jako jsou záhlaví stránek, poznámky pod čarou nebo dlouhé seznamy literatury, aby více prostoru v okně zbylo pro samotný obsah.
  • Před textem řekněte modelu, co má hledat, a zopakujte to i za ním.
Používejte asistenty pro opakující se instrukce. Pokud každý chat začínáte stejným zadáním — například svým stylem psaní, profesí nebo cílovou skupinou —, vytvořte si vlastního asistenta s těmito pokyny v sekci Asistenti. Pokyny se pak přikládají ke každé zprávě v daném chatu, takže se nikdy neztratí ze zorného pole jako staré zprávy.

Tokeny, Přemýšlet a rychlost

Když kliknete na Přemýšlet, GPT-6.1 Terra věnuje před sepsáním odpovědi chvíli uvažování. Toto uvažování také spotřebovává tokeny, vy ho však nevidíte a nezapočítává se do vašich zpráv; všimnete si jen krátké pauzy zobrazené jako „Přemýšlel po dobu“ několika sekund. Výchozí GPT-6 Luna tento krok přeskakuje, a proto odpovídá rychleji. Ani jedna z možností nemění to, kolik z vašeho chatu model vidí. Pokud vás zajímá, jak se oba modely liší v praxi, více se dozvíte ve srovnání Luna vs Terra a v přehledu verzí GPT.

Často kladené otázky

Ubírají delší zprávy více z mého bezplatného limitu?

Ne. Každá zpráva se počítá jako jedna, bez ohledu na délku. Zpráva, která je příliš dlouhá, je spíše odmítnuta než započítána, a dlouhé chaty se zkracují, jak je popsáno výše. Podrobnosti o denních limitech najdete v Často kladených otázkách.

Pamatuje si mě model mezi jednotlivými chaty?

Ne. Každý chat začíná s čistým štítem a mezi chaty neexistuje žádná sdílená paměť. Historie se ukládá pouze ve vašem prohlížeči, takže staré chaty můžete znovu otevřít, ale model vidí vždy jen ten, ve kterém se právě nacházíte.

Proč chat někdy ignoruje instrukci, kterou jsem zadal na začátku?

Instrukce buď vypadla z části chatu, kterou model vidí, nebo ji zdánlivě přepsala pozdější zpráva. Jednoduše instrukci zopakujte ve své aktuální zprávě.

Kolik slov odpovídá jednomu tokenu v jiných jazycích?

To se liší. Angličtina patří k nejefektivnějším; mnoho jiných jazyků potřebuje pro stejný text více tokenů. Na tom, co můžete v našem chatu dělat, to nic nemění — kromě toho, že se dlouhé chaty zkrátí o něco dříve.

Je větší kontextové okno vždy lepší?

Nemusí být. I při obřím okně věnují modely větší pozornost jasnému a relevantnímu textu než nepřehledné hromadě všeho možného. Krátký, dobře uspořádaný kontext obvykle přináší lepší odpovědi než dlouhý a chaotický.

Odpověď na vaši otázku za pár vteřin

Bez registrace, bez platební karty, bez stahování. Napište, co potřebujete vědět, a odpověď začne nabíhat téměř okamžitě.

Spustit chat