Mga Gabay
Tokens at context: gaano karami ang kayang tandaan ni GPT
Binabasa ng models ang text sa maliliit na pirasong tinatawag na tokens at limitado lang ang kaya nitong tandaan nang sabay-sabay. Sa pag-unawa rito, malalaman mo kung bakit naliligaw ang mahabang chat at bakit mas epektibo ang bagong chat na may maikling summary.

Kung nakaranas ka na ng mahabang AI chat kung saan biglang kinalimutan ng model ang detalyeng ibinigay mo sa simula, naabot mo na ang context limit. Hindi ito bug at hindi rin ito kapabayaan ng model. Nagbabasa ang mga language model ng text sa maliliit na pirasong tinatawag na tokens, at sa bawat sagot nila, limitado lang ang bahagi ng usapan na kaya nilang isaalang-alang. Kapag naunawaan mo ang tokens at context, magiging malinaw ang mga kakaibang gawi nito, at may ilang simpleng paraan para manatiling tumpak ang mahahabang chat sa GBT Chat.
Ano ang token
Ang token ay isang tipak ng text: kung minsan ay isang buong maikling salita, kung minsan ay bahagi ng mas mahabang salita, bantas, o espasyo na may kasamang ilang letra. Ang "Cat" ay isang token. Ang "Unbelievably" ay maaaring mahati sa ilan. Ang mga numero, code, at hindi pangkaraniwang pangalan ay kadalasang nahahati sa mas maraming piraso kumpara sa mga karaniwang salita.
Ayon sa panuntunan ng OpenAI para sa Ingles, ang isang token ay humigit-kumulang tatlong-kapat (3/4) ng isang salita, kaya ang isang daang tokens ay mga pitumpu't limang salita. Kadalasang nangangailangan ng mas maraming tokens ang ibang wika para sa parehong kahulugan, lalo na ang may mahahabang tambalang salita o hindi Latin na script. Hindi mo kailangang magbilang ng tokens sa aming chat, ngunit ipinapaliwanag ng konseptong ito kung bakit mahalaga ang haba.
Bakit mga piraso sa halip na mga titik o buong salita? Kung titik, magiging napakahaba ng text para iproseso; kung buong salita naman, kakailanganin ang napakalaking bokabularyo para masakop ang bawat pangalan, typo, at wika. Nasa gitna ang tokens, kaya naman ito ang ginagamit ng bawat modernong GPT model.
Ano ang context window
Ang context window ay ang dami ng text na kayang suriin ng isang model nang sabay-sabay kapag sumusulat ito ng sagot. Kasama rito ang lahat ng ipinapakita rito: ang mga tagubilin mula sa site, ang mga naunang mensahe sa iyong chat, ang bago mong mensahe, at ang sagot na isinusulat nito. Isipin itong parang desk o mesa ng model. Anumang nasa mesa ay magagamit; anumang hindi kasya ay wala roon.
Ang model mismo ay walang ibang alaala sa iyong usapan. Sa bawat padala mo ng mensahe, ipinapadala ulit ng chat ang kaugnay na bahagi ng usapan, at binabasa ito muli ng model. Ito ang dahilan kung bakit "naaalala" nito ang mga naunang mensahe sa loob ng isang chat, at kung bakit wala itong alam tungkol sa iba mo pang mga chat.
Gaano kalaki ang window, at ano ang ipinapadala ng aming chat
Ayon sa dokumentasyon ng OpenAI, may napakalaking context window ang mga GPT-6 model na gamit namin, na humigit-kumulang 1.05 milyong tokens. Ang pagpapadala ng ganoong kalaking window sa bawat mensahe ay magiging mabagal at magastos, at kailangang panatilihing magaan ang bawat request sa isang libreng site. Kaya ipinapadala ng GBT Chat sa model ang pinakabagong bahagi ng pag-uusap, humigit-kumulang ang huling ilang pahina ng text, kasama ang bago mong mensahe. Sa pang-araw-araw na paggamit, hindi mo ito mapapansin. Sa mahabang session, nawawala sa paningin ang mga pinakaunang mensahe.
May katulad ding limitasyon sa kabilang panig: may maximum na haba ang mga sagot. Kung huminto sa gitna ang isang napakahabang sagot, i-type lang ang "continue" at itutuloy ng model kung saan ito tumigil.
Kasama rin sa bilang ang mga larawan. Kapag nag-attach ka ng litrato gamit ang + button, ipinapadala ito kasama ng mensaheng iyon at kumakain ng bahagi ng window. Ang dalawang pinakabagong larawan lang sa chat ang isinasama; ang mga mas luma ay pinapalitan ng maikling tala na may larawan doon dati. Kung gusto mong magtanong ulit tungkol sa naunang larawan, i-attach ito muli.
Bakit lumilihis ang mahahabang chat
Tatlong bagay ang nangyayari habang humahaba ang usapan:
- Nawawala ang mga naunang detalye. Ang badyet na binanggit mo sa pangalawang mensahe ay maaaring wala na sa mesa pagdating ng ika-tatlumpung mensahe.
- Nagsasalungat ang luma at bagong tagubilin. Kung sinabi mong "pormal" sa simula at "casual" kalaunan, kailangang hulaan ng model kung alin ang dapat sundin.
- Naiipon ang mga pagkakamali. Kung nagkamali ang model kanina at hindi mo ito itinama, mananatili ito sa usapan at maaaring makaapekto sa mga susunod na sagot.
Ang solusyon ay hindi ang pag-iwas sa mahahabang chat, kundi ang maayos na pamamahala sa mga ito. Tinitiyak ng mga sumusunod na gawi na mananatili ang mahahalagang detalye sa lugar kung saan nakikita ng model.
Mga paraan para mapanatiling maayos ang mahahabang chat
Mahina: (mensahe 40) Isulat mo na ang pinal na bersyon. Mas maganda: Isulat ang pinal na bersyon ng cover letter. Paalala: ang trabaho ay junior data analyst sa isang ospital, 250 salita ang maximum, banggitin ang aking SQL course at aking volunteer work, magiliw ngunit propesyonal ang tono.
Inuulit ng mas magandang mensahe ang mahahalagang impormasyon sa halip na umasang nakikita pa rin ang mga ito. Kaunting linya lang ang dagdag nito at inaalis ang panghuhula. Iba pang mga paraan:
- I-summarize at magsimula muli. Itanong ang "I-summarize ang lahat ng napagkasunduan natin hanggang ngayon sa bullet points," pagkatapos ay magsimula ng bagong chat at i-paste ang summary bilang unang mensahe. Buksan ang summary prompt at gamitin ito sa anumang mahabang chat.
- Isang paksa bawat chat. Ang bagong paksa ay dapat nasa bagong chat. Palitan ang pangalan ng mga chat sa drawer para madali mo itong mahanap mamaya.
- Itama agad ang mga mali kapag nakita mo. Gamitin ang Edit sa iyong mensahe para ayusin ang hindi pagkakaunawaan sa mismong pinagmulan nito sa halip na iwanan ito sa history.
- Ilagay ang mahahabang materyal malapit sa dulo. Kapag nag-paste ka ng mahabang text, ilagay din ang iyong tagubilin pagkatapos nito para sariwa pa ang request.
Paggawa gamit ang mahahabang text
Kaya ng isang mensahe ang ilang pahina ng text; ang mas mahaba pa roon ay tatanggihan dahil masyadong mahaba. Kaya hatiin ang malalaking dokumento. Magpadala ng isang bahagi sa bawat pagkakataon at humingi ng maikling summary ng bawat isa, pagkatapos ay tipunin ang mga summary sa isang bagong chat at doon magpatuloy. Mas mabagal ito kaysa sa isang bagsakang pag-paste, ngunit nakukuha ng bawat bahagi ang buong atensyon ng model. Praktikal gamitin ang summarizer para sa paisa-isang bahagi, at ang aming gabay sa pagbabasa at pananaliksik ay may mga prompt para sa iba pa.
Ilang tip sa pag-paste:
- Lagyan ng malinaw na label ang mga bahagi: "BAHAGI 1 ng 4", "TEXT A", "TEXT B".
- Alisin ang mga hindi kailangan, tulad ng mga header ng pahina, footnote, o mahahabang listahan ng sanggunian, para mas maraming espasyo sa window ang mapunta sa nilalaman.
- Sabihin sa model kung ano ang hahanapin bago ang text, at ulitin ito pagkatapos.
Tokens, Think, at bilis
Kapag pinindot mo ang Think, naglalaan muna ng kaunting oras ang GPT-6.1 Terra para mag-isip bago sumulat. Gumagamit din ng tokens ang pag-iisip na iyon, ngunit hindi mo ito nakikita at hindi ito ibinabawas sa iyong mga mensahe; ang mapapansin mo lang ay ang maikling paghinto, na ipinapakita bilang "Thought for" ilang segundo. Nilalagpasan ito ng default na GPT-6 Luna, kaya mas mabilis itong sumagot. Alinman ang piliin mo, hindi nito binabago kung gaano karami sa iyong chat ang nakikita ng model. Kung nais mong malaman ang pagkakaiba ng dalawa, ipinapaliwanag ito sa paghahambing ng Luna at Terra at sa overview ng mga bersyon ng GPT.
FAQ
Mas mabilis bang maubos ang libreng limit ko sa mas mahahabang mensahe?
Hindi. Isang beses lang binibilang ang bawat mensahe, gaano man ito kahaba. Ang isang mensahe na sobrang haba ay tatanggihan sa halip na bilangin, at pinuputol ang mahahabang chat tulad ng ipinaliwanag sa itaas. Nasa FAQ ang mga detalye tungkol sa pang-araw-araw na limitasyon.
Naaalala ba ako ng model sa magkakahiwalay na chat?
Hindi. Nagsisimulang walang laman ang bawat chat, at walang memory sa pagitan ng magkakaibang chat. Naka-save lang ang iyong history sa iyong browser, kaya maaari mong buksan muli ang mga lumang chat, ngunit ang kasalukuyang chat lang ang nakikita ng model.
Bakit kung minsan ay binabalewala ng chat ang tagubiling ibinigay ko sa simula?
Maaaring nawala na ang tagubilin sa bahagi ng chat na nakikita ng model, o tila pinalitan ito ng isang mas bagong mensahe. Ulitin ang tagubilin sa kasalukuyan mong mensahe.
Ilang salita ang katumbas ng isang token sa ibang wika?
Nag-iiba-iba ito. Kabilang ang Ingles sa pinakamatipid; mas maraming tokens ang kailangan ng maraming iba pang wika para sa parehong text. Hindi nito naaapektuhan ang magagawa mo sa aming chat, maliban na lang sa mas maagang pagka-trim ng mahahabang chat.
Mas maganda ba palagi ang mas malaking context window?
Hindi palagi. Kahit may napakalaking window, mas binibigyang-pansin ng mga model ang malinaw at kaugnay na text kaysa sa tambak na impormasyon. Karaniwang mas maganda ang mga sagot sa maikli at maayos na context kumpara sa mahaba at magulo.
Magbasa pa
Ang iyong tanong, may sagot agad
Walang account, walang card, walang kailangang i-download. I-type ang nais mong malaman at lalabas ang mga unang salita ng sagot sa loob lamang ng isa o dalawang segundo.