Panduan
Token dan konteks: sejauh mana GPT mampu mengingati perbualan
Model AI membaca teks dalam keratan kecil yang dipanggil token dan hanya boleh memproses jumlah terhad pada satu-satu masa. Memahami konsep ini menjelaskan punca sembang panjang hilang fokus dan sebab sembang baharu berserta ringkasan ringkas selalunya jauh lebih efektif.

Jika anda pernah berbual panjang dengan AI dan model itu tiba-tiba terlupa butiran yang anda berikan di awal perbualan, anda sebenarnya telah mencecah had konteks. Ini bukan pepijat dan bukan bermakna model itu cuai. Model bahasa membaca teks dalam pecahan kecil yang dipanggil token, dan setiap kali ia menjawab, ia hanya boleh mempertimbangkan sejumlah teks perbualan tertentu. Sebaik sahaja anda memahami konsep token dan konteks, banyak tingkah laku pelik ini mula masuk akal, dan beberapa tabiat mudah boleh memastikan perbualan panjang dalam GBT Chat kekal tepat.
Apa itu token
Token ialah cebisan teks: kadangkala seluruh perkataan pendek, kadangkala sebahagian daripada perkataan yang lebih panjang, tanda baca atau ruang jarak bersama beberapa huruf. "Cat" ialah satu token. "Unbelievably" mungkin dipecahkan kepada beberapa bahagian. Nombor, kod dan nama yang luar biasa biasanya dipecahkan kepada lebih banyak cebisan berbanding perkataan biasa.
Anggaran kasar OpenAI untuk bahasa Inggeris ialah satu token bersamaan kira-kira tiga suku perkataan, jadi seratus token ialah sekitar tujuh puluh lima perkataan. Bahasa lain selalunya memerlukan lebih banyak token untuk makna yang sama, terutamanya bahasa dengan perkataan majmuk yang panjang atau skrip bukan Latin. Anda tidak perlu mengira token sendiri dalam sembang kami, tetapi konsep ini menjelaskan mengapa panjang teks memainkan peranan.
Mengapa menggunakan cebisan dan bukannya huruf atau seluruh perkataan? Huruf akan menjadikan teks terlalu panjang untuk diproses; seluruh perkataan pula memerlukan perbendaharaan kata yang teramat besar untuk merangkumi setiap nama, kesilapan ejaan dan bahasa. Token berada di pertengahan, dan itulah sebabnya setiap model GPT moden menggunakannya.
Apa itu tetingkap konteks
Tetingkap konteks ialah jumlah teks yang boleh dipertimbangkan oleh model sekaligus semasa ia menulis jawapan. Ini merangkumi semua yang dipaparkan kepadanya: arahan yang diberikan oleh laman web, mesej terdahulu dalam sembang anda, mesej baharu anda dan jawapan yang sedang ditulisnya. Anggaplah ia seperti meja kerja model. Apa sahaja yang ada di atas meja boleh digunakan; apa yang tidak muat langsung tidak wujud baginya.
Model itu sendiri tidak mempunyai ingatan lain tentang perbualan anda. Setiap kali anda menghantar mesej, ruang sembang akan menghantar semula bahagian perbualan yang berkaitan, dan model akan membacanya semula dari awal. Itulah sebabnya ia "mengingati" mesej terdahulu dalam sembang yang sama, dan mengapa ia langsung tidak tahu tentang sembang anda yang lain.
Berapa besar tetingkap ini, dan apa yang dihantar oleh sembang kami
Dokumentasi OpenAI menyenaraikan tetingkap konteks yang sangat besar untuk model GPT-6 yang kami gunakan, iaitu kira-kira 1.05 juta token. Menghantar tetingkap sebesar itu dengan setiap mesej akan menjadi perlahan dan mahal, dan laman percuma perlu memastikan setiap permintaan kekal kecil. Oleh itu, GBT Chat menghantar bahagian perbualan yang paling terkini kepada model, kira-kira beberapa halaman teks terakhir, ditambah dengan mesej baharu anda. Untuk sembang harian, anda tidak akan menyedarinya. Namun dalam sesi yang panjang, mesej terawal akan terkeluar daripada pandangan.
Terdapat had yang serupa untuk bahagian jawapan: respons mempunyai panjang maksimum. Jika jawapan yang sangat panjang terhenti di tengah jalan, taip "teruskan" atau "continue" dan model akan menyambung dari tempat ia berhenti.
Imej juga diambil kira. Apabila anda melampirkan foto menggunakan butang +, ia dihantar bersama mesej tersebut dan menggunakan sebahagian daripada tetingkap konteks. Hanya dua imej terkini dalam sembang akan dihantar bersama; imej yang lebih lama akan digantikan dengan nota ringkas bahawa terdapat gambar di situ sebelum ini. Jika anda ingin bertanya tentang gambar terdahulu sekali lagi, lampirkannya semula.
Mengapa perbualan panjang mula menyimpang
Tiga perkara berlaku apabila perbualan menjadi semakin panjang:
- Butiran awal terkeluar. Bajet yang anda sebutkan dalam mesej kedua mungkin tiada lagi di atas meja menjelang mesej ketiga puluh.
- Arahan lama dan baharu bercanggah. Jika anda menetapkan nada "formal" pada awalnya dan "santai" kemudiannya, model terpaksa meneka arahan mana yang masih terpakai.
- Kesilapan terkumpul. Kesilapan yang dilakukan model sebelum ini, jika anda tidak membetulkannya, akan kekal dalam perbualan dan boleh mempengaruhi jawapan seterusnya.
Penyelesaiannya bukanlah mengelakkan sembang panjang, tetapi menguruskannya. Tabiat di bawah memastikan fakta penting kekal di tempat yang boleh dilihat oleh model.
Tabiat untuk memastikan sembang panjang kekal tepat
Kurang berkesan: (mesej 40) Sekarang tulis versi akhir. Lebih baik: Tulis versi akhir surat iringan. Peringatan: jawatan ini ialah penganalisis data junior di hospital, maksimum 250 patah perkataan, nyatakan kursus SQL dan kerja sukarela saya, nada mesra tetapi profesional.
Mesej yang lebih baik mengulangi fakta utama dan bukannya berharap ia masih berada dalam pandangan model. Ia hanya mengambil beberapa baris teks dan mengelakkan tekaan. Tabiat lain:
- Ringkaskan dan mula semula. Minta "Ringkaskan semua yang telah kita persetujui setakat ini dalam bentuk poin," kemudian mulakan sembang baharu dan tampal ringkasan itu sebagai mesej pertama anda. Buka prom ringkasan dan gunakannya dalam mana-mana sembang panjang.
- Satu topik untuk setiap sembang. Topik baharu wajar mendapat sembang baharu. Namakan semula sembang dalam laci sisi supaya anda mudah mencarinya kemudian.
- Betulkan kesilapan sebaik sahaja anda melihatnya. Gunakan Edit pada mesej anda untuk membetulkan salah faham dari puncanya, daripada membiarkannya kekal dalam sejarah sembang.
- Letakkan bahan yang panjang di bahagian akhir. Apabila anda menampal teks yang panjang, tambahkan arahan anda selepas teks tersebut juga, supaya permintaan itu kekal segar dalam ingatan model.
Bekerja dengan teks yang panjang
Satu mesej boleh memuatkan beberapa halaman teks; teks tampalan yang jauh lebih panjang akan ditolak kerana melebihi had. Oleh itu, bahagikan dokumen yang besar. Hantar satu bahagian pada satu masa dan minta ringkasan pendek bagi setiap bahagian, kemudian kumpulkan ringkasan tersebut dalam sembang baharu dan teruskan bekerja daripadanya. Cara ini lebih perlahan berbanding menampal semuanya sekaligus, tetapi setiap bahagian mendapat perhatian penuh model. Alat pemberi ringkasan sangat berguna untuk langkah bahagian demi bahagian ini, dan panduan pembacaan dan penyelidikan kami mengandungi prom untuk langkah seterusnya.
Beberapa petua semasa menampal teks:
- Labelkan bahagian dengan jelas: "BAHAGIAN 1 daripada 4", "TEKS A", "TEKS B".
- Buang perkara yang tidak diperlukan, seperti pengepala halaman, nota kaki atau senarai rujukan yang panjang, supaya lebih banyak ruang tetingkap digunakan untuk kandungan utama.
- Beritahu model perkara yang perlu dicari sebelum teks, dan ulangi arahan tersebut selepas teks.
Token, Think dan kelajuan
Apabila anda menekan Think, GPT-6.1 Terra meluangkan sedikit masa untuk menaakul sebelum menulis. Penaakulan itu juga menggunakan token, tetapi anda tidak melihatnya dan ia tidak dikira dalam kuota mesej anda; anda hanya akan perasan jeda seketika, yang dipaparkan sebagai "Thought for" beberapa saat. Model lalai GPT-6 Luna melangkau langkah ini, itulah sebabnya ia menjawab dengan lebih pantas. Kedua-dua pilihan tidak mengubah jumlah sembang anda yang boleh dilihat oleh model. Jika anda ingin tahu perbezaan kedua-duanya secara praktikal, perbandingan Luna vs Terra dan gambaran keseluruhan versi GPT menerangkan lebih lanjut.
Soalan Lazim
Adakah mesej yang lebih panjang menggunakan lebih banyak kuota percuma saya?
Tidak. Setiap mesej dikira sekali sahaja, tidak kira berapa panjangnya. Mesej tunggal yang terlalu panjang akan ditolak dan tidak dikira, manakala sembang yang panjang akan dipendekkan seperti yang dijelaskan di atas. Soalan Lazim kami mempunyai butiran lanjut tentang had harian.
Adakah model mengingati saya antara sembang yang berbeza?
Tidak. Setiap sembang bermula kosong, dan tiada ingatan merentas sembang. Sejarah anda hanya disimpan dalam pelayar anda supaya anda boleh membuka semula sembang lama, tetapi model hanya melihat sembang yang sedang aktif.
Mengapa sembang kadangkala mengabaikan arahan yang saya berikan di awal perbualan?
Sama ada arahan tersebut telah terkeluar daripada bahagian sembang yang boleh dilihat oleh model, atau mesej terkemudian kelihatan seperti membatalkannya. Ulangi arahan tersebut dalam mesej semasa anda.
Berapa patah perkataan bagi satu token dalam bahasa lain?
Ia berbeza-beza. Bahasa Inggeris adalah antara yang paling cekap; banyak bahasa lain memerlukan lebih banyak token untuk teks yang sama. Ini tidak menjejaskan apa yang boleh anda lakukan dalam sembang kami, cuma sembang panjang mungkin dipendekkan sedikit lebih awal.
Adakah tetingkap konteks yang lebih besar sentiasa lebih baik?
Tidak semestinya. Walaupun dengan tetingkap yang besar, model memberi perhatian yang lebih teliti kepada teks yang jelas dan relevan berbanding timbunan teks yang terlalu panjang. Konteks yang pendek dan tersusun rapi biasanya memberikan jawapan yang lebih baik daripada konteks yang panjang dan berselerak.
Teruskan membaca
Soalan anda, dijawab sekarang
Tanpa akaun, tanpa kad, tiada apa-apa untuk dimuat turun. Taip apa yang ingin anda ketahui dan perkataan pertama jawapan akan muncul dalam sesaat dua.