Panduan
Token dan konteks: seberapa banyak ingatan yang bisa dijaga GPT
Model membaca teks dalam potongan kecil bernama token dan hanya bisa memproses sejumlah token tertentu sekaligus. Memahami konsep ini menjelaskan mengapa obrolan panjang sering melantur dan mengapa memulai chat baru dengan ringkasan singkat justru jauh lebih efektif.

Jika Anda pernah melakukan obrolan AI yang panjang lalu model tersebut tiba-tiba melupakan detail yang Anda berikan di awal, Anda baru saja menemui batas konteks. Ini bukan bug dan bukan berarti model tersebut ceroboh. Model bahasa membaca teks dalam potongan-potongan kecil yang disebut token, dan setiap kali menjawab, model hanya dapat mempertimbangkan sejumlah percakapan tertentu. Begitu Anda memahami token dan konteks, banyak perilaku aneh yang menjadi masuk akal, dan beberapa kebiasaan sederhana akan menjaga obrolan panjang di GBT Chat tetap akurat.
Apa itu token
Token adalah potongan teks: terkadang satu kata pendek utuh, terkadang bagian dari kata yang lebih panjang, tanda baca, atau spasi beserta beberapa huruf. "Cat" adalah satu token. "Unbelievably" mungkin dipecah menjadi beberapa bagian. Angka, kode, dan nama yang tidak biasa cenderung dipecah menjadi lebih banyak bagian dibandingkan kata-kata biasa.
Aturan praktis OpenAI untuk bahasa Inggris adalah satu token kira-kira tiga perempat kata, jadi seratus token setara dengan sekitar tujuh puluh lima kata. Bahasa lain sering kali memerlukan lebih banyak token untuk makna yang sama, terutama bahasa dengan kata majemuk panjang atau aksara non-Latin. Anda tidak perlu menghitung token sendiri di obrolan kami, tetapi konsep ini menjelaskan mengapa panjang teks sangat berpengaruh.
Mengapa menggunakan potongan teks dan bukan huruf atau kata utuh? Huruf akan membuat teks menjadi sangat panjang untuk diproses; kata utuh akan membutuhkan kosakata yang sangat besar hingga mustahil mencakup setiap nama, kesalahan ketik, dan bahasa. Token berada di tengah-tengahnya, itulah alasan setiap model GPT modern bekerja menggunakannya.
Apa itu jendela konteks (context window)
Jendela konteks adalah jumlah teks yang dapat dipertimbangkan model sekaligus saat menulis jawaban. Ini mencakup semua yang ditampilkan kepadanya: instruksi yang diberikan situs, pesan-pesan sebelumnya dalam obrolan Anda, pesan baru Anda, dan jawaban yang sedang ditulisnya. Anggap saja ini sebagai meja kerja model. Apa pun yang ada di atas meja bisa digunakan; apa pun yang tidak muat berarti tidak ada di sana.
Model itu sendiri tidak memiliki memori lain tentang percakapan Anda. Setiap kali Anda mengirim pesan, obrolan akan mengirimkan kembali bagian percakapan yang relevan, dan model membacanya dari awal. Itulah mengapa ia dapat "mengingat" pesan-pesan sebelumnya dalam satu obrolan, dan mengapa ia tidak tahu apa pun tentang obrolan Anda yang lain.
Seberapa besar jendelanya, dan apa yang dikirim oleh obrolan kami
Dokumentasi OpenAI mencantumkan jendela konteks yang sangat besar untuk model GPT-6 yang kami gunakan, yaitu sekitar 1,05 juta token. Mengirim jendela sebesar itu pada setiap pesan akan berjalan lambat dan mahal, dan situs gratis harus menjaga setiap permintaan tetap ringkas. Jadi, GBT Chat mengirimkan bagian percakapan terbaru ke model, kira-kira beberapa halaman teks terakhir, ditambah pesan baru Anda. Untuk obrolan sehari-hari, Anda tidak akan pernah menyadarinya. Namun dalam sesi yang panjang, pesan-pesan paling awal akan keluar dari pandangan.
Ada batas serupa di sisi lain: jawaban memiliki batas panjang maksimum. Jika jawaban yang sangat panjang terhenti di tengah jalan, ketik "lanjutkan" dan model akan melanjutkan dari titik terakhirnya.
Gambar juga ikut dihitung. Saat Anda melampirkan foto dengan tombol +, foto tersebut dikirim bersama pesan itu dan memakan sebagian ruang jendela konteks. Hanya dua gambar terbaru dalam obrolan yang dikirimkan; gambar yang lebih lama digantikan oleh catatan singkat bahwa sebelumnya ada gambar di sana. Jika Anda ingin menanyakan gambar sebelumnya lagi, lampirkan kembali gambar tersebut.
Mengapa obrolan panjang bisa menyimpang
Tiga hal ini terjadi seiring percakapan bertambah panjang:
- Detail awal terpotong. Anggaran yang Anda sebutkan di pesan kedua mungkin sudah tidak ada lagi di atas meja kerja pada pesan ke-30.
- Instruksi lama dan baru saling bertentangan. Jika Anda meminta gaya "formal" di awal lalu "santai" kemudian, model harus menebak instruksi mana yang masih berlaku.
- Kesalahan menumpuk. Kesalahan yang dibuat model sebelumnya, jika tidak Anda perbaiki, akan tetap berada dalam percakapan dan dapat memengaruhi jawaban berikutnya.
Solusinya bukanlah menghindari obrolan panjang, melainkan mengelolanya. Kebiasaan di bawah ini akan menjaga fakta-fakta penting tetap terlihat oleh model.
Kebiasaan agar obrolan panjang tetap terarah
Kurang efektif: (pesan 40) Sekarang tulis versi finalnya. Lebih baik: Tulis versi final dari surat lamaran kerja. Pengingat: posisinya adalah analis data junior di rumah sakit, maksimal 250 kata, sebutkan kursus SQL dan kegiatan sukarelawan saya, nada ramah tetapi profesional.
Pesan yang lebih baik mengulangi fakta-fakta penting daripada sekadar percaya bahwa info tersebut masih terlihat. Ini hanya menambah beberapa baris dan menghilangkan tebak-tebakan. Kebiasaan lainnya:
- Rangkum dan mulai baru. Mintalah "Rangkum semua yang telah kita sepakati sejauh ini dalam poin-poin," lalu mulai obrolan baru dan tempel rangkuman tersebut sebagai pesan pertama Anda. Buka perintah rangkuman dan gunakan di obrolan panjang mana pun.
- Satu topik per obrolan. Topik baru layak mendapatkan obrolan baru. Ganti nama obrolan di menu samping agar Anda dapat menemukannya lagi nanti dengan mudah.
- Perbaiki kesalahan begitu Anda melihatnya. Gunakan Edit pada pesan Anda untuk memperbaiki kesalahpahaman langsung dari sumbernya daripada membiarkannya menumpuk di riwayat obrolan.
- Letakkan materi panjang di bagian akhir. Saat Anda menempelkan teks panjang, tambahkan instruksi Anda setelahnya juga, agar permintaan tersebut masih segar.
Bekerja dengan teks panjang
Satu pesan dapat menampung beberapa halaman teks; teks yang jauh lebih panjang akan ditolak karena melebihi batas. Jadi, pecahlah dokumen besar. Kirim satu bagian demi satu bagian dan minta ringkasan singkat untuk masing-masing bagian, lalu kumpulkan ringkasan tersebut di obrolan baru dan lanjutkan bekerja dari sana. Cara ini lebih lambat daripada menempelkan satu teks raksasa sekaligus, tetapi setiap bagian akan mendapatkan perhatian penuh dari model. Alat summarizer sangat praktis untuk langkah bagian-demi-bagian ini, dan panduan membaca dan riset kami memiliki berbagai perintah untuk langkah berikutnya.
Beberapa tips saat menempelkan teks:
- Beri label bagian secara jelas: "BAGIAN 1 dari 4", "TEKS A", "TEKS B".
- Hapus bagian yang tidak Anda perlukan, seperti header halaman, catatan kaki, atau daftar referensi yang panjang, agar ruang jendela konteks lebih banyak terpakai untuk konten inti.
- Beri tahu model apa yang harus dicari sebelum teks, dan ulangi instruksi tersebut setelah teks.
Token, Think, dan kecepatan
Saat Anda menekan Think, GPT-6.1 Terra meluangkan sedikit waktu untuk menalar sebelum menulis. Penalaran tersebut juga menggunakan token, tetapi Anda tidak melihatnya dan itu tidak memotong kuota pesan Anda; Anda hanya akan melihat jeda singkat, yang ditampilkan sebagai "Thought for" beberapa detik. Model default GPT-6 Luna melewati langkah ini, itulah mengapa ia menjawab lebih cepat. Kedua pilihan tersebut tidak mengubah seberapa banyak obrolan Anda yang dapat dilihat oleh model. Jika Anda penasaran bagaimana keduanya berbeda dalam praktiknya, perbandingan Luna vs Terra dan ringkasan versi GPT kami menjelaskan lebih lanjut.
FAQ
Apakah pesan yang lebih panjang mengurangi lebih banyak kuota gratis saya?
Tidak. Setiap pesan dihitung satu kali, berapa pun panjangnya. Satu pesan yang terlalu panjang akan langsung ditolak dan tidak dihitung, serta obrolan panjang akan dipangkas seperti yang dijelaskan di atas. Halaman FAQ memiliki rincian lengkap mengenai batas harian.
Apakah model mengingat saya di antara obrolan yang berbeda?
Tidak. Setiap obrolan dimulai dari awal, dan tidak ada memori lintas obrolan. Riwayat Anda hanya disimpan di browser Anda sendiri, sehingga Anda dapat membuka kembali obrolan lama, tetapi model hanya melihat obrolan yang sedang aktif.
Mengapa obrolan terkadang mengabaikan instruksi yang saya berikan di awal?
Bisa jadi instruksi tersebut sudah keluar dari bagian obrolan yang dapat dilihat oleh model, atau ada pesan setelahnya yang dianggap menimpa instruksi itu. Ulangi instruksi tersebut pada pesan Anda saat ini.
Berapa banyak kata dalam satu token untuk bahasa lain?
Bervariasi. Bahasa Inggris termasuk yang paling efisien; banyak bahasa lain membutuhkan lebih banyak token untuk teks yang sama. Hal ini tidak memengaruhi apa yang dapat Anda lakukan di obrolan kami, selain obrolan panjang akan dipangkas sedikit lebih awal.
Apakah jendela konteks yang lebih besar selalu lebih baik?
Belum tentu. Bahkan dengan jendela yang sangat besar, model lebih memperhatikan teks yang jelas dan relevan daripada tumpukan panjang dari segala hal. Konteks yang singkat dan teratur biasanya menghasilkan jawaban yang lebih baik daripada konteks yang panjang dan berantakan.
Lanjut membaca
Pertanyaan Anda, terjawab sekarang
Tanpa akun, tanpa kartu, tanpa unduhan. Ketik hal yang ingin Anda ketahui dan jawaban mulai muncul dalam hitungan detik.