İçeriğe atla

Rehberler

Token'lar ve bağlam: GPT aklında ne kadar bilgi tutabilir?

Modeller metni 'token' adı verilen küçük parçalar halinde okur ve tek seferde yalnızca belirli bir miktarı işleyebilir. Bunu anlamak, uzun sohbetlerin neden dağıldığını ve kısa bir özetle yeni bir sohbet başlatmanın neden genellikle daha iyi sonuç verdiğini açıklar.

5 dk okuma süresiGüncellendi

Yapay zekayla uzun bir sohbet yürütürken modelin en başta belirttiğiniz bir ayrıntıyı aniden unuttuğuna tanık olduysanız bağlam sınırıyla karşılaşmışsınız demektir. Bu bir hata veya modelin dikkatsizliği değildir. Dil modelleri metinleri "token" adı verilen küçük parçalar halinde okur ve her yanıt verdiklerinde sohbetin yalnızca belirli bir kısmını dikkate alabilirler. Token'ları ve bağlamı anladığınızda pek çok sıra dışı davranış mantıklı gelmeye başlar; birkaç basit alışkanlıkla da GBT Chat içindeki uzun sohbetlerin doğruluğunu kolayca koruyabilirsiniz.

Token nedir?

Token bir metin parçasıdır: bazen kısa bir kelimenin tamamı, bazen daha uzun bir kelimenin bir parçası, bir noktalama işareti veya birkaç harfle birlikte bir boşluk olabilir. "Kedi" tek bir token'dır. "İnanılmaz" kelimesi ise birkaç parçaya bölünebilir. Sayılar, kodlar ve alışılmadık isimler sıradan kelimelere kıyasla genellikle daha fazla parçaya ayrılır.

OpenAI'ın İngilizce için geçerli pratik kuralına göre bir token kabaca bir kelimenin dörtte üçüne denk gelir; yani yüz token yaklaşık yetmiş beş kelimedir. Diğer diller, özellikle uzun birleşik kelimeleri veya Latin alfabesi dışındaki alfabeleri kullananlar, aynı anlamı ifade etmek için genellikle daha fazla token'a ihtiyaç duyar. Sohbetimizde token'ları kendiniz saymak zorunda kalmazsınız ancak bu mantık, uzunluğun neden önemli olduğunu açıklar.

Harfler veya tam kelimeler yerine neden parçalar kullanılır? Harfler metinlerin işlenmesini aşırı derecede uzatırdı; tam kelimeler ise her ismi, yazım hatasını ve dili kapsayabilmek için imkânsız büyüklükte bir kelime dağarcığı gerektirirdi. Token'lar bu ikisinin tam ortasında yer alır; bu yüzden modern her GPT modeli onlarla çalışır.

Bağlam penceresi nedir?

Bağlam penceresi, bir modelin yanıt yazarken aynı anda göz önünde bulundurabileceği metin miktarıdır. Modele gösterilen her şeyi kapsar: sitenin verdiği talimatlar, sohbetinizdeki önceki mesajlar, yeni mesajınız ve modelin yazmakta olduğu yanıt. Bunu modelin çalışma masası gibi düşünebilirsiniz. Masada ne varsa kullanılabilir; masaya sığmayan şeyler ise model için hiç var olmamıştır.

Modelin kendisi sohbetinize dair başka bir hafızaya sahip değildir. Her mesaj gönderdiğinizde sohbet, konuşmanın ilgili kısmını modele tekrar iletir ve model bunu sıfırdan okur. Bir sohbet içindeki önceki mesajları bu sayede "hatırlar"; diğer sohbetleriniz hakkında hiçbir şey bilmemesinin nedeni de budur.

Pencere ne kadar büyüktür ve sohbetimiz neleri gönderir?

OpenAI belgeleri, kullandığımız GPT-6 modelleri için yaklaşık 1,05 milyon token'lık oldukça büyük bir bağlam penceresi belirtir. Her mesajda bu boyutta bir pencere göndermek hem yavaş hem de pahalı olurdu; ücretsiz bir sitenin de her isteği küçük tutması gerekir. Bu nedenle GBT Chat modele konuşmanın en son kısmını, yani kabaca metnin son birkaç sayfasını ve yeni mesajınızı gönderir. Günlük sohbetlerde bunu asla fark etmezsiniz. Ancak uzun bir oturumda ilk mesajlar görüş alanının dışına çıkar.

Benzer bir sınır karşı tarafta da mevcuttur: yanıtların maksimum bir uzunluğu vardır. Çok uzun bir yanıt yarıda kesilirse "devam et" yazmanız yeterlidir; model kaldığı yerden devam edecektir.

Görseller de hesaba katılır. + butonuyla bir fotoğraf eklediğinizde, bu fotoğraf o mesajla birlikte gönderilir ve pencerenin bir kısmını kaplar. Bir sohbette yalnızca en son eklenen iki görsel gönderilir; daha eski olanların yerini ise orada bir görsel bulunduğuna dair kısa bir not alır. Daha önceki bir görsel hakkında tekrar soru sormak isterseniz onu yeniden ekleyin.

Uzun sohbetlerin odağı neden kayar?

Bir konuşma uzadıkça üç durum ortaya çıkar:

  • İlk ayrıntılar kaybolur. İkinci mesajda bahsettiğiniz bütçe, otuzuncu mesaja gelindiğinde artık masada olmayabilir.
  • Eski ve yeni talimatlar çelişir. Başta "resmi", daha sonra "samimi" bir dil istediyseniz model hangisinin hâlâ geçerli olduğunu tahmin etmek zorunda kalır.
  • Hatalar birikir. Modelin daha önce yaptığı bir hatayı düzeltmediyseniz bu hata konuşmada kalır ve sonraki yanıtları etkileyebilir.

Çözüm uzun sohbetlerden kaçınmak değil, onları yönetmektir. Aşağıdaki alışkanlıklar, önemli bilgileri modelin her zaman görebileceği yerde tutar.

Uzun sohbetleri rayında tutan alışkanlıklar

Zayıf:
(40. mesaj) Şimdi son versiyonu yaz.

Daha iyi:
Ön yazının son versiyonunu yaz. Hatırlatmalar: pozisyon
bir hastanede başlangıç seviyesi veri analisti, en fazla 250 kelime,
SQL kursumdan ve gönüllü çalışmalarımdan bahset, samimi ama profesyonel bir ton.

Daha iyi olan mesaj, önemli bilgilerin hâlâ görünür olduğuna güvenmek yerine onları tekrarlar. Birkaç satıra mal olur ama belirsizliği ortadan kaldırır. Diğer alışkanlıklar:

  • Özetleyin ve yeniden başlayın. "Şimdiye kadar anlaştığımız her şeyi maddeler halinde özetle" deyin, ardından yeni bir sohbet başlatıp özeti ilk mesajınız olarak yapıştırın. Özet istemini açın ve dilediğiniz uzun sohbette kullanın.
  • Her sohbet için tek konu. Yeni bir konu, yeni bir sohbeti hak eder. Daha sonra kolayca bulabilmek için kenar menüsündeki sohbetleri yeniden adlandırın.
  • Hataları gördüğünüz anda düzeltin. Yanlış anlaşılmayı geçmişte bırakmak yerine, mesajınızdaki Düzenle seçeneğini kullanarak kaynağında düzeltin.
  • Uzun metinleri sona yakın tutun. Uzun bir metin yapıştırdığınızda talimatınızı metnin sonuna da ekleyin; böylece isteğiniz güncelliğini korur.

Uzun metinlerle çalışma

Tek bir mesaj birkaç sayfalık metni barındırabilir; çok daha uzun yapıştırmalar ise fazla uzun olduğu gerekçesiyle reddedilir. Bu yüzden büyük belgeleri bölün. Her seferinde bir bölüm gönderip kısa bir özet isteyin, ardından özetleri yeni bir sohbette toplayarak çalışmalarınızı bunlar üzerinden yürütün. Bu, devasa bir metni tek seferde yapıştırmaktan daha yavaştır ancak her bölümün modelin tüm dikkatini çekmesini sağlar. Bölüm bölüm ilerleme aşamasında özetleyici oldukça pratiktir; geri kalanı içinse okuma ve araştırma rehberimiz istemler sunar.

Metin yapıştırmaya dair birkaç ipucu:

  • Bölümleri net şekilde etiketleyin: "BÖLÜM 1 / 4", "METİN A", "METİN B".
  • Sayfa üstbilgileri, dipnotlar veya uzun kaynakçalar gibi ihtiyacınız olmayan kısımları kaldırın; böylece pencerenin daha büyük kısmı asıl içeriğe ayrılır.
  • Modele ne araması gerektiğini metinden önce söyleyin ve metinden sonra da tekrarlayın.
Sık tekrarladığınız talimatlar için bir asistan kullanın. Her sohbetiniz yazım tarzınız, mesleğiniz veya hedef kitleniz gibi aynı ayarlarla başlıyorsa, bu talimatlarla Asistanlar bölümünde kendi asistanınızı oluşturun. Bu talimatlar o sohbetteki her mesaja dahil edilir; böylece ilk mesajlar gibi asla görüş alanının dışına çıkmazlar.

Token'lar, Think ve hız

Think butonuna bastığınızda GPT-6.1 Terra yazmaya başlamadan önce mantık yürütmek için biraz zaman harcar. Bu mantık yürütme de token harcar ancak bunu görmezsiniz ve mesaj kotanızdan düşmez; yalnızca birkaç saniyelik "Düşünme süresi" olarak gösterilen kısa duraklamayı fark edersiniz. Varsayılan GPT-6 Luna bu adımı atlar, bu yüzden daha hızlı yanıt verir. İki seçenek de modelin sohbetinizin ne kadarını görebileceğini değiştirmez. İkisinin pratikte nasıl farklılaştığını merak ediyorsanız Luna ve Terra karşılaştırması ile GPT sürümlerine genel bakış sayfalarında daha fazla ayrıntı bulabilirsiniz.

SSS

Daha uzun mesajlar ücretsiz hakkımdan daha fazla mı harcar?

Hayır. Uzunluğu ne olursa olsun her mesaj bir kez sayılır. Fazlasıyla uzun olan tek bir mesaj hesaba katılmak yerine reddedilir ve uzun sohbetler yukarıda açıklandığı gibi kırpılır. Günlük limitlere ilişkin ayrıntılar SSS sayfasında yer almaktadır.

Model sohbetler arasında beni hatırlar mı?

Hayır. Her sohbet boş başlar ve sohbetler arasında bir hafıza aktarımı yoktur. Geçmişiniz yalnızca tarayıcınızda saklanır, bu sayede eski sohbetleri yeniden açabilirsiniz; ancak model yalnızca içinde bulunduğunuz sohbeti görür.

Sohbet, en başta verdiğim bir talimatı neden bazen görmezden gelir?

Talimat ya modelin görebildiği sohbet alanının dışına çıkmıştır ya da daha sonraki bir mesaj onun yerine geçmiş gibi algılanmıştır. Talimatı mevcut mesajınızda tekrarlayın.

Diğer dillerde bir token kaç kelimedir?

Bu durum değişir. İngilizce en verimli diller arasındadır; diğer pek çok dil aynı metin için daha fazla token'a ihtiyaç duyar. Uzun sohbetlerin biraz daha erken kırpılması dışında bu durum sohbetimizde yapabileceklerinizi etkilemez.

Daha büyük bir bağlam penceresi her zaman daha mı iyidir?

Şart değil. Devasa bir pencerede bile modeller, her şeyin yığıldığı uzun bir metindense net ve amaca uygun metinlere daha çok dikkat eder. Kısa ve iyi düzenlenmiş bir bağlam, genellikle uzun ve dağınık bir bağlamdan daha iyi yanıtlar üretir.

Sorunuz hemen yanıtlasın

Hesap yok, kart yok, indirme yok. Öğrenmek istediğinizi yazın, yanıtın ilk kelimeleri bir iki saniye içinde gelsin.

Sohbete başlayın