सामग्री पर जाएं

गाइड

टोकन और कॉन्टेक्स्ट: GPT एक बार में कितना याद रख सकता है

मॉडल टेक्स्ट को छोटे टुकड़ों (टोकन) में पढ़ते हैं और एक बार में सीमित जानकारी ही प्रोसेस कर सकते हैं। इसे समझने से पता चलता है कि लंबी चैट क्यों भटकती है और नई चैट शुरू करना क्यों बेहतर होता है।

7 मिनट का पाठअपडेट किया गया

अगर आपने कभी किसी AI से लंबी बातचीत की है और मॉडल अचानक शुरुआत में बताई गई कोई बात भूल गया, तो इसका कारण कॉन्टेक्स्ट लिमिट है। यह कोई बग नहीं है और न ही मॉडल की लापरवाही है। लैंग्वेज मॉडल टेक्स्ट को छोटे-छोटे टुकड़ों में पढ़ते हैं जिन्हें टोकन कहा जाता है, और हर बार जवाब देते समय वे बातचीत के एक सीमित हिस्से को ही ध्यान में रख सकते हैं। टोकन और कॉन्टेक्स्ट को समझ लेने के बाद यह अजीब व्यवहार समझ में आने लगता है, और कुछ आसान आदतों की मदद से आप GBT Chat में लंबी बातचीत को भी सटीक बनाए रख सकते हैं।

टोकन क्या होता है

टोकन टेक्स्ट का एक छोटा टुकड़ा होता है: कभी पूरा छोटा शब्द, कभी किसी लंबे शब्द का हिस्सा, कोई विराम चिह्न या कुछ अक्षरों के साथ एक स्पेस। "Cat" एक टोकन है। "Unbelievably" कई टुकड़ों में टूट सकता है। संख्याएं, कोड और असामान्य नाम आम शब्दों की तुलना में अक्सर ज़्यादा टुकड़ों में बंटते हैं।

अंग्रेज़ी के लिए OpenAI का सामान्य नियम यह है कि एक टोकन लगभग तीन-चौथाई शब्द के बराबर होता है, यानी सौ टोकन में करीब पचहत्तर शब्द होते हैं। दूसरी भाषाओं में उसी बात के लिए अक्सर ज़्यादा टोकन लगते हैं, खासकर लंबी संधि वाले शब्दों या गैर-लैटिन लिपियों में। हमारे चैट में आपको खुद कभी टोकन गिनने की ज़रूरत नहीं होती, लेकिन यह समझना ज़रूरी है कि लंबाई क्यों मायने रखती है।

अक्षरों या पूरे शब्दों के बजाय ऐसे टुकड़े ही क्यों? सिर्फ अक्षरों से प्रोसेस करने में टेक्स्ट बहुत लंबा हो जाता; और पूरे शब्दों के लिए इतनी बड़ी शब्दावली चाहिए होती जो हर नाम, टाइपो और भाषा को कवर ही न कर पाती। टोकन इन दोनों के बीच का रास्ता हैं, और यही वजह है कि हर मॉडर्न GPT मॉडल इन्हीं के आधार पर काम करता है।

कॉन्टेक्स्ट विंडो क्या होती है

कॉन्टेक्स्ट विंडो टेक्स्ट की वह सीमा है जिसे कोई मॉडल जवाब लिखते समय एक बार में देख सकता है। इसमें वह सब शामिल होता है जो उसे दिखाया जाता है: साइट से मिलने वाले निर्देश, आपकी चैट के पुराने मैसेज, आपका नया मैसेज और वह जवाब जो वह लिख रहा है। इसे मॉडल की डेस्क की तरह समझें। जो कुछ डेस्क पर है, इस्तेमाल हो सकता है; जो डेस्क पर नहीं समाता, वह उसके लिए मौजूद ही नहीं है।

मॉडल के पास आपकी बातचीत की इसके अलावा कोई अलग मेमोरी नहीं होती। हर बार जब आप कोई मैसेज भेजते हैं, तो चैट बातचीत का ज़रूरी हिस्सा फिर से भेजती है, और मॉडल उसे नए सिरे से पढ़ता है। यही वजह है कि वह एक ही चैट के पुराने मैसेज "याद रखता है", और उसे आपकी दूसरी चैट के बारे में कुछ भी पता नहीं होता।

विंडो कितनी बड़ी होती है, और हमारा चैट क्या भेजता है

OpenAI के दस्तावेज़ों में हमारे द्वारा इस्तेमाल किए जाने वाले GPT-6 मॉडल के लिए लगभग 10.5 लाख टोकन की बहुत बड़ी कॉन्टेक्स्ट विंडो बताई गई है। हर मैसेज के साथ इतनी बड़ी विंडो भेजना धीमा और महंगा साबित होगा, और एक फ्री साइट को हर रिक्वेस्ट छोटी रखनी होती है। इसलिए GBT Chat मॉडल को बातचीत का सबसे ताज़ा हिस्सा भेजता है—लगभग पिछले कुछ पेजों का टेक्स्ट—साथ में आपका नया मैसेज। रोज़मर्रा की चैट में आपको इसका कभी अहसास नहीं होगा। किसी बहुत लंबी बातचीत में सबसे पुराने मैसेज नज़र से बाहर हो जाते हैं।

दूसरी तरफ भी ऐसी ही एक सीमा है: जवाबों की एक अधिकतम लंबाई होती है। अगर कोई बहुत लंबा जवाब बीच में ही रुक जाए, तो "जारी रखें" या "continue" टाइप करें और मॉडल वहीं से आगे लिखना शुरू कर देगा।

इमेज भी इसमें गिनी जाती हैं। जब आप + बटन से कोई फ़ोटो जोड़ते हैं, तो वह उस मैसेज के साथ भेजी जाती है और विंडो का कुछ हिस्सा लेती है। किसी चैट में केवल दो सबसे ताज़ा इमेज ही साथ भेजी जाती हैं; पुरानी इमेज की जगह एक छोटा नोट रह जाता है कि वहां कोई तस्वीर थी। अगर आपको किसी पुरानी तस्वीर के बारे में दोबारा पूछना है, तो उसे फिर से अटैच करें।

लंबी चैट क्यों भटकने लगती हैं

जैसे-जैसे बातचीत आगे बढ़ती है, तीन चीज़ें होती हैं:

  • शुरुआती बातें छूट जाती हैं। मैसेज नंबर दो में बताया गया बजट शायद मैसेज नंबर तीस तक डेस्क पर न रहे।
  • पुराने और नए निर्देशों में टकराव होता है। अगर आपने शुरुआत में "फॉर्मल" कहा था और बाद में "कैजुअल", तो मॉडल को अंदाज़ा लगाना पड़ता है कि कौन सा निर्देश अब भी लागू है।
  • गलतियां बढ़ती जाती हैं। अगर मॉडल ने पहले कोई गलती की और आपने उसे नहीं सुधारा, तो वह बातचीत में बनी रहती है और बाद के जवाबों को प्रभावित कर सकती है।

इसका हल यह नहीं कि लंबी चैट छोड़ दी जाएं, बल्कि उन्हें संभालना सीखें। नीचे दी गई आदतें ज़रूरी बातों को मॉडल की नज़र के सामने रखती हैं।

लंबी बातचीत को सही दिशा में रखने की आदतें

कमज़ोर तरीका:
(मैसेज 40) अब फ़ाइनल वर्शन लिखो।

बेहतर तरीका:
कवर लेटर का फ़ाइनल वर्शन लिखो। ज़रूरी बातें: जॉब एक अस्पताल में
जूनियर डेटा एनालिस्ट की है, अधिकतम 250 शब्द, मेरे SQL कोर्स और
वॉलंटियर काम का ज़िक्र हो, टोन दोस्ताना लेकिन प्रोफ़ेशनल हो।

बेहतर मैसेज यह मानकर चलने के बजाय कि पुरानी बातें अब भी दिख रही होंगी, मुख्य तथ्यों को दोहरा देता है। इसमें बस कुछ लाइनें लगती हैं और अंदाज़े की गुंजाइश खत्म हो जाती है। अन्य अच्छी आदतें:

  • समरी बनाएं और नई चैट शुरू करें। कहें "हमने अब तक जो भी तय किया है, उसे बुलेट पॉइंट्स में समराइज़ करो," फिर एक नई चैट शुरू करें और उस समरी को अपने पहले मैसेज के तौर पर पेस्ट करें। समरी प्रॉम्प्ट खोलें और इसे किसी भी लंबी चैट में इस्तेमाल करें।
  • एक चैट, एक विषय। नया विषय हो तो नई चैट शुरू करें। साइडबार में चैट का नाम बदल लें ताकि बाद में ढूंढना आसान हो।
  • गलती दिखते ही सुधारें। किसी भी गलतफ़हमी को हिस्ट्री में छोड़ने के बजाय अपने मैसेज पर Edit का इस्तेमाल करके शुरुआत में ही ठीक कर दें।
  • लंबी सामग्री को आखिर के करीब रखें। जब आप कोई लंबा टेक्स्ट पेस्ट करें, तो अपना निर्देश उसके बाद भी लिखें, ताकि वह बात ताज़ा रहे।

लंबे टेक्स्ट के साथ काम करना

एक सिंगल मैसेज में कुछ पेजों का टेक्स्ट आ सकता है; बहुत बड़ा टेक्स्ट पेस्ट करने पर उसे बहुत लंबा बताकर मना कर दिया जाता है। इसलिए बड़े डॉक्यूमेंट्स को बांट लें। एक बार में एक सेक्शन भेजें और हर एक की छोटी समरी मांगें, फिर उन समरी को एक नई चैट में इकट्ठा करके आगे काम करें। यह एक साथ सब कुछ पेस्ट करने से थोड़ा धीमा है, लेकिन इसमें हर हिस्से पर मॉडल का पूरा ध्यान रहता है। हर सेक्शन के लिए summarizer काफी काम आता है, और बाकी के लिए हमारे रीडिंग और रिसर्च गाइड में प्रॉम्प्ट मौजूद हैं।

पेस्ट करने के कुछ टिप्स:

  • हिस्सों को साफ लेबल दें: "भाग 1 / 4", "टेक्स्ट A", "टेक्स्ट B"।
  • जो गैर-ज़रूरी हो उसे हटा दें, जैसे पेज हेडर, फ़ुटनोट या लंबी संदर्भ सूचियां, ताकि विंडो का ज़्यादा हिस्सा मुख्य सामग्री के काम आए।
  • टेक्स्ट से पहले मॉडल को बताएं कि उसे क्या खोजना है, और टेक्स्ट के बाद भी इसे दोहराएं।
बार-बार दोहराए जाने वाले निर्देशों के लिए असिस्टेंट का उपयोग करें। अगर हर चैट एक ही तरह के सेटअप से शुरू होती है—जैसे आपकी राइटिंग स्टाइल, आपका काम या आपके पाठक—तो Assistants में उन निर्देशों के साथ अपना असिस्टेंट बनाएं। वे उस चैट के हर मैसेज के साथ शामिल रहते हैं, इसलिए वे किसी शुरुआती मैसेज की तरह कभी ओझल नहीं होते।

टोकन, Think और स्पीड

जब आप Think दबाते हैं, तो GPT-6.1 Terra लिखने से पहले थोड़ा समय विचार करने में लगाता है। इस सोचने की प्रक्रिया में भी टोकन खर्च होते हैं, लेकिन वे आपको दिखते नहीं हैं और आपके मैसेज में नहीं गिने जाते; आपको बस कुछ सेकंड का छोटा पॉज़ दिखाई देता है, जिस पर लिखा होता है "Thought for"। डिफ़ॉल्ट GPT-6 Luna यह कदम छोड़ देता है, इसलिए वह तेज़ी से जवाब देता है। दोनों में से कोई भी विकल्प यह नहीं बदलता कि मॉडल आपकी चैट का कितना हिस्सा देख सकता है। अगर आप जानना चाहते हैं कि असल में दोनों में क्या फर्क है, तो Luna बनाम Terra तुलना और GPT वर्शन ओवरव्यू में विस्तार से बताया गया है।

अक्सर पूछे जाने वाले सवाल

क्या लंबे मैसेज से मेरा फ्री कोटा ज़्यादा खर्च होता है?

नहीं। हर मैसेज एक ही बार गिना जाता है, चाहे वह कितना भी लंबा हो। जो मैसेज हद से ज़्यादा लंबा होता है, उसे गिनने के बजाय अस्वीकार कर दिया जाता है, और लंबी चैट को ऊपर बताए अनुसार छोटा कर दिया जाता है। दैनिक सीमाओं की जानकारी FAQ में उपलब्ध है।

क्या मॉडल अलग-अलग चैट के बीच मुझे याद रखता है?

नहीं। हर चैट खाली शुरू होती है, और अलग-अलग चैट के बीच कोई मेमोरी नहीं होती। आपकी हिस्ट्री केवल आपके ब्राउज़र में सेव होती है ताकि आप पुरानी चैट दोबारा खोल सकें, लेकिन मॉडल सिर्फ उसी चैट को देखता है जिसमें आप बात कर रहे हैं।

चैट कभी-कभी शुरुआत में दिए गए निर्देश को नज़रअंदाज़ क्यों कर देती है?

या तो वह निर्देश चैट के उस हिस्से से बाहर हो चुका है जो मॉडल को दिखता है, या फिर किसी बाद के मैसेज ने उसे बदल दिया। अपने मौजूदा मैसेज में उस निर्देश को दोबारा लिख दें।

दूसरी भाषाओं में एक टोकन में कितने शब्द होते हैं?

यह अलग-अलग होता है। अंग्रेज़ी सबसे कम टोकन लेने वाली भाषाओं में से है; कई अन्य भाषाओं में उसी टेक्स्ट के लिए ज़्यादा टोकन लगते हैं। इससे हमारे चैट में आपके काम पर कोई असर नहीं पड़ता, बस लंबी चैट थोड़ी जल्दी ट्रिम हो सकती हैं।

क्या बड़ी कॉन्टेक्स्ट विंडो हमेशा बेहतर होती है?

ज़रूरी नहीं। बहुत बड़ी विंडो होने पर भी मॉडल हर चीज़ के बड़े ढेर के मुकाबले साफ और प्रासंगिक टेक्स्ट पर ज़्यादा ध्यान देते हैं। एक छोटा और व्यवस्थित कॉन्टेक्स्ट आमतौर पर लंबे और बिखरे हुए कॉन्टेक्स्ट से बेहतर जवाब देता है।

आपके सवाल, तुरंत जवाब

कोई अकाउंट नहीं, कोई कार्ड नहीं, कुछ भी डाउनलोड नहीं करना। जो जानना चाहते हैं टाइप करें और एक-दो सेकंड में जवाब दिखना शुरू हो जाएगा।

चैट शुरू करें