مواد پر جائیں

گائیڈز

ٹوکنز اور کونٹیکسٹ: GPT بیک وقت کتنا یاد رکھ سکتا ہے

ماڈلز ٹیکسٹ کو چھوٹے ٹکڑوں میں پڑھتے ہیں جنہیں ٹوکنز کہا جاتا ہے اور وہ ایک وقت میں مخصوص مقدار ہی یاد رکھ سکتے ہیں۔ اسے سمجھنے سے واضح ہوتا ہے کہ لمبی چیٹ موضوع سے کیوں ہٹتی ہے اور نئی چیٹ کیوں بہتر رہتی ہے۔

8 منٹ کا مطالعہاپ ڈیٹ شدہ

اگر آپ نے کبھی لمبی AI چیٹ کی ہو جہاں ماڈل شروع میں دی گئی کوئی تفصیل اچانک بھول گیا ہو، تو آپ کا واسطہ کانٹیکسٹ لمٹ (context limit) سے پڑا ہے۔ یہ کوئی خرابی نہیں ہے اور نہ ہی ماڈل لاپرواہی برت رہا ہے۔ لینگویج ماڈلز ٹیکسٹ کو چھوٹے ٹکڑوں میں پڑھتے ہیں جنہیں ٹوکنز (tokens) کہا جاتا ہے، اور ہر بار جواب دیتے وقت وہ گفتگو کے صرف ایک مخصوص حصے کو ہی پیشِ نظر رکھ سکتے ہیں۔ ایک بار جب آپ ٹوکنز اور کانٹیکسٹ کو سمجھ لیں، تو ماڈل کا غیر متوقع رویہ سمجھ آنے لگتا ہے، اور چند آسان عادات کے ذریعے آپ GBT Chat میں طویل چیٹس کو بھی درست رکھ سکتے ہیں۔

ٹوکن کیا ہوتا ہے

ٹوکن ٹیکسٹ کا ایک ٹکڑا ہوتا ہے: کبھی ایک پورا چھوٹا لفظ، کبھی کسی طویل لفظ کا حصہ، کوئی اوقافی علامت (punctuation) یا چند حروف کے ساتھ ایک اسپیس۔ "Cat" ایک ٹوکن ہے۔ "Unbelievably" کئی ٹکڑوں میں تقسیم ہو سکتا ہے۔ عام الفاظ کے مقابلے میں نمبرز، کوڈ اور غیر معمولی نام عموماً زیادہ ٹکڑوں میں تقسیم ہوتے ہیں۔

انگریزی کے لیے OpenAI کا عمومی اصول یہ ہے کہ ایک ٹوکن تقریباً تین چوتھائی لفظ کے برابر ہوتا ہے، یعنی سو ٹوکنز لگ بھگ پچھتر الفاظ بنتے ہیں۔ دیگر زبانوں کو اسی مفہوم کے لیے اکثر زیادہ ٹوکنز درکار ہوتے ہیں، خاص طور پر وہ جن میں طویل مرکب الفاظ یا غیر لاطینی رسم الخط استعمال ہوتے ہوں۔ ہماری چیٹ میں آپ کو خود ٹوکنز گننے کی کبھی ضرورت نہیں پڑتی، لیکن یہ تصور واضح کرتا ہے کہ لمبائی کی اتنی اہمیت کیوں ہے۔

حروف یا مکمل الفاظ کے بجائے ٹکڑے ہی کیوں؟ اکیلے حروف پروسیسنگ کو بے حد لمبا بنا دیں گے؛ جبکہ مکمل الفاظ کو ہر نام، ٹائپو اور زبان کا احاطہ کرنے کے لیے ناممکن حد تک بڑی وکیبلری کی ضرورت ہوگی۔ ٹوکنز ان دونوں کے درمیان ایک بہترین توازن فراہم کرتے ہیں، یہی وجہ ہے کہ ہر جدید GPT ماڈل انہی پر کام کرتا ہے۔

کانٹیکسٹ ونڈو کیا ہوتی ہے

کانٹیکسٹ ونڈو ٹیکسٹ کی وہ مقدار ہے جسے کوئی ماڈل جواب لکھتے وقت بیک وقت ذہن میں رکھ سکتا ہے۔ اس میں وہ سب کچھ شامل ہوتا ہے جو اسے دکھایا جاتا ہے: سائٹ کی طرف سے دی گئی ہدایات، آپ کی چیٹ کے پچھلے پیغامات، آپ کا نیا پیغام اور وہ جواب جو وہ لکھ رہا ہے۔ اسے ماڈل کی ورک ڈیسک سمجھیں۔ جو کچھ ڈیسک پر موجود ہے وہ استعمال ہو سکتا ہے؛ جو جگہ کی کمی کی وجہ سے نہیں آ سکا، وہ اس کے لیے موجود ہی نہیں۔

ماڈل کے پاس آپ کی گفتگو کا الگ سے کوئی ذاتی حافظہ نہیں ہوتا۔ ہر بار جب آپ پیغام بھیجتے ہیں، تو چیٹ گفتگو کا متعلقہ حصہ دوبارہ ماڈل کو بھیجتی ہے، اور وہ اسے نئے سرے سے پڑھتا ہے۔ یہی وجہ ہے کہ وہ ایک ہی چیٹ کے دوران پرانے پیغامات کو "یاد" رکھتا ہے، اور آپ کی دیگر چیٹس کے بارے میں کچھ نہیں جانتا۔

ونڈو کتنی بڑی ہے، اور ہماری چیٹ کیا بھیجتی ہے

ہم جو GPT-6 ماڈلز استعمال کرتے ہیں، ان کے لیے OpenAI کی دستاویزات میں کانٹیکسٹ ونڈو کافی وسیع بتائی گئی ہے، جو تقریباً 1.05 ملین ٹوکنز پر مشتمل ہے۔ ہر پیغام کے ساتھ اتنی بڑی ونڈو بھیجنا سست اور مہنگا عمل ہوگا، اور ایک مفت سائٹ کے لیے ہر درخواست کو مختصر رکھنا ضروری ہوتا ہے۔ چنانچہ GBT Chat ماڈل کو گفتگو کا صرف تازہ ترین حصہ بھیجتی ہے، یعنی تقریباً پچھلے چند صفحات کا ٹیکسٹ، اور ساتھ آپ کا نیا پیغام۔ روزمرہ کی چیٹس میں آپ کو کبھی اس کا احساس نہیں ہوگا۔ البتہ ایک طویل سیشن میں، بالکل ابتدائی پیغامات ماڈل کی نظروں سے اوجھل ہو جاتے ہیں۔

دوسری طرف بھی ایسی ہی ایک حد موجود ہے: جوابات کی ایک زیادہ سے زیادہ لمبائی مقرر ہوتی ہے۔ اگر کوئی بہت طویل جواب درمیان میں رک جائے، تو بس "continue" لکھیں اور ماڈل وہیں سے بات آگے بڑھائے گا جہاں سے چھوڑی تھی۔

تصاویر بھی اس حد میں شمار ہوتی ہیں۔ جب آپ + بٹن کے ذریعے کوئی تصویر منسلک کرتے ہیں، تو وہ اسی پیغام کے ساتھ جاتی ہے اور ونڈو کا کچھ حصہ گھیر لیتی ہے۔ چیٹ میں صرف حالیہ دو تصاویر ہی ساتھ بھیجی جاتی ہیں؛ پرانی تصاویر کی جگہ ایک مختصر نوٹ رہ جاتا ہے کہ یہاں تصویر موجود تھی۔ اگر آپ کسی پچھلی تصویر کے بارے میں دوبارہ پوچھنا چاہتے ہیں، تو اسے دوبارہ منسلک کریں۔

طویل چیٹس اپنے راستے سے کیوں بھٹک جاتی ہیں

گفتگو طویل ہونے کے ساتھ ساتھ تین باتیں رونما ہوتی ہیں:

  • شروع کی تفصیلات اوجھل ہو جاتی ہیں۔ جو بجٹ آپ نے دوسرے پیغام میں بتایا تھا، ہو سکتا ہے تیسویں پیغام تک وہ ماڈل کی ڈیسک پر موجود ہی نہ ہو۔
  • پرانی اور نئی ہدایات میں تضاد پیدا ہوتا ہے۔ اگر آپ نے شروع میں "رسمی" انداز کہا تھا اور بعد میں "غیر رسمی"، تو ماڈل کو اندازہ لگانا پڑتا ہے کہ اب کون سا لاگو ہے۔
  • غلطیاں جمع ہوتی رہتی ہیں۔ ماڈل سے پہلے جو غلطی ہوئی، اگر آپ نے اسے درست نہ کیا، تو وہ گفتگو کا حصہ بنی رہتی ہے اور بعد کے جوابات پر اثر انداز ہو سکتی ہے۔

اس کا حل طویل چیٹس سے بچنا نہیں بلکہ ان کا درست انتظام ہے۔ درج ذیل عادات اہم معلومات کو ماڈل کی نظر میں رکھنے میں مدد دیتی ہیں۔

طویل چیٹس کو درست رکھنے کے طریقے

کمزور انداز:
(پیغام 40) اب فائنل ورژن لکھیں۔

بہتر انداز:
کور لیٹر کا فائنل ورژن لکھیں۔ یاد دہانی: جاب ہسپتال میں
جونیئر ڈیٹا اینالسٹ کی ہے، زیادہ سے زیادہ 250 الفاظ، میرے
SQL کورس اور رضاکارانہ کام کا ذکر کریں، دوستانہ لیکن پیشہ ورانہ لہجہ ہو۔

بہتر پیغام اس بھروسے پر بیٹھنے کے بجائے کہ اہم نکات اب بھی نظر میں ہیں، انہیں دہرا دیتا ہے۔ اس پر چند سطریں خرچ ہوتی ہیں لیکن غلط فہمی کا خدشہ ختم ہو جاتا ہے۔ دیگر عادات:

  • خلاصہ کریں اور نئے سرے سے شروع کریں۔ ماڈل سے کہیں: "اب تک ہم جن باتوں پر متفق ہوئے ہیں، ان کا اہم نکات میں خلاصہ کریں،" پھر نئی چیٹ شروع کریں اور خلاصہ اپنے پہلے پیغام کے طور پر پیسٹ کر دیں۔ سمری پرامپٹ کھولیں اور اسے کسی بھی طویل چیٹ میں استعمال کریں۔
  • ایک چیٹ، ایک موضوع۔ نئے موضوع کے لیے ہمیشہ نئی چیٹ شروع کرنی چاہیے۔ سائیڈ مینو میں چیٹس کے نام بدل کر رکھیں تاکہ بعد میں تلاش کرنا آسان ہو۔
  • غلطی دیکھتے ہی فوراً درست کریں۔ غلط فہمی کو چیٹ ہسٹری میں چھوڑنے کے بجائے، اپنے پیغام پر Edit کا استعمال کر کے اصل جگہ پر ہی ٹھیک کریں۔
  • طویل مواد کو آخر کے قریب رکھیں۔ جب آپ لمبا ٹیکسٹ پیسٹ کریں، تو اپنی ہدایت اس کے بعد بھی شامل کریں تاکہ ماڈل کے لیے درخواست بالکل تازہ رہے۔

طویل تحریروں پر کام کرنا

ایک پیغام میں چند صفحات کا ٹیکسٹ سما سکتا ہے؛ اس سے زیادہ طویل مواد زیادہ لمبا ہونے کی وجہ سے مسترد کر دیا جاتا ہے۔ لہٰذا بڑی دستاویزات کو حصوں میں تقسیم کریں۔ ایک وقت میں ایک سیکشن بھیجیں اور ہر ایک کا مختصر خلاصہ مانگیں، پھر نئی چیٹ میں وہ تمام خلاصے جمع کر کے کام آگے بڑھائیں۔ یہ طریقہ ایک ساتھ سب کچھ پیسٹ کرنے سے قدرے سست ہے، لیکن اس سے ماڈل ہر حصے پر پوری توجہ دیتا ہے۔ مرحلہ وار کام کے لیے summarizer بے حد کارآمد ہے، اور باقی تفصیلات کے لیے ہماری مطالعہ اور تحقیق کی گائیڈ میں پرامپٹس موجود ہیں۔

مواد پیسٹ کرنے کے لیے چند مفید مشورے:

  • حصوں کو واضح لیبل دیں: "حصہ 1 از 4"، "ٹیکسٹ A"، "ٹیکسٹ B"۔
  • غیر ضروری چیزیں ہٹا دیں، جیسے صفحے کے ہیڈرز، حاشیے (footnotes) یا طویل حوالہ جات، تاکہ ونڈو کا زیادہ حصہ اصل مواد کے کام آ سکے۔
  • ٹیکسٹ سے پہلے ماڈل کو بتائیں کہ اسے کیا تلاش کرنا ہے، اور متن کے بعد بھی یہ بات دہرائیں۔
بار بار دہرائی جانے والی ہدایات کے لیے اسسٹنٹ استعمال کریں۔ اگر آپ کی ہر چیٹ ایک ہی سیٹ اپ سے شروع ہوتی ہے، مثلاً آپ کا اندازِ تحریر، ملازمت یا قارئین، تو Assistants میں جا کر انہی ہدایات کے ساتھ اپنا اسسٹنٹ بنائیں۔ یہ ہدایات اس چیٹ کے ہر پیغام کا حصہ بنتی ہیں، چنانچہ وہ شروع کے پیغامات کی طرح کبھی بھی نظروں سے اوجھل نہیں ہوتیں۔

ٹوکنز، Think اور رفتار

جب آپ Think پر کلک کرتے ہیں، تو GPT-6.1 Terra جواب لکھنے سے پہلے سوچ بچار کے لیے تھوڑا وقت لیتا ہے۔ اس سوچ بچار میں بھی ٹوکنز خرچ ہوتے ہیں، لیکن وہ آپ کو نظر نہیں آتے اور نہ ہی آپ کے پیغامات کے کوٹے میں شمار ہوتے ہیں؛ آپ صرف ایک مختصر وقفہ محسوس کرتے ہیں، جو چند سیکنڈز کے "Thought for" کے طور پر دکھایا جاتا ہے۔ ڈیفالٹ GPT-6 Luna اس مرحلے کو چھوڑ دیتا ہے، اسی لیے وہ تیزی سے جواب دیتا ہے۔ دونوں میں سے کوئی بھی آپشن یہ تبدیل نہیں کرتا کہ ماڈل آپ کی چیٹ کا کتنا حصہ دیکھ سکتا ہے۔ اگر آپ جاننا چاہتے ہیں کہ عملی طور پر دونوں میں کیا فرق ہے، تو Luna بمقابلہ Terra کا موازنہ اور GPT ورژنز کا جائزہ مزید تفصیل فراہم کرتے ہیں۔

اکثر پوچھے گئے سوالات

کیا طویل پیغامات سے میرا مفت کوٹہ زیادہ خرچ ہوتا ہے؟

نہیں۔ ہر پیغام ایک ہی بار شمار ہوتا ہے، چاہے وہ کتنا ہی طویل کیوں نہ ہو۔ جو اکیلا پیغام حد سے زیادہ لمبا ہو، وہ گنتی میں آنے کے بجائے مسترد ہو جاتا ہے، اور طویل چیٹس کو اوپر بتائے گئے طریقے کے مطابق خودکار طور پر چھوٹا کر دیا جاتا ہے۔ روزانہ کی حدود کے بارے میں تفصیلات FAQ میں موجود ہیں۔

کیا ماڈل مختلف چیٹس کے درمیان مجھے یاد رکھتا ہے؟

نہیں۔ ہر چیٹ بالکل شروع سے خالی شروع ہوتی ہے، اور الگ الگ چیٹس کے درمیان کوئی مشترکہ یادداشت نہیں ہوتی۔ آپ کی ہسٹری صرف آپ کے براؤزر میں محفوظ ہوتی ہے تاکہ آپ پرانی چیٹس دوبارہ کھول سکیں، لیکن ماڈل صرف وہی چیٹ دیکھ پاتا ہے جس میں آپ اس وقت موجود ہوں۔

چیٹ کبھی کبھار میری شروع میں دی گئی ہدایت کو کیوں نظر انداز کر دیتی ہے؟

یا تو وہ ہدایت چیٹ کے اس حصے سے باہر نکل چکی ہے جسے ماڈل دیکھ سکتا ہے، یا بعد کے کسی پیغام سے لگا کہ پچھلی ہدایت منسوخ ہو گئی ہے۔ ہدایت کو اپنے موجودہ پیغام میں دوبارہ لکھ دیں۔

دیگر زبانوں میں ایک ٹوکن کتنے الفاظ کے برابر ہوتا ہے؟

یہ مختلف ہو سکتا ہے۔ انگریزی سب سے زیادہ کفایت شعار زبانوں میں سے ہے؛ کئی دیگر زبانوں میں اسی تحریر کے لیے زیادہ ٹوکنز درکار ہوتے ہیں۔ ہماری چیٹ میں اس سے آپ کے کام پر کوئی فرق نہیں پڑتا، سوائے اس کے کہ طویل چیٹس تھوڑی جلدی کٹ جاتی ہیں۔

کیا بڑی کانٹیکسٹ ونڈو ہمیشہ بہتر ہوتی ہے؟

ضروری نہیں۔ ایک بہت بڑی ونڈو کے باوجود، ماڈلز بے ترتیب مواد کے ڈھیر کے مقابلے میں واضح اور متعلقہ ٹیکسٹ پر زیادہ بہتر توجہ دیتے ہیں۔ طویل اور بکھرے ہوئے کانٹیکسٹ کے مقابلے میں ایک مختصر اور منظم کانٹیکسٹ عموماً بہتر نتائج فراہم کرتا ہے۔

آپ کا سوال، فوراً جواب

نہ کوئی اکاؤنٹ، نہ کارڈ، نہ کچھ ڈاؤنلوڈ کرنے کی ضرورت۔ اپنا سوال ٹائپ کریں اور ایک دو سیکنڈ میں جواب شروع ہو جائے گا۔

chat شروع کریں