پرش به محتوا

راهنماها

توکن‌ها و زمینه گفتگو: چقدر متن در حافظه GPT می‌ماند؟

مدل‌ها متن را در بخش‌های کوچکی به نام توکن می‌خوانند و در هر لحظه ظرفیت پردازش محدودی دارند. دانستن این موضوع مشخص می‌کند چرا چت‌های خیلی طولانی از مسیر خارج می‌شوند و چرا یک چت تازه با خلاصه کوتاه نتیجه بهتری می‌دهد.

7 دقیقه مطالعهبه‌روزرسانی

اگر تا به حال در یک گفتگوی طولانی با هوش مصنوعی متوجه شده‌اید که مدل ناگهان جزئیاتی را که همان ابتدا گفته بودید فراموش کرده، با محدودیت کانتکست (context limit) روبرو شده‌اید. این موضوع باگ نیست و به خاطر بی‌دقتی مدل هم اتفاق نمی‌افتد. مدل‌های زبانی متن را در بخش‌های کوچکی به نام توکن (token) می‌خوانند و هر بار که پاسخ می‌دهند، تنها می‌توانند حجم مشخصی از گفتگو را در نظر بگیرند. وقتی با مفهوم توکن و کانتکست آشنا شوید، بسیاری از رفتارهای عجیب مدل منطقی به نظر می‌رسند و چند ترفند ساده به شما کمک می‌کند تا در گفتگوهای طولانی در GBT Chat پاسخ‌های دقیقی بگیرید.

توکن چیست؟

توکن تکه‌ای از متن است: گاهی یک کلمه کوتاه کامل، گاهی بخشی از یک کلمه بلندتر، یک علامت نگارشی یا یک فاصله همراه با چند حرف. کلمه «Cat» یک توکن است. کلمه‌ای مثل «Unbelievably» ممکن است به چند توکن تقسیم شود. اعداد، کدها و اسامی نامتعارف معمولاً نسبت به کلمات معمولی به قطعات بیشتری خرد می‌شوند.

طبق قاعده کلی OpenAI برای زبان انگلیسی، هر توکن تقریباً معادل سه چهارم یک کلمه است؛ یعنی صد توکن حدوداً برابر با هفتاد و پنج کلمه می‌شود. زبان‌های دیگر اغلب برای رساندن همان مفهوم به توکن‌های بیشتری نیاز دارند، به‌ویژه زبان‌هایی با کلمات ترکیبی طولانی یا خط‌های غیرلاتین. در چت ما هرگز نیازی به شمارش توکن‌ها ندارید، اما این مفهوم نشان می‌دهد که چرا طول متن اهمیت دارد.

چرا به جای حروف یا کلمات کامل از این قطعات استفاده می‌شود؟ پردازش حروف تکی متن‌ها را فوق‌العاده طولانی و کند می‌کند؛ استفاده از کلمات کامل هم به واژگان بی‌نهایت بزرگی نیاز دارد تا همه نام‌ها، غلط‌های املایی و زبان‌ها را پوشش دهد. توکن‌ها راه‌حلی میانه‌اند، به همین دلیل همه مدل‌های مدرن GPT با آن‌ها کار می‌کنند.

پنجره کانتکست چیست؟

پنجره کانتکست (Context Window) مقدار متنی است که مدل می‌تواند هنگام نوشتن پاسخ به طور هم‌زمان پردازش کند. این پنجره شامل همه چیزهایی است که به مدل نشان داده می‌شود: دستورالعمل‌های سایت، پیام‌های قبلی چت، پیام جدید شما و پاسخی که در حال نوشتن آن است. آن را مثل میز کار مدل فرض کنید. هر چیزی که روی میز جا شود قابل استفاده است؛ هر چه جا نشود، اصلاً وجود ندارد.

خود مدل هیچ حافظه دیگری از گفتگوی شما ندارد. هر بار که پیامی می‌فرستید، چت بخش‌های مرتبط گفتگو را دوباره برای مدل ارسال می‌کند و مدل آن را از نو می‌خواند. به همین دلیل است که پیام‌های قبلی درون یک گفتگو را «به یاد می‌آورد»، اما چیزی از سایر چت‌های شما نمی‌داند.

اندازه پنجره چقدر است و چت ما چه چیزی ارسال می‌کند؟

طبق اسناد OpenAI، مدل‌های GPT-6 که ما استفاده می‌کنیم پنجره کانتکست بسیار بزرگی دارند، یعنی حدود ۱.۰۵ میلیون توکن. ارسال چنین حجم بزرگی با هر پیام، کند و پرهزینه خواهد بود و یک سایت رایگان باید اندازه هر درخواست را محدود نگه دارد. بنابراین GBT Chat جدیدترین بخش گفتگو (حدوداً چند صفحه آخر متن) را به همراه پیام جدید شما برای مدل می‌فرستد. در چت‌های روزمره اصلاً متوجه این موضوع نخواهید شد، اما در گفتگوهای طولانی، پیام‌های ابتدایی از دید مدل خارج می‌شوند.

محدودیت مشابهی برای خروجی نیز وجود دارد: پاسخ‌ها حداکثر طول مشخصی دارند. اگر یک پاسخ خیلی طولانی در میانه کار متوقف شد، کافی است بنویسید «ادامه بده» تا مدل از همان‌جا کارش را پی بگیرد.

تصاویر هم حجم اشغال می‌کنند. وقتی با دکمه + عکسی پیوست می‌کنید، همراه با آن پیام ارسال می‌شود و بخشی از پنجره را می‌گیرد. فقط دو تصویر آخر در هر چت ارسال می‌شوند؛ تصاویر قدیمی‌تر با یک یادداشت کوتاه که نشان می‌دهد عکسی وجود داشته جایگزین می‌شوند. اگر می‌خواهید دوباره درباره عکس قبلی سؤالی بپرسید، آن را مجدداً پیوست کنید.

چرا چت‌های طولانی از مسیر خارج می‌شوند؟

با طولانی‌تر شدن گفتگو، سه اتفاق می‌افتد:

  • جزئیات اولیه حذف می‌شوند. بودجه‌ای که در پیام دوم به آن اشاره کردید، ممکن است تا پیام سی‌ام دیگر روی میز کار مدل نباشد.
  • دستورالعمل‌های قدیمی و جدید تداخل پیدا می‌کنند. اگر ابتدا گفته باشید «رسمی» و بعداً بگویید «صمیمانه»، مدل باید حدس بزند کدام‌یک هنوز معتبر است.
  • اشتباهات روی هم انباشته می‌شوند. اگر خطای قبلی مدل را اصلاح نکنید، در تاریخچه گفتگو می‌ماند و می‌تواند روی پاسخ‌های بعدی تأثیر بگذارد.

راه‌حل، پرهیز از چت‌های طولانی نیست، بلکه مدیریت آن‌هاست. عادت‌های زیر کمک می‌کنند تا نکات کلیدی همیشه جلوی چشم مدل بماند.

عادت‌هایی برای حفظ تمرکز چت‌های طولانی

ضعیف:
(پیام ۴۰) حالا نسخه نهایی را بنویس.

بهتر:
نسخه نهایی انگیزه‌نامه را بنویس. یادآوری: موقعیت شغلی کارشناس
داده تازه‌کار در بیمارستان است، حداکثر ۲۵۰ کلمه، به دوره SQL و
فعالیت داوطلبانه‌ام اشاره کن، لحن دوستانه اما حرفه‌ای باشد.

پیام دوم نکات کلیدی را تکرار می‌کند، به جای اینکه فرض کند هنوز در دیدرس مدل هستند. این کار فقط چند خط اضافه می‌برد اما جلوی حدس و خطای مدل را می‌گیرد. سایر راهکارها:

  • خلاصه‌سازی و شروع مجدد. بپرسید: «همه توافق‌هایمان تا الان را به صورت موردی خلاصه کن»، سپس یک چت جدید باز کنید و این خلاصه را به عنوان پیام اول بفرستید. پرامپت خلاصه را باز کنید و در چت‌های طولانی از آن بهره ببرید.
  • یک موضوع برای هر چت. هر موضوع جدید به یک چت تازه نیاز دارد. نام چت‌ها را در منوی کناری تغییر دهید تا بعداً راحت پیدایشان کنید.
  • اشتباهات را در لحظه اصلاح کنید. به جای اینکه خطای برداشت را در سابقه گفتگو رها کنید، با استفاده از ویرایش روی پیام خودتان، مشکل را از ریشه درست کنید.
  • مطالب طولانی را در انتهای پیام بگذارید. وقتی متنی طولانی را جای‌گذاری می‌کنید، دستور خود را در انتهای آن هم تکرار کنید تا درخواست کاملاً تازه بماند.

کار با متون طولانی

یک پیام می‌تواند چند صفحه متن را در خود جای دهد؛ ارسال متنی بسیار طولانی‌تر با خطای حجم زیاد رد می‌شود. بنابراین اسناد بزرگ را خرد کنید. هر بخش را جداگانه بفرستید و خلاصه‌ای کوتاه بخواهید، سپس خلاصه‌ها را در یک چت جدید جمع‌آوری کرده و کار را از آنجا ادامه دهید. این روش کمی طول می‌کشد، اما مدل روی تک‌تک بخش‌ها تمرکز کامل دارد. ابزار خلاصه‌ساز برای خرد کردن بخش به بخش متن عالی است و راهنمای مطالعه و پژوهش ما هم پرامپت‌های بقیه مراحل را در اختیارتان می‌گذارد.

چند نکته برای جای‌گذاری متن:

  • بخش‌ها را شفاف مشخص کنید: «بخش ۱ از ۴»، «متن الف»، «متن ب».
  • موارد غیرضروری مثل هدر صفحات، پاورقی‌ها یا فهرست بلندبالای منابع را حذف کنید تا فضای بیشتری از پنجره به محتوای اصلی برسد.
  • قبل از متن به مدل بگویید دنبال چه چیزی بگردد و بعد از متن هم آن را تکرار کنید.
برای دستورالعمل‌های تکراری از دستیار استفاده کنید. اگر هر چت را با تنظیمات یکسانی شروع می‌کنید (مانند سبک نگارش، شغل یا نوع مخاطب)، دستیار اختصاصی خود را با همین دستورات در بخش دستیارها بسازید. این دستورات همراه با تمام پیام‌های آن چت ارسال می‌شوند و هرگز مانند پیام‌های اولیه از دید مدل خارج نخواهند شد.

توکن‌ها، دکمه تفکر (Think) و سرعت پاسخ‌دهی

وقتی روی Think می‌زنید، GPT-6.1 Terra پیش از نوشتن، کمی زمان صرف استدلال می‌کند. این استدلال هم توکن مصرف می‌کند، اما شما آن را نمی‌بینید و جزو سهمیه پیام‌هایتان حساب نمی‌شود؛ تنها یک مکث کوتاه می‌بینید که به شکل «Thought for» با تعداد ثانیه‌ها نمایش داده می‌شود. مدل پیش‌فرض GPT-6 Luna این مرحله را رد می‌کند و به همین دلیل سریع‌تر پاسخ می‌دهد. هیچ‌کدام از این دو حالت تغییری در میزان دید مدل به چت شما ایجاد نمی‌کنند. اگر می‌خواهید تفاوت کاربردی این دو را بهتر بدانید، مقایسه Luna و Terra و بررسی نسخه‌های GPT جزئیات بیشتری دارند.

پرسش‌های متداول

آیا پیام‌های طولانی‌تر سهمیه رایگان من را بیشتر مصرف می‌کنند؟

خیر. هر پیام فارغ از طول آن، یک پیام محاسبه می‌شود. پیامی که بیش از حد طولانی باشد پذیرفته نمی‌شود، و چت‌های طولانی هم طبق توضیحات بالا خلاصه می‌شوند. جزئیات محدودیت‌های روزانه در پرسش‌های متداول آمده است.

آیا مدل مرا از چت‌های قبلی به یاد می‌آورد؟

خیر. هر چت از صفر شروع می‌شود و هیچ حافظه مشترکی بین چت‌ها وجود ندارد. تاریخچه گفتگوها فقط در مرورگر شما ذخیره می‌شود تا بتوانید چت‌های قدیمی را باز کنید، اما مدل فقط چتی را می‌بیند که در آن حضور دارید.

چرا چت گاهی دستوری را که در ابتدا دادم نادیده می‌گیرد؟

یا آن دستور از دید مدل در کانتکست خارج شده، یا پیامی جدیدتر طوری برداشت شده که دستور قبلی را باطل کرده است. دستور را در پیام جدیدتان دوباره تکرار کنید.

در زبان‌های دیگر هر توکن معادل چند کلمه است؟

متفاوت است. انگلیسی از پربازده‌ترین زبان‌هاست؛ بسیاری از زبان‌های دیگر برای رساندن همان متن به توکن‌های بیشتری نیاز دارند. این موضوع محدودیتی در چت برایتان ایجاد نمی‌کند، جز اینکه چت‌های طولانی ممکن است کمی زودتر کوتاه شوند.

آیا پنجره کانتکست بزرگ‌تر همیشه بهتر است؟

لزوماً خیر. حتی با وجود یک پنجره عظیم، مدل‌ها به متن‌های شفاف و مرتبط بیشتر توجه می‌کنند تا به کوهی از اطلاعات درهم. یک کانتکست کوتاه و منظم معمولاً پاسخ‌های بهتری نسبت به یک کانتکست شلوغ و آشفته تولید می‌کند.

پاسخ سوال شما، همین حالا

بدون نیاز به حساب کاربری، کارت بانکی یا دانلود برنامه. سوال خود را بنویسید تا پاسخ ظرف یک یا دو ثانیه شروع به تایپ شدن کند.

شروع چت