پرش به محتوا

راهنماها

وقتی هوش مصنوعی اشتباه می‌کند: چطور بفهمیم و چه کنیم

همه مدل‌های هوش مصنوعی اشتباه می‌کنند و معمولاً حین خطا کاملاً مطمئن به نظر می‌رسند. آشنایی با الگوهای رایج خطا و نشانه‌های هشدار، به شما کمک می‌کند پاسخ‌های مفید را نگه‌دارید و موارد غلط را به‌موقع رد کنید.

7 دقیقه مطالعهبه‌روزرسانی

مدل‌های زبانی آن‌قدر خوب کار می‌کنند که به‌سادگی ممکن است اشتباهاتشان را فراموش کنیم. GPT چه پاسخش درست باشد و چه غلط، با لحنی آرام و مطمئن می‌نویسد و یک پاسخ اشتباه اغلب کاملاً شبیه پاسخی درست به نظر می‌رسد. این یعنی چت‌بات‌ها بی‌استفاده نیستند، بلکه باید بدانید خطاها بیشتر کجا رخ می‌دهند و راه‌هایی سریع برای راستی‌آزمایی آن‌ها بلد باشید. در این راهنما به انواع رایج خطاهای هوش مصنوعی، نشانه‌های هشدار در پاسخ‌ها، پرامپت‌های مفید برای بررسی درستی متن و مواردی که نباید اصلاً به چت هوش مصنوعی اتکا کنید پرداخته‌ایم. این نکات برای GBT Chat و هر دستیار هوش مصنوعی دیگری کاربرد دارند.

چرا یک پاسخ روان و قانع‌کننده ممکن است غلط باشد؟

مدل زبانی حقایق را مثل یک پایگاه داده جستجو نمی‌کند؛ بلکه پاسخ را تکه‌تکه تولید می‌کند و بر اساس سؤال شما و هرآنچه در فرایند آموزش یاد گرفته، محتمل‌ترین کلمه بعدی را برمی‌گزیند. در بیشتر مواقع، محتمل‌ترین ادامه همان ادامهٔ درست است. اما وقتی مدل دربارهٔ موضوعی اطلاعات کمی دارد، یا سؤال غیرمعمول است، محتمل‌ترین ادامه ممکن است کاملاً ساختگی باشد. لحن مدل در هر دو حالت روان و مطمئن باقی می‌ماند، بنابراین لحن بیان هیچ ارتباطی با درستی پاسخ ندارد.

چت ما دو محدودیت دیگر هم دارد که باید در نظر بگیرید: امکان جستجو در اینترنت یا باز کردن لینک‌ها را ندارد و دانش آن تا یک تاریخ مشخص به‌روزرسانی شده است. طبق اعلام OpenAI، داده‌های آموزشی GPT-6 Luna تا ۱۸ مه ۲۰۲۶ و GPT-6.1 Terra تا ۱ ژوئن ۲۰۲۶ است. مدل‌ها از وقایع بعد از این تاریخ‌ها بی‌خبرند، مگر اینکه متن آن‌ها را خودتان وارد چت کنید.

پنج نوع اشتباهی که باید انتظارشان را داشته باشید

  • جزئیات ساختگی: نام پژوهش‌ها، عنوان کتاب‌ها، نقل‌قول‌ها، پرونده‌های قضایی، آمار و ارقام و نشانی‌های وبی که کاملاً واقعی به نظر می‌رسند اما اصلاً وجود ندارند. این رایج‌ترین خطای جدی هوش مصنوعی است.
  • اطلاعات قدیمی و منقضی‌شده: قیمت‌ها، قوانین، نسخه‌های نرم‌افزار، مسئولان فعلی یا محصولات یک شرکت. مواردی که قبلاً درست بوده‌اند اما شاید بعد از تاریخ آموزش مدل تغییر کرده باشند.
  • اشتباه در محاسبات: جمع‌های طولانی، درصدها، تبدیل واحدها و تاریخ‌ها، به‌ویژه در محاسباتی که چند مرحله دارند.
  • برداشت اشتباه از سؤال: پاسخ ممکن است کاملاً درست باشد، اما برای سؤالی کمی متفاوت از آنچه مدنظرتان بوده؛ زیرا پرامپت شما دوپهلو بوده است.
  • توصیه‌های با اعتمادبه‌نفس مفرط: بیان یک قاعدهٔ کلی به‌گونه‌ای که انگار برای موقعیت خاص شما هم صدق می‌کند؛ درحالی‌که کشور محل سکونت، قرارداد یا وضعیت سلامت شما استثناست.

نشانه‌های هشدار در یک پاسخ

نیازی نیست همهٔ جملات را بررسی کنید. به این موارد بیشتر دقت کنید:

  • اعداد، تاریخ‌ها و درصدهای دقیق، به‌ویژه مواردی که خودتان در پرامپت مطرح نکرده‌اید.
  • نام منبع، نویسنده یا نقل‌قولی که تا به حال اسمش را نشنیده‌اید.
  • کلماتی که بوی اخبار تازه می‌دهند: «در حال حاضر»، «اخیراً»، «امسال».
  • پاسخی ساده و سرراست به سؤالی که می‌دانید پیچیده یا مورد اختلاف‌نظر است.
  • جملات مربوط به امور حقوقی، پزشکی یا مالی که با قطعیت کامل بیان شده‌اند.
  • جزئیاتی که با نکته‌ای که در پیام‌های قبلی گفتید در تناقض است.

پاسخ‌هایی که این نشانه‌ها را ندارند — مثلاً بازنویسی ایمیل شما یا توضیح یک مفهوم علمی شناخته‌شده — بسیار امن‌ترند. وقت خود را برای راستی‌آزمایی بخش‌های پرریسک بگذارید.

پرامپت‌هایی که راستی‌آزمایی را آسان‌تر می‌کنند

می‌توانید از خود مدل بخواهید در بررسی پاسخش به شما کمک کند. همهٔ خطاها را پیدا نمی‌کند، اما نقاط ضعف را به شما نشان می‌دهد:

ضعیف:
آیا مطمئنی؟

قوی:
تمام ادعاهای مبتنی بر واقعیتی که در پاسخ قبلی‌ات آورده‌ای و من باید قبل از استناد به آن‌ها درستی‌شان را بررسی کنم، فهرست کن. برای هر کدام بگو میزان اطمینانت چقدر است (زیاد، متوسط، کم) و چه نوع منبعی می‌تواند آن را تأیید کند.

سؤال «آیا مطمئنی؟» معمولاً باعث می‌شود مدل یا عذرخواهی کند و یک پاسخ درست را تغییر دهد، یا یک پاسخ اشتباه را با قطعیت بیشتری تکرار کند. نسخهٔ قوی‌تر چیزی مشخص می‌خواهد: فهرستی از ادعاها و نحوهٔ بررسی درستی آن‌ها. این پرامپت راستی‌آزمایی را باز کنید و بعد از هر پاسخی که قصد دارید به کار بگیرید، از آن استفاده کنید.

سایر جملات کاربردی:

  • «مراحل محاسبات را گام‌به‌گام نشان بده» برای هر نوع محاسبه ریاضی.
  • «اگر پاسخش را مطمئن نیستی، به‌جای حدس زدن بگو نمی‌دانم» در ادامهٔ سؤال اولیه‌تان.
  • «اگر من در [کشور] زندگی کنم، چه تغییری در این پاسخ ایجاد می‌شود؟»
  • «قوی‌ترین استدلال بر ضد آنچه گفتی را مطرح کن.»

برای منطق و محاسبات از دکمهٔ Think استفاده کنید

بسیاری از خطاهای ریاضی و منطقی ناشی از شتاب در پاسخ‌دهی هستند. با زدن دکمهٔ Think در کادر پیام، درخواست شما به GPT-6.1 Terra منتقل می‌شود؛ مدلی که قبل از نوشتن پاسخ، لحظاتی روی مسئله استدلال و فکر می‌کند. این قابلیت به محاسبات چندمرحله‌ای، معماهای زمان‌بندی و سؤالات با چند شرط مختلف کمک می‌کند. البته کمکی به جلوگیری از اطلاعات ساختگی یا منقضی‌شده نمی‌کند؛ زیرا مشکل آن موارد کمبود دانش است، نه استدلال عجولانه. همچنین می‌توانید پاسخ را بازتولید کنید و نسخه‌ها را بسنجید: اگر دو پاسخ در عددی اختلاف داشتند، حداقل یکی غلط است و باید درستی آن را بررسی کنید. در صفحهٔ مقایسه Luna و Terra توضیح داده‌ایم که چه زمان‌هایی این تفکر بیشتر به کار می‌آید.

یک روال سریع برای پاسخ‌هایی که می‌خواهید به کار ببرید

  1. جملات پرریسک را مشخص کنید: نام‌ها، اعداد، تاریخ‌ها، نقل‌قول‌ها و هر چیز مربوط به دوران اخیر.
  2. از مدل بخواهید ادعاهایش را فهرست کند، با استفاده از همان پرامپت راستی‌آزمایی بالا.
  3. دو یا سه مورد از مهم‌ترین ادعاها را بررسی کنید در یک منبع معتبر: وب‌سایت‌های رسمی، دانشنامه‌های شناخته‌شده یا سند اصلی.
  4. اشتباهات را اصلاح کنید: به مدل بگویید کجای پاسخ غلط بوده و بخواهید فقط همان بخش را اصلاح کند.
  5. برای ارجاع، به منبع اصلی استناد کنید نه هوش مصنوعی.

برای یک سؤال روزمره این کار فقط یک دقیقه طول می‌کشد؛ اما برای مسائلی که به پول، سلامتی، حقوق، تکالیف دانشگاهی یا محتوای انتشاریافته مربوطند، رعایت این حداقل‌ها ضروری است.

به‌جای پرسیدن واقعیت‌ها، خودتان آن‌ها را به مدل بدهید. اگر متن اصلی قانون، فهرست قیمت‌ها یا سند مربوطه را دارید، آن را در چت کپی کنید و از مدل بخواهید فقط بر اساس آن پاسخ دهد. وقتی مدل فقط مشغول مرتب‌سازی متن شما باشد و نیازی به به‌خاطر آوردن اطلاعات نداشته باشد، خطاها به‌شدت کاهش می‌یابند.

چه زمانی نباید اصلاً به هوش مصنوعی اعتماد کرد؟

در برخی شرایط باید از همان ابتدا فقط به افراد متخصص یا منابع رسمی تکیه کنید:

  • موارد اورژانسی و علائم حاد سلامتی؛ حتماً با فوریت‌های پزشکی یا پزشک تماس بگیرید.
  • تصمیمات پزشکی، حقوقی و مالی؛ چت ما فقط اطلاعات عمومی ارائه می‌دهد. از آن صرفاً برای فهم اصطلاحات یا آماده‌سازی سؤالات جهت مشاوره با متخصص استفاده کنید.
  • اخبار لحظه‌ای و رویدادهای پس از تاریخ قطع داده‌ها؛ مدل‌ها به این اخبار دسترسی ندارند.
  • نقل‌قول‌ها و منابع دقیق مقالات برای هر چیزی که می‌خواهید منتشر کنید یا تحویل دهید.
  • دستورالعمل‌های مرتبط با ایمنی جانی مانند سیم‌کشی برق، دوز داروها یا مواد شیمیایی.

آموزش این موارد به دیگران هم ارزش زیادی دارد. در راهنمای والدین یک تمرین ساده برای نشان دادن خطاهای هوش مصنوعی به کودکان پیشنهاد کرده‌ایم، و در راهنمای مطالعه و پژوهش به روش‌های دوری از منابع ساختگی در کارهای علمی پرداخته‌ایم. همچنین وقتی به خلاصه‌سازی متنی معتبر نیاز دارید، ابزار خلاصه‌ساز بر پایهٔ متنی که خودتان وارد می‌کنید کار می‌کند نه از روی حافظه، که روشی بسیار امن‌تر است.

پرسش‌های متداول

چرا هوش مصنوعی اطلاعات ساختگی می‌سازد؟

چون مدل متن‌های محتمل را تولید می‌کند و به جستجوی حقایق ذخیره‌شده نمی‌پردازد. اگر داده‌های مناسبی دربارهٔ موضوعی نداشته باشد، یک پاسخ ساختگی اما باورپذیر می‌تواند محتمل‌ترین ادامهٔ متن به نظر برسد. مدل‌های جدیدتر کمتر این کار را می‌کنند، اما هیچ مدلی کاملاً بدون خطا نیست.

آیا GPT-6.1 Terra از GPT-6 Luna دقیق‌تر است؟

در استدلال پیرامون مسائل چندمرحله‌ای قوی‌تر است، بنابراین در منطق و محاسبات اشتباهات کمتری دارد. با این حال هر دو مدل ممکن است اطلاعات ساختگی بسازند یا از تغییرات جدید بی‌خبر باشند. اطلاعات بیشتر را در صفحهٔ GPT-6.1 Terra بخوانید.

آیا این چت‌بات می‌تواند حقایق را برای من در اینترنت بررسی کند؟

خیر. این چت‌بات به اینترنت دسترسی ندارد و نمی‌تواند موضوعی را با منابع روز بسنجد. حقایق مهم را خودتان در وب‌سایت‌های معتبر بررسی کنید.

اگر پاسخی ممکن بود آسیبی ایجاد کند، چه کار کنم؟

به آن عمل نکنید و از یک متخصص کمک بگیرید. اگر فکر می‌کنید پاسخی از چت ما خطرناک است، از طریق فرم تماس به ما اطلاع دهید.

پاسخ سوال شما، همین حالا

بدون نیاز به حساب کاربری، کارت بانکی یا دانلود برنامه. سوال خود را بنویسید تا پاسخ ظرف یک یا دو ثانیه شروع به تایپ شدن کند.

شروع چت