跳转到主要内容

指南

Token 与上下文:GPT 能记住多少对话内容

模型以名为 Token 的文本片段来读取内容,每次能处理的上限有限。弄清这一点,就能明白为什么长对话会跑题,以及为什么另起新对话并附上简短摘要往往效果更好。

阅读时间 6 分钟更新于

如果你在较长的 AI 对话中遇到过这种情况:模型突然把你开头交代的信息忘得一干二净,那你其实是碰到了上下文上限。这不是 bug,也不是模型漫不经心。语言模型是以“Token”(标记)为基本单位来阅读文本的,每次作答时,它能参考的上下文长度都存在限制。一旦理解了 Token 和上下文的机制,许多奇怪的表现就很好解释了;养成几个简单的好习惯,就能让 GBT Chat 中的长对话始终保持准确。

什么是 Token

Token 是文本切片:有时是一个较短的完整单词,有时是长词的一部分,也可以是一个标点符号,或者带几个字母的空格。比如英文单词“Cat”是一个 Token,“Unbelievably”可能会被拆成好几个。数字、代码和罕见名称拆成的碎片通常比普通词汇更多;而中文等非拉丁字符往往一个汉字对应一个或多个 Token。

根据 OpenAI 的英文估算经验,一个 Token 大约相当于四分之三个单词,即 100 个 Token 约合 75 个单词。其他语言表达相同意思往往需要消耗更多 Token,尤其是非拉丁语系或包含长复合词的语言。在我们的聊天中,你完全不需要自己去数 Token,但了解这个概念有助于明白为什么文本长度如此关键。

为什么模型按碎片处理,而不是按单个字母或完整单词?如果按字母处理,文本会变得极长、计算极慢;如果按完整单词处理,词表就需要大到不可思议,才能装下所有的专有名词、拼写错误和各门语言。Token 恰好介于两者之间,这也是当今所有主流 GPT 模型都采用这种机制的原因。

什么是上下文窗口

上下文窗口指的是模型在生成回答时,能够同时兼顾的最大文本量。它包含当前呈现给模型的所有内容:网站发送的系统指令、对话中的早期消息、你的最新提问,以及它正在生成的回复。你可以把它想象成模型的“办公桌”:桌面上放得下的资料都能参考,放不下的资料,它就完全看不见。

模型本身对你的对话没有任何额外记忆。每次你发送消息时,聊天窗口都会将对话的相关部分重新打包发送,模型则是从头阅读一遍。这就是为什么它能在同一个对话中“记住”早先的内容,却对你的其他对话一无所知。

窗口有多大,我们的聊天界面会发送什么

OpenAI 官方文档显示,我们使用的 GPT-6 模型拥有非常庞大的上下文窗口,约为 105 万个 Token。如果每次发送消息都附带如此庞大的上下文,速度会很慢且成本极高,而免费网站必须精简单次请求的大小。因此,GBT Chat 会向模型发送对话中最近的一部分内容(大约是最后几页文本的长度),外加你的最新消息。在日常对话中你完全不会察觉,但在极长的会话里,最早的消息就会逐渐被挤出视野。

回复端也有类似的限制:单次回答有最大长度上限。如果超长回答在半途中断,只需输入“继续”,模型就会从停下的地方接着写。

图片也会占用空间。当你通过 + 按钮添加照片时,图片会随该条消息一同发送并占用一部分窗口容量。对话中最多只会保留并发送最近的两张图片;更早的图片会被替换为一条简短的占位说明(提示此处曾有一张图)。如果你想再次探讨之前的某张图片,只需重新上传即可。

为什么长对话容易“跑偏”

随着对话不断变长,往往会出现三种情况:

  • 早期的细节被顶替丢失。 你在第二条消息里提到的预算要求,到了第三十条消息时可能已经不在模型的“办公桌”上了。
  • 新旧指令产生冲突。 如果你开头要求“正式语气”,后来又说“随意一点”,模型就必须去猜现在到底听哪一个。
  • 错误不断滚雪球。 如果模型之前犯了错误而你没有纠正,该错误就会留在对话历史中,进而误导后续的回答。

解决之道不是避开长对话,而是学会管理它们。养成以下好习惯,就能让关键信息始终处于模型的视线范围内。

让长对话不跑偏的实用习惯

效果较弱:
(第 40 条消息)现在写最终版吧。

效果更好:
请写求职信的最终版。要点提醒:应聘岗位是医院的
初级数据分析师,字数严格控制在 250 词以内,提及我的
SQL 课程和志愿者经历,语气友好但保持专业。

优化后的消息重申了核心要求,而不是盲目相信模型还能看得到前文。多花两三行字,就能彻底消除误解。其他好习惯包括:

  • 总结要点,另起新聊。 发送“请用要点列表总结我们目前达成一致的所有内容”,然后开启新对话,将总结作为第一条消息粘贴进去。打开总结提示词,即可在任何长对话中直接使用。
  • 一话题一对话。 换了新主题,就开个新对话。在侧边栏中为对话重命名,方便日后查找。
  • 发现错误立即修正。 直接对你的上一条消息使用编辑功能,从源头改掉误解,避免错误留在历史记录中。
  • 长资料放在靠后位置。 粘贴长文本时,记得在文本末尾附上你的指令,这样模型能最直接地看到最新诉求。

处理长文本的技巧

单条消息可以容纳几页文本;但一次粘贴过长可能会因超出限制被拒。因此,请将大型文档拆分处理:每次发送一个章节并要求其提供简短摘要,最后在一个新对话中汇总所有摘要并在此基础上展开工作。这虽然比一次性大段粘贴稍慢,但能确保模型的注意力充分覆盖每个部分。文本总结工具非常适合分段处理,而我们的阅读与调研指南也提供了适用的配套提示词。

粘贴长文本时的几个实用技巧:

  • 清晰标记各部分:“第 1 部分,共 4 部分”、“文本 A”、“文本 B”。
  • 剔除无用内容,如页眉、页脚、脚注或冗长的参考文献列表,让宝贵的窗口空间全部留给正文。
  • 在正文前说明需要重点关注的内容,并在正文后再次强调。
高频重复的指令推荐使用智能助手。 如果你每次聊天的开场白都一样(比如写作风格、职业背景或目标受众),可以在智能助手中配置专属指令。这些设定会随该对话的每条消息自动发送,永远不会像早期消息那样被挤出视野。

Token、“思考”与生成速度

当你点击思考按钮时,GPT-6.1 Terra 在动笔之前会花一点时间进行推理。推理过程也会消耗 Token,但这些思考过程对你不可见,也不会扣除你的消息额度;你只会注意到片刻的停顿,界面上会显示“思考用时”若干秒。默认的 GPT-6 Luna 会跳过此步骤,因此回答速度更快。无论选哪个,都不会改变模型能够看到的上下文长度。如果你想了解两者在实际使用中的差异,可以参阅 Luna 与 Terra 对比以及 GPT 版本概览。

常见问题

长消息会消耗更多免费额度吗?

不会。无论单条消息长短,都只计为一次使用。如果单条消息严重超长,会被直接拒绝而非扣费;过长的对话则会按上述机制自动裁剪。有关每日限额的详情,请参阅常见问题。

模型能在不同对话之间记住我吗?

不能。每个新对话都是一张白纸,不同对话之间互不相通。你的历史记录仅保存在本地浏览器中,供你随时重温,但模型每次只能看到当前这一个对话。

为什么模型有时会无视我开头提的要求?

原因通常有两个:要么该要求已经被挤出了模型当前的可见窗口,要么后文的某句话覆盖了早先的指示。只需在当前提问中重新强调一遍该要求即可。

其他语言中一个 Token 相当于多少字词?

情况各不相同。英文的压缩效率相对较高,而许多其他语言在表达相同文本时需要更多的 Token。这对你在我们网站上的正常使用没有太大影响,只是在极长对话中,非英文内容被裁剪的时间可能会稍早一些。

上下文窗口是不是越大越好?

未必。即使窗口极其庞大,模型处理条理清晰、紧扣主题的文本,效果也远好于在一大堆杂乱内容中寻章摘句。精简、清晰的上下文,通常比冗长、混乱的背景材料能带来更出色的回答质量。

即刻提问,马上为你解答

无需注册账号,无需绑定银行卡,无需下载任何内容。输入你想了解的内容,一两秒内就会开始显示回答。

开始聊天