Hướng dẫn
Token và ngữ cảnh: GPT có thể ghi nhớ bao nhiêu?
Các mô hình đọc văn bản dưới dạng các mẩu nhỏ gọi là token và chỉ xử lý được một lượng nhất định cùng lúc. Hiểu điều này giúp bạn biết vì sao chat dài hay bị lệch hướng và vì sao mở chat mới tóm tắt lại hiệu quả hơn.

Nếu bạn từng có một cuộc trò chuyện AI kéo dài mà mô hình đột nhiên quên mất chi tiết bạn đã cung cấp ngay từ đầu, bạn vừa chạm phải giới hạn ngữ cảnh. Đây không phải là lỗi và cũng không phải do mô hình bất cẩn. Các mô hình ngôn ngữ đọc văn bản theo từng mẩu nhỏ gọi là token, và mỗi lần trả lời, chúng chỉ có thể xem xét một lượng thông tin nhất định trong cuộc hội thoại. Khi bạn hiểu về token và ngữ cảnh, nhiều hành vi kỳ lạ sẽ trở nên dễ hiểu, đồng thời một vài thói quen đơn giản sẽ giúp các cuộc trò chuyện dài trên GBT Chat luôn chính xác.
Token là gì?
Token là một mẩu văn bản: đôi khi là một từ ngắn hoàn chỉnh, đôi khi là một phần của từ dài hơn, một dấu câu hoặc một khoảng trắng kèm vài chữ cái. "Cat" là một token. "Unbelievably" có thể bị chia thành nhiều token. Số, mã code và các tên gọi khác thường có xu hướng bị phân tách thành nhiều mẩu hơn so với các từ thông thường.
Theo ước tính của OpenAI đối với tiếng Anh, một token tương đương khoảng 3/4 từ, nghĩa là 100 token tương đương khoảng 75 từ. Các ngôn ngữ khác thường cần nhiều token hơn để biểu đạt cùng một ý nghĩa, đặc biệt là các ngôn ngữ có từ ghép dài hoặc không dùng chữ Latinh. Bạn không bao giờ phải tự đếm token khi dùng chat của chúng tôi, nhưng khái niệm này giải thích lý do tại sao độ dài lại quan trọng.
Tại sao lại là các mẩu nhỏ thay vì từng chữ cái hay nguyên cả từ? Xử lý theo từng chữ cái sẽ khiến văn bản trở nên quá dài; còn xử lý theo cả từ lại đòi hỏi vốn từ vựng lớn đến mức bất khả thi để bao quát mọi cái tên, lỗi chính tả và ngôn ngữ. Token nằm ở điểm cân bằng giữa hai cách này, đó là lý do mọi mô hình GPT hiện đại đều hoạt động dựa trên chúng.
Cửa sổ ngữ cảnh là gì?
Cửa sổ ngữ cảnh là lượng văn bản mà mô hình có thể tiếp nhận cùng lúc khi viết câu trả lời. Nó bao gồm mọi thứ được hiển thị cho mô hình: chỉ dẫn do trang web đưa ra, các tin nhắn trước đó trong cuộc trò chuyện, tin nhắn mới của bạn và cả câu trả lời mà nó đang viết. Hãy coi đó như chiếc bàn làm việc của mô hình. Bất cứ thứ gì nằm trên bàn đều có thể sử dụng; thứ gì không vừa chỗ đơn giản là không tồn tại ở đó.
Bản thân mô hình không có bất kỳ bộ nhớ nào khác về cuộc trò chuyện của bạn. Mỗi khi bạn gửi một tin nhắn, hệ thống chat sẽ gửi lại phần liên quan của cuộc hội thoại và mô hình sẽ đọc lại từ đầu. Đó là lý do tại sao nó "nhớ" được các tin nhắn trước trong cùng một đoạn chat, và hoàn toàn không biết gì về những cuộc trò chuyện khác của bạn.
Cửa sổ ngữ cảnh lớn đến mức nào và hệ thống chat gửi những gì?
Tài liệu của OpenAI ghi nhận cửa sổ ngữ cảnh rất lớn cho các mô hình GPT-6 mà chúng tôi sử dụng, vào khoảng 1,05 triệu token. Việc gửi một lượng ngữ cảnh khổng lồ như vậy trong mỗi tin nhắn sẽ rất chậm và tốn kém, trong khi một trang web miễn phí cần giữ cho mỗi yêu cầu ở mức gọn nhẹ. Vì vậy, GBT Chat chỉ gửi cho mô hình phần gần đây nhất của cuộc hội thoại, tương đương vài trang văn bản cuối cùng, cộng với tin nhắn mới của bạn. Với các cuộc trò chuyện hàng ngày, bạn sẽ không nhận thấy sự khác biệt. Trong một phiên chat kéo dài, những tin nhắn đầu tiên sẽ dần biến mất khỏi tầm nhìn.
Ở chiều ngược lại cũng có giới hạn tương tự: các câu trả lời đều có độ dài tối đa. Nếu một câu trả lời quá dài bị dừng lại giữa chừng, bạn chỉ cần gõ "tiếp tục" và mô hình sẽ viết tiếp phần còn dang dở.
Hình ảnh cũng được tính. Khi bạn đính kèm ảnh bằng nút +, ảnh sẽ được gửi cùng tin nhắn đó và chiếm một phần của cửa sổ ngữ cảnh. Chỉ có hai hình ảnh gần đây nhất trong cuộc trò chuyện được gửi kèm; những ảnh cũ hơn sẽ được thay thế bằng một ghi chú ngắn cho biết từng có ảnh ở đó. Nếu muốn hỏi lại về một bức ảnh trước đó, bạn hãy đính kèm lại.
Tại sao các cuộc trò chuyện dài bị lệch hướng?
Có ba điều sẽ xảy ra khi cuộc hội thoại ngày càng dài:
- Các chi tiết ban đầu bị bỏ quên. Mức ngân sách bạn nhắc đến ở tin nhắn thứ hai có thể không còn nằm trên bàn làm việc khi đến tin nhắn thứ ba mươi.
- Chỉ dẫn cũ và mới mâu thuẫn nhau. Nếu lúc đầu bạn yêu cầu "trang trọng" nhưng sau đó lại đổi thành "thân mật", mô hình sẽ phải đoán xem yêu cầu nào vẫn còn hiệu lực.
- Sai sót tích tụ dần. Một lỗi mà mô hình mắc phải trước đó, nếu bạn không sửa, sẽ tiếp tục lưu lại trong cuộc trò chuyện và có thể ảnh hưởng đến các câu trả lời sau.
Cách khắc phục không phải là tránh trò chuyện dài mà là biết cách quản lý chúng. Những thói quen dưới đây sẽ giúp giữ các thông tin quan trọng luôn nằm trong tầm mắt của mô hình.
Thói quen giúp cuộc trò chuyện dài luôn đi đúng hướng
Chưa tối ưu: (tin nhắn 40) Giờ hãy viết bản cuối cùng. Tốt hơn: Hãy viết bản cuối cùng của thư xin việc. Lưu ý: vị trí là chuyên viên phân tích dữ liệu sơ cấp tại bệnh viện, tối đa 250 từ, nhắc đến khóa học SQL và hoạt động tình nguyện của tôi, giọng văn thân thiện nhưng chuyên nghiệp.
Cách viết tốt hơn là nhắc lại các dữ kiện chính thay vì tin rằng chúng vẫn còn hiển thị. Việc này chỉ tốn thêm vài dòng nhưng loại bỏ được sự phỏng đoán. Các thói quen khác:
- Tóm tắt rồi bắt đầu lại. Hãy yêu cầu "Tóm tắt mọi điều chúng ta đã thống nhất từ đầu đến giờ bằng các gạch đầu dòng," sau đó mở đoạn chat mới và dán phần tóm tắt đó vào tin nhắn đầu tiên. Mở mẫu câu nhắc tóm tắt và áp dụng vào bất kỳ cuộc trò chuyện dài nào.
- Mỗi cuộc trò chuyện một chủ đề. Một chủ đề mới xứng đáng có một đoạn chat mới. Đổi tên các đoạn chat trong thanh điều hướng để bạn dễ dàng tìm lại sau này.
- Sửa lỗi ngay khi thấy. Sử dụng tính năng Chỉnh sửa trên tin nhắn của bạn để khắc phục hiểu lầm ngay từ gốc, thay vì để mặc nó trong lịch sử trò chuyện.
- Đặt nội dung dài ở gần cuối. Khi dán một đoạn văn bản dài, hãy thêm chỉ dẫn của bạn vào ngay sau đó để yêu cầu được ghi nhận mới nhất.
Làm việc với văn bản dài
Một tin nhắn đơn lẻ có thể chứa được vài trang văn bản; việc dán nội dung dài hơn nhiều sẽ bị từ chối do quá giới hạn. Vì vậy, hãy chia nhỏ các tài liệu lớn. Gửi từng phần một và yêu cầu tóm tắt ngắn gọn từng phần, sau đó tập hợp các bản tóm tắt vào một đoạn chat mới để tiếp tục xử lý. Cách này chậm hơn việc dán toàn bộ một lần, nhưng từng phần sẽ nhận được sự tập trung tối đa của mô hình. Công cụ tóm tắt rất tiện cho bước xử lý từng phần, và hướng dẫn đọc và nghiên cứu của chúng tôi có sẵn các câu nhắc cho các bước tiếp theo.
Một vài mẹo khi dán nội dung:
- Ghi nhãn rõ ràng các phần: "PHẦN 1 trên 4", "VĂN BẢN A", "VĂN BẢN B".
- Xóa bỏ những phần không cần thiết như tiêu đề trang, chú thích cuối trang hoặc danh mục tài liệu tham khảo dài, để dành nhiều chỗ trống hơn trong cửa sổ cho nội dung chính.
- Cho mô hình biết cần tìm kiếm điều gì trước văn bản, và nhắc lại điều đó ở phía sau.
Token, nút Suy nghĩ và tốc độ
Khi bạn nhấn nút Suy nghĩ, GPT-6.1 Terra sẽ dành một chút thời gian để lập luận trước khi viết. Quá trình lập luận này cũng sử dụng token, nhưng bạn sẽ không thấy nội dung đó và nó không tính vào tin nhắn của bạn; bạn chỉ nhận thấy một khoảng dừng ngắn, hiển thị là "Đã suy nghĩ trong" một số giây. Mô hình mặc định GPT-6 Luna bỏ qua bước này, đó là lý do nó phản hồi nhanh hơn. Cả hai lựa chọn đều không làm thay đổi lượng nội dung cuộc trò chuyện mà mô hình có thể thấy. Nếu bạn tò mò về sự khác biệt thực tế giữa hai mô hình, bài so sánh Luna và Terra cùng bài tổng quan các phiên bản GPT sẽ giải thích rõ hơn.
Câu hỏi thường gặp
Tin nhắn dài hơn có tốn nhiều lượt dùng miễn phí hơn không?
Không. Mỗi tin nhắn chỉ tính là một lượt, bất kể độ dài bao nhiêu. Tin nhắn quá dài sẽ bị từ chối thay vì bị trừ lượt, và các cuộc trò chuyện dài sẽ được cắt gọn như đã giải thích ở trên. Trang FAQ có thông tin chi tiết về giới hạn hàng ngày.
Mô hình có nhớ tôi giữa các cuộc trò chuyện khác nhau không?
Không. Mỗi cuộc trò chuyện đều bắt đầu lại từ đầu và không có bộ nhớ liên kết giữa các đoạn chat. Lịch sử chỉ được lưu trong trình duyệt của bạn để bạn có thể mở lại các đoạn chat cũ, nhưng mô hình chỉ nhìn thấy đoạn chat hiện tại mà bạn đang mở.
Tại sao đôi khi cuộc trò chuyện bỏ qua chỉ dẫn tôi đã đưa ra từ đầu?
Có thể do chỉ dẫn đã trôi ra khỏi phần nội dung mà mô hình nhìn thấy, hoặc một tin nhắn sau đó vô tình phủ định chỉ dẫn cũ. Hãy nhắc lại chỉ dẫn đó trong tin nhắn hiện tại của bạn.
Một token tương đương bao nhiêu từ trong các ngôn ngữ khác?
Tùy từng ngôn ngữ. Tiếng Anh thuộc nhóm tối ưu nhất; nhiều ngôn ngữ khác cần nhiều token hơn cho cùng một lượng văn bản. Điều này không ảnh hưởng đến trải nghiệm của bạn trong hệ thống chat, ngoại trừ việc các cuộc trò chuyện dài có thể bị cắt ngắn sớm hơn một chút.
Cửa sổ ngữ cảnh càng lớn thì càng tốt có phải không?
Không hẳn. Ngay cả với cửa sổ ngữ cảnh khổng lồ, các mô hình vẫn tập trung tốt hơn vào văn bản rõ ràng, đúng trọng tâm thay vì một mớ hỗn độn dài dòng. Một ngữ cảnh ngắn gọn, được sắp xếp mạch lạc thường mang lại câu trả lời tốt hơn so với một ngữ cảnh dài nhưng lộn xộn.
Đọc tiếp
Giải đáp thắc mắc của bạn ngay
Không cần tài khoản, không cần thẻ, không cần cài đặt. Nhập điều bạn muốn biết và câu trả lời sẽ xuất hiện chỉ sau vài giây.