본문으로 건너뛰기

가이드

토큰과 컨텍스트: GPT는 얼마나 많은 내용을 기억할까?

AI 모델은 텍스트를 '토큰'이라는 작은 단위로 나누어 읽으며, 한 번에 처리할 수 있는 양에는 한계가 있습니다. 이 구조를 이해하면 대화가 길어질 때 엉뚱한 답이 나오는 이유와, 짧은 요약과 함께 새 창을 여는 편이 왜 더 나은지 쉽게 알 수 있어요.

7분 분량업데이트됨

AI와 긴 대화를 나누다가 처음에 알려준 내용을 모델이 갑자기 잊어버린 적이 있다면, 바로 컨텍스트 한도에 도달한 것입니다. 이는 버그도 아니고 모델이 부주의해서 그런 것도 아닙니다. 언어 모델은 텍스트를 '토큰'이라는 작은 단위로 나누어 읽으며, 답변할 때마다 고려할 수 있는 대화의 양에 한계가 정해져 있습니다. 토큰과 컨텍스트의 개념을 이해하면 이런 이상한 동작이 이해되고, 몇 가지 간단한 습관만으로도 GBT Chat에서 긴 대화를 정확하게 유지할 수 있습니다.

토큰이란 무엇인가요?

토큰은 텍스트의 조각입니다. 짧은 단어 하나 전체일 수도 있고, 긴 단어의 일부나 구두점, 공백과 글자 몇 개가 합쳐진 형태일 수도 있습니다. 영어 단어 "Cat"은 토큰 하나입니다. "Unbelievably"는 여러 조각으로 나뉠 수 있습니다. 숫자, 코드, 특이한 이름은 일반 단어보다 더 많은 조각으로 쪼개지는 편입니다.

OpenAI 기준에 따르면 영어의 경우 1토큰은 대략 0.75단어로, 100토큰은 약 75단어에 해당합니다. 다른 언어, 특히 복합어가 길거나 비라틴 문자를 사용하는 언어는 같은 의미라도 더 많은 토큰이 필요한 경우가 많습니다. 저희 채팅에서 토큰을 직접 셀 필요는 전혀 없지만, 이 개념을 알면 텍스트 길이가 왜 중요한지 쉽게 이해할 수 있습니다.

왜 글자나 온전한 단어 대신 조각을 쓸까요? 글자 단위로 처리하면 텍스트가 너무 길어지고, 단어 단위로 처리하면 모든 고유명사, 오타, 다국어를 담기 위해 불가능할 정도로 방대한 어휘 사전이 필요하기 때문입니다. 토큰은 그 중간에 위치하며, 모든 최신 GPT 모델이 토큰 방식으로 작동하는 이유이기도 합니다.

컨텍스트 윈도우란 무엇인가요?

컨텍스트 윈도우는 모델이 답변을 작성할 때 한 번에 참고할 수 있는 텍스트의 양입니다. 여기에는 사이트에서 제공하는 지침, 채팅의 이전 메시지, 새로 입력한 메시지, 작성 중인 답변까지 모델에게 주어지는 모든 내용이 포함됩니다. 모델의 '책상'이라고 생각하시면 편합니다. 책상 위에 놓인 것은 무엇이든 활용할 수 있지만, 책상에 다 올라가지 않는 내용은 아예 존재하지 않는 것이나 마찬가지입니다.

모델 자체는 여러분과의 대화를 따로 기억하지 않습니다. 메시지를 보낼 때마다 채팅 시스템이 대화의 관련 부분을 다시 전송하고, 모델은 이를 처음부터 새롭게 읽습니다. 같은 채팅 내에서 이전 메시지를 "기억"하는 것처럼 보이고, 다른 채팅에 대해서는 전혀 알지 못하는 이유가 바로 여기에 있습니다.

컨텍스트 윈도우의 크기와 전달되는 내용

OpenAI 문서에 따르면 저희가 사용하는 GPT-6 모델의 컨텍스트 윈도우는 약 105만 토큰으로 매우 큽니다. 하지만 메시지를 보낼 때마다 이 크기의 윈도우 전체를 전송하면 속도가 느려지고 비용도 많이 들기 때문에, 무료 사이트에서는 각 요청을 작게 유지해야 합니다. 따라서 GBT Chat은 대화의 가장 최근 부분(대략 텍스트 몇 페이지 분량)과 새로 입력한 메시지만 모델에 전달합니다. 일상적인 대화에서는 전혀 차이를 느끼지 못하지만, 대화가 길어지면 가장 오래된 메시지부터 점차 시야에서 벗어나게 됩니다.

반대쪽에도 비슷한 제한이 있습니다. 답변에도 최대 길이가 정해져 있습니다. 매우 긴 답변이 중간에 끊기면 "계속"이라고 입력해 보세요. 모델이 멈춘 부분부터 이어서 작성해 줍니다.

이미지도 용량을 차지합니다. + 버튼으로 사진을 첨부하면 해당 메시지와 함께 전송되어 윈도우의 일부를 사용합니다. 한 채팅에서는 가장 최근 이미지 2장만 함께 전송되며, 더 오래된 이미지는 사진이 있었다는 간단한 메모로 대체됩니다. 이전 사진에 대해 다시 묻고 싶다면 사진을 다시 첨부해 주세요.

긴 대화에서 맥락이 흐려지는 이유

대화가 길어질수록 다음과 같은 세 가지 현상이 발생합니다.

  • 초반 세부 정보가 사라집니다. 두 번째 메시지에서 언급한 예산이 서른 번째 메시지쯤 오면 책상 위에서 이미 사라졌을 수 있습니다.
  • 이전 지침과 새로운 지침이 충돌합니다. 처음에 "격식 있게"라고 했다가 나중에 "편하게"라고 말하면, 모델은 어느 쪽을 적용해야 할지 추측해야 합니다.
  • 실수가 쌓입니다. 모델이 이전에 저지른 오류를 바로잡지 않으면 대화 내용에 그대로 남아 이후 답변에 영향을 줄 수 있습니다.

해결책은 긴 대화를 피하는 것이 아니라 잘 관리하는 것입니다. 아래의 습관을 들이면 중요한 정보를 모델의 시야 안에 계속 머물게 할 수 있습니다.

긴 대화의 방향을 잘 유지하는 습관

아쉬운 예:
(40번째 메시지) 이제 최종 버전 작성해 줘.

더 좋은 예:
자기소개서 최종 버전을 작성해 줘. 참고 사항: 지원 직무는
병원 주니어 데이터 분석가, 최대 250단어, 내 SQL 강의 수강과
봉사활동 경험 언급, 친근하면서도 전문적인 어조 유지.

더 좋은 예는 정보가 아직 보일 것이라고 막연히 믿는 대신 핵심 내용을 다시 언급합니다. 몇 줄만 더 적어주면 모델이 짐작으로 답할 필요가 사라집니다. 유용한 다른 습관들도 확인해 보세요.

  • 요약하고 새로 시작하기. "지금까지 합의한 내용을 글머리 기호로 요약해 줘"라고 요청한 다음, 새 채팅을 열어 그 요약을 첫 메시지로 붙여넣어 보세요. 요약 프롬프트 열기를 사용해 긴 대화에서 활용해 보세요.
  • 한 채팅당 하나의 주제만 다루기. 새로운 주제는 새 채팅에서 시작하는 것이 좋습니다. 나중에 쉽게 찾을 수 있도록 서랍 메뉴에서 채팅 이름을 변경해 두세요.
  • 실수가 보이면 바로 수정하기. 대화 기록에 잘못된 내용을 남겨두기보다 내 메시지의 수정 기능을 사용해 오해의 원인을 바로잡으세요.
  • 긴 자료는 메시지 끝부분에 배치하기. 긴 텍스트를 붙여넣을 때는 텍스트 뒤에도 지시사항을 한 번 더 덧붙여 요청을 명확하게 인지시켜 주세요.

긴 텍스트 작업하기

한 번의 메시지에는 몇 페이지 분량의 텍스트를 담을 수 있지만, 너무 긴 내용을 붙여넣으면 제한을 초과해 거부됩니다. 따라서 분량이 큰 문서는 나누어 보내는 것이 좋습니다. 한 번에 한 섹션씩 보내 짧은 요약을 요청한 다음, 새 채팅에 그 요약들을 모아 작업을 이어가세요. 한 번에 전부 붙여넣는 것보다 시간은 더 걸리지만, 모델이 모든 부분에 집중할 수 있습니다. 섹션별 작업에는 요약 도구가 유용하며, 그 외의 작업은 독서 및 자료 조사 가이드의 프롬프트를 참고해 보세요.

텍스트를 붙여넣을 때 유용한 팁입니다.

  • 각 부분을 "1/4부", "텍스트 A", "텍스트 B"처럼 명확하게 구분해 주세요.
  • 페이지 머리글, 각주, 긴 참고문헌 목록 등 불필요한 부분을 지우면 본문에 더 많은 윈도우 용량을 할애할 수 있습니다.
  • 텍스트를 넣기 전에 모델이 무엇을 찾아야 하는지 알려주고, 텍스트가 끝난 뒤에도 한 번 더 반복해 주세요.
자주 반복하는 지침에는 어시스턴트를 활용하세요. 작성 스타일, 직업, 독자층처럼 매번 똑같은 설정으로 채팅을 시작한다면 어시스턴트에서 해당 지침을 담은 나만의 어시스턴트를 만들어 보세요. 해당 채팅의 모든 메시지에 지침이 자동으로 포함되므로, 초반 메시지처럼 시야 밖으로 밀려날 염려가 없습니다.

토큰, Think 기능과 속도

Think 버튼을 누르면 GPT-6.1 Terra가 답변을 작성하기 전에 잠시 추론 과정을 거칩니다. 이 추론 과정에서도 토큰이 사용되지만 화면에는 보이지 않으며 메시지 한도에도 영향을 주지 않습니다. 단지 "Thought for 몇 초"라는 짧은 대기 시간만 표시될 뿐입니다. 기본 모델인 GPT-6 Luna는 이 단계를 건너뛰기 때문에 답변 속도가 더 빠릅니다. 어느 쪽을 선택하든 모델이 볼 수 있는 대화량은 달라지지 않습니다. 두 모델의 실제 차이가 궁금하다면 Luna와 Terra 비교 및 GPT 버전 개요를 확인해 보세요.

자주 묻는 질문 (FAQ)

메시지가 길면 무료 사용 한도가 더 많이 차감되나요?

아닙니다. 메시지 길이에 관계없이 전송당 1회로 계산됩니다. 한 메시지가 지나치게 길면 전송이 거부되며, 긴 대화는 앞서 설명한 대로 잘려 처리됩니다. 일일 한도에 대한 자세한 내용은 FAQ를 참고해 주세요.

모델이 다른 채팅에서도 저를 기억하나요?

아닙니다. 각 채팅은 비어 있는 상태로 시작하며, 채팅 간에는 기억이 공유되지 않습니다. 대화 기록은 브라우저에만 저장되므로 이전 채팅을 다시 열어볼 수는 있지만, 모델은 현재 진행 중인 채팅 내용만 볼 수 있습니다.

처음에 내린 지시를 채팅창이 가끔 무시하는 이유는 무엇인가요?

지시사항이 모델이 볼 수 있는 대화 범위 밖으로 밀려났거나, 이후의 메시지가 이전 지시를 덮어쓴 것으로 인식되었기 때문입니다. 현재 작성하는 메시지에 지시사항을 다시 적어주세요.

다른 언어에서는 1토큰이 몇 단어인가요?

언어마다 다릅니다. 영어는 효율이 가장 높은 편에 속하며, 다른 많은 언어는 동일한 텍스트라도 더 많은 토큰이 필요합니다. 긴 대화가 조금 더 일찍 잘릴 수 있다는 점을 제외하면, 저희 채팅에서 작업하는 데 큰 지장은 없습니다.

컨텍스트 윈도우는 무조건 클수록 좋은가요?

꼭 그렇지는 않습니다. 윈도우가 아무리 커도 모델은 장황하게 쌓인 정보보다 명확하고 관련성 높은 텍스트에 더 집중합니다. 짧고 잘 정리된 컨텍스트가 길고 어수선한 컨텍스트보다 일반적으로 더 나은 답변을 제공합니다.

궁금한 점을 바로 물어보세요

가입도, 카드 등록도, 설치도 필요 없습니다. 알고 싶은 내용을 입력하면 1~2초 만에 답변이 시작됩니다.

채팅 시작하기