눈에 보이지 않는 특별한 토큰
Coddy AI Prompts 여정의 기초 섹션에 포함된 레슨 — 23개 중 12번째.
사용자의 텍스트와 시스템 프롬프트 외에도, AI는 대화의 구조를 형성하는 보이지 않는 마커인 특수 토큰을 사용합니다. 이들은 <|user|>, <|assistant|>, 또는 <|end|>와 같은 형태를 띠지만, 정확한 형식은 모델마다 다릅니다.
이 토큰들은 각 메시지가 어디서 시작하고 끝나는지, 그리고 누가 말하고 있는지를 표시합니다. 이 토큰들이 없다면 모델은 누구의 차례인지 알 수 없을 것입니다. 사용자가 직접 입력하거나 볼 수는 없지만, 컨텍스트 창(context window)에서 공간을 차지합니다.
이것이 빈 대화조차도 0 토큰이 아닌 이유이며, 토큰 수가 때때로 예상보다 약간 더 높게 나타나는 이유입니다. 긴 대화가 오가는 과정에서 이러한 마커들이 누적되며, 각 메시지 경계마다 고유한 마커 세트가 필요합니다.
특별 토큰을 직접 관리할 필요는 없습니다. 하지만 이들이 존재한다는 것을 아는 것은 그 "추가" 토큰들이 어디에서 오는지 설명하는 데 도움이 됩니다.
직접 해보기
이 레슨에는 코드 챌린지가 없습니다.
실력 점검이 레슨에는 짧은 퀴즈가 포함되어 있습니다. 레슨을 시작해 문제를 풀고 진행 상황을 기록하세요.