눈에 보이지 않는 특별한 토큰
Coddy AI Prompts 여정의 기초 섹션에 포함된 레슨 — 23개 중 12번째.
사용자의 텍스트와 시스템 프롬프트 외에도, AI는 대화의 구조를 형성하는 보이지 않는 마커인 특수 토큰을 사용합니다. 이들은 <|user|>, <|assistant|>, 또는 <|end|>와 같은 형태를 띠지만, 정확한 형식은 모델마다 다릅니다.
이 토큰들은 각 메시지가 어디서 시작하고 끝나는지, 그리고 누가 말하고 있는지를 표시합니다. 이 토큰들이 없다면 모델은 누구의 차례인지 알 수 없을 것입니다. 사용자가 직접 입력하거나 볼 수는 없지만, 컨텍스트 창(context window)에서 공간을 차지합니다.
이것이 빈 대화조차도 0 토큰이 아닌 이유이며, 토큰 수가 때때로 예상보다 약간 더 높게 나타나는 이유입니다. 긴 대화가 오가는 과정에서 이러한 마커들이 누적되며, 각 메시지 경계마다 고유한 마커 세트가 필요합니다.
특별 토큰을 직접 관리할 필요는 없습니다. 하지만 이들이 존재한다는 것을 아는 것은 그 "추가" 토큰들이 어디에서 오는지 설명하는 데 도움이 됩니다.
치트 시트
AI 대화는 특별 토큰(special tokens)을 사용합니다. 이는 <|user|>, <|assistant|>, 또는 <|end|>와 같이 대화의 구조를 형성하는 보이지 않는 마커입니다.
이 토큰들은 메시지 경계를 표시하고 화자를 식별합니다. 이들은 컨텍스트 창(context window)의 공간을 차지하며, 그 이유는 다음과 같습니다:
- 빈 대화라도 토큰 수가 0이 아닙니다.
- 토큰 수가 예상보다 많아 보일 수 있습니다.
- 긴 대화는 메시지 경계로 인한 오버헤드가 누적됩니다.
특별 토큰을 직접 관리하지는 않지만, 이를 이해하면 "추가" 토큰이 어디에서 발생하는지 알 수 있습니다.
직접 해보기
이 레슨에는 코드 챌린지가 없습니다.
실력 점검이 레슨에는 짧은 퀴즈가 포함되어 있습니다. 레슨을 시작해 문제를 풀고 진행 상황을 기록하세요.