눈에 보이지 않는 특별한 토큰

텍스트와 시스템 프롬프트 외에도 AI는 대화를 구조화하는 특수 토큰, 즉 보이지 않는 마커를 사용합니다. 이러한 토큰은 <|user|>, <|assistant|> 또는 <|end|>와 비슷한 형태이지만, 정확한 형식은 모델마다 다릅니다.

이 토큰은 각 메시지가 시작하고 끝나는 위치와 누가 말하고 있는지를 표시합니다. 이 토큰이 없으면 모델은 누구의 차례인지 알 수 없습니다. 이 토큰을 직접 입력하지도 않고 볼 수도 없지만, 컨텍스트 창의 공간을 차지합니다.

이것이 빈 대화조차 토큰 수가 0이 아닌 이유이며, 토큰 수가 때때로 예상보다 약간 더 높아 보이는 이유입니다. 긴 주고받기 대화에서는 이러한 마커가 누적됩니다. 각 메시지 경계마다 자체적인 세트가 필요하기 때문입니다.

특수 토큰을 직접 관리할 필요는 없습니다. 하지만 특수 토큰이 존재한다는 것을 알면 이러한 "추가" 토큰이 어디에서 오는지 이해하는 데 도움이 됩니다.