토큰 수가 중요한 이유

토큰은 세 가지 이유로 중요합니다

비용. AI 서비스는 토큰당 요금을 부과하며, 출력 토큰은 입력 토큰보다 비용이 더 많이 듭니다. 긴 응답을 생성하는 장황한 프롬프트는 간결한 프롬프트보다 비용이 더 많이 듭니다.

속도. AI는 한 번에 하나의 토큰씩 출력을 생성합니다. 응답이 짧을수록 더 빠르게 돌아옵니다.

컨텍스트 제한. 모든 모델에는 대화당 최대 토큰 용량(컨텍스트 창)이 있습니다. 긴 프롬프트는 응답에 사용할 수 있는 공간을 줄입니다.

이것이 효율성이 중요한 이유입니다. "Can 당신은 please 저를 help 통해 explaining 매우 자세히 what the capital 도시 of France is인지 설명해 줄 수 있나요?" (~20 토큰)는 "What은 France의 capital은 무엇인가요?" (~7 토큰)와 동일한 답변을 더 낮은 비용과 더 빠른 속도로 얻습니다.

참고로 GPT-4o의 비용은 입력/출력 토큰 100만 개당 약 $2.50/$10이며, Claude Sonnet은 $3/$15입니다. 토큰 100만 개는 대략 750,000단어에 해당하므로, 가볍게 사용하더라도 비용이 누적됩니다.