토큰 수가 중요한 이유
Coddy AI Prompts 여정의 기초 섹션에 포함된 레슨. 23개 중 9번째.
토큰이 중요한 세 가지 이유
비용. AI 서비스는 토큰 단위로 요금을 부과하며, 출력 토큰은 입력 토큰보다 비용이 더 많이 듭니다. 긴 응답을 생성하는 수다스러운 프롬프트는 간결한 프롬프트보다 비용이 더 많이 듭니다.
속도. AI는 한 번에 토큰 하나씩 출력을 생성합니다. 응답이 짧을수록 더 빠르게 돌아옵니다.
컨텍스트 제한. 모든 모델은 대화당 최대 토큰 용량(컨텍스트 창)이 있습니다. 프롬프트가 길면 응답에 사용할 수 있는 공간이 줄어듭니다.
이것이 효율성이 중요한 이유입니다. "프랑스의 수도가 어디인지 아주 자세히 설명해 주시겠어요?" (~20 tokens)도 "프랑스의 수도는 어디인가요?" (~7 tokens)와 같은 답을 얻지만, 비용은 더 낮고 속도는 더 빠릅니다.
참고로 GPT-4o는 입력/출력 토큰 100만 개당 약 $2.50/$10의 비용이 들고, Claude Sonnet은 $3/$15입니다. 토큰 100만 개는 대략 75만 단어에 해당하므로, 가볍게 사용하더라도 비용이 쌓입니다.
직접 해보기
이 레슨에는 코드 챌린지가 없습니다.
이 레슨에는 짧은 퀴즈가 포함되어 있습니다. 레슨을 시작해 문제를 풀고 진행 상황을 기록하세요.