Menu
CoddyTech

다른 언어의 토큰

Coddy AI Prompts 여정의 기초 섹션에 포함된 레슨. 23개 중 11번째.

대부분의 AI 모델은 주로 영어 텍스트를 학습했습니다. 이로 인해 놀라운 결과가 나타납니다. 영어가 아닌 언어는 같은 의미를 표현하는 데 토큰을 더 많이 사용하는 경우가 많습니다.

영어에서 hello라는 단어는 일반적으로 하나의 토큰입니다. 하지만 다른 언어의 이에 해당하는 단어는 다르게 분리될 수 있습니다.

언어단어대략적인 토큰 수
영어hello1
스페인어hola2
일본어こんにちは1
아랍어مرحبا3-5
러시아어привет3-4

こんにちは처럼 매우 흔한 단어도 하나의 토큰일 수 있습니다. 토크나이저를 만드는 데 사용된 텍스트에 자주 등장했기 때문입니다.

중국어, 일본어, 한국어, 아랍어 또는 힌디어처럼 라틴 문자가 아닌 문자 체계를 사용하는 언어는 토큰을 훨씬 더 많이 사용하는 경향이 있습니다. 영어로 토큰 10개가 필요한 문장이 일본어에서는 토큰 20개 또는 30개가 필요할 수도 있습니다.

이는 실용적인 이유로 중요합니다. 영어가 아닌 언어로 작업한다면 컨텍스트 창의 한계에 더 빨리 도달하고, 응답 비용이 더 많이 들 수 있으며, 생성에 시간이 약간 더 걸릴 수도 있습니다. 토큰을 더 많이 사용한다고 해서 AI가 특정 언어를 더 못하게 되는 것은 아니지만, 영어 텍스트 위주로 학습된 모델은 학습 데이터에서 덜 흔했던 언어로는 답변의 질이 낮은 경우가 많습니다.

직접 해보기

이 레슨에는 코드 챌린지가 없습니다.

quiz icon실력 점검

이 레슨에는 짧은 퀴즈가 포함되어 있습니다. 레슨을 시작해 문제를 풀고 진행 상황을 기록하세요.

기초의 모든 레슨