다른 언어의 토큰
Coddy AI Prompts 여정의 기초 섹션에 포함된 레슨. 23개 중 11번째.
대부분의 AI 모델은 주로 영어 텍스트를 학습했습니다. 이로 인해 놀라운 결과가 나타납니다. 영어가 아닌 언어는 같은 의미를 표현하는 데 토큰을 더 많이 사용하는 경우가 많습니다.
영어에서 hello라는 단어는 일반적으로 하나의 토큰입니다. 하지만 다른 언어의 이에 해당하는 단어는 다르게 분리될 수 있습니다.
| 언어 | 단어 | 대략적인 토큰 수 |
|---|---|---|
| 영어 | hello | 1 |
| 스페인어 | hola | 2 |
| 일본어 | こんにちは | 1 |
| 아랍어 | مرحبا | 3-5 |
| 러시아어 | привет | 3-4 |
こんにちは처럼 매우 흔한 단어도 하나의 토큰일 수 있습니다. 토크나이저를 만드는 데 사용된 텍스트에 자주 등장했기 때문입니다.
중국어, 일본어, 한국어, 아랍어 또는 힌디어처럼 라틴 문자가 아닌 문자 체계를 사용하는 언어는 토큰을 훨씬 더 많이 사용하는 경향이 있습니다. 영어로 토큰 10개가 필요한 문장이 일본어에서는 토큰 20개 또는 30개가 필요할 수도 있습니다.
이는 실용적인 이유로 중요합니다. 영어가 아닌 언어로 작업한다면 컨텍스트 창의 한계에 더 빨리 도달하고, 응답 비용이 더 많이 들 수 있으며, 생성에 시간이 약간 더 걸릴 수도 있습니다. 토큰을 더 많이 사용한다고 해서 AI가 특정 언어를 더 못하게 되는 것은 아니지만, 영어 텍스트 위주로 학습된 모델은 학습 데이터에서 덜 흔했던 언어로는 답변의 질이 낮은 경우가 많습니다.
직접 해보기
이 레슨에는 코드 챌린지가 없습니다.
이 레슨에는 짧은 퀴즈가 포함되어 있습니다. 레슨을 시작해 문제를 풀고 진행 상황을 기록하세요.