다른 언어에서의 토큰
Coddy AI Prompts 여정의 기초 섹션에 포함된 레슨 — 23개 중 11번째.
대부분의 AI 모델은 주로 영어 텍스트로 학습되었습니다. 이로 인해 놀라운 결과가 발생합니다: 영어가 아닌 언어는 동일한 의미에 대해 종종 더 많은 토큰을 사용합니다.
영어에서 hello라는 단어는 일반적으로 하나의 토큰입니다. 하지만 다른 언어에서의 대응어는 다르게 분할될 수 있습니다:
| 언어 | 단어 | 대략적인 토큰 수 |
|---|---|---|
| 영어 | hello | 1 |
| 스페인어 | hola | 1 |
| 일본어 | こんにちは | 3-5 |
| 아랍어 | مرحبا | 2-4 |
| 러시아어 | привет | 2-3 |
중국어, 일본어, 한국어, 아랍어 또는 힌디어와 같이 비라틴 문자를 사용하는 언어는 훨씬 더 많은 토큰을 사용하는 경향이 있습니다. 영어에서 10개의 토큰이 필요한 문장이 일본어에서는 20개 또는 30개의 토큰이 필요할 수 있습니다.
이는 실질적인 이유로 중요합니다. 영어가 아닌 언어로 작업하는 경우, 컨텍스트 창(context window) 제한에 더 빨리 도달하고, 응답 비용이 더 많이 들 수 있으며, 생성 시간이 약간 더 오래 걸릴 수 있습니다. 이는 AI가 해당 언어에 서투르기 때문이 아니라, 단순히 토큰 수준에서 덜 효율적으로 처리하기 때문입니다.
치트 시트
주로 영어 텍스트로 훈련된 AI 모델은 영어가 아닌 언어에 대해 토큰을 덜 효율적으로 사용합니다. 비라틴 문자(중국어, 일본어, 한국어, 아랍어, 힌디어)는 일반적으로 동일한 의미에 대해 훨씬 더 많은 토큰을 필요로 합니다.
| 언어 | 단어 | 대략적인 토큰 수 |
|---|---|---|
| 영어 | hello | 1 |
| 스페인어 | hola | 1 |
| 일본어 | こんにちは | 3-5 |
| 아랍어 | مرحبا | 2-4 |
| 러시아어 | привет | 2-3 |
실질적인 영향: 영어가 아닌 언어는 컨텍스트 창 제한에 더 빨리 도달하고, 비용이 더 많이 들 수 있으며, 생성하는 데 시간이 약간 더 오래 걸립니다.
직접 해보기
이 레슨에는 코드 챌린지가 없습니다.
실력 점검이 레슨에는 짧은 퀴즈가 포함되어 있습니다. 레슨을 시작해 문제를 풀고 진행 상황을 기록하세요.