다른 언어에서의 토큰

Coddy AI Prompts 여정의 기초 섹션에 포함된 레슨. 23개 중 11번째.

대부분의 AI 모델은 주로 영어 텍스트를 기반으로 학습되었습니다. 여기에는 놀라운 결과가 있습니다. 영어가 아닌 언어는 동일한 의미를 표현하는 데 더 많은 토큰을 사용하는 경우가 많습니다.

영어에서 hello라는 단어는 일반적으로 하나의 토큰입니다. 하지만 다른 언어의 이에 해당하는 단어는 다르게 분할될 수 있습니다:

언어	단어	대략적인 토큰 수
영어	`hello`	1
스페인어	`hola`	1
일본어	`こんにちは`	3-5
아랍어	`مرحبا`	2-4
러시아어	`привет`	2-3

중국어, 일본어, 한국어, 아랍어 또는 힌디어와 같이 라틴 문자가 아닌 문자를 사용하는 언어는 훨씬 더 많은 토큰을 사용하는 경향이 있습니다. 영어에서 10개의 토큰이 필요한 문장이 일본어에서는 20개 또는 30개의 토큰을 필요로 할 수 있습니다.

이는 실용적인 이유로 중요합니다. 영어가 아닌 언어로 작업하면 컨텍스트 창 한도에 더 빨리 도달하고, 응답 비용이 더 많이 들며, 생성에 약간 더 오래 걸릴 수 있습니다. AI가 이러한 언어를 더 잘 처리하지 못해서가 아닙니다. 단지 토큰 수준에서 이를 덜 효율적으로 처리할 뿐입니다.

직접 해보기

이 레슨에는 코드 챌린지가 없습니다.