Token trong các ngôn ngữ khác

Hầu hết các mô hình AI được huấn luyện chủ yếu bằng văn bản tiếng Anh. Điều này dẫn đến một hệ quả đáng ngạc nhiên: các ngôn ngữ không phải tiếng Anh thường dùng nhiều token hơn để diễn đạt cùng một ý.

Từ hello trong tiếng Anh thường là một token. Nhưng từ tương đương trong các ngôn ngữ khác có thể được chia theo cách khác:

Một từ rất phổ biến như こんにちは vẫn có thể là một token, vì từ này xuất hiện thường xuyên trong văn bản dùng để tạo tokenizer.

Các ngôn ngữ dùng hệ chữ không phải chữ Latinh, như tiếng Trung, tiếng Nhật, tiếng Hàn, tiếng Ả Rập hoặc tiếng Hindi, thường cần nhiều token hơn đáng kể. Một câu cần 10 token trong tiếng Anh có thể cần 20 hoặc 30 token trong tiếng Nhật.

Điều này quan trọng vì những lý do thực tế. Nếu bạn làm việc bằng ngôn ngữ không phải tiếng Anh, bạn sẽ nhanh chạm đến giới hạn cửa sổ ngữ cảnh hơn, các câu trả lời có thể tốn nhiều chi phí hơn và quá trình tạo nội dung có thể lâu hơn một chút. Dùng nhiều token hơn không tự khiến AI kém hơn trong một ngôn ngữ, nhưng các mô hình chủ yếu được huấn luyện bằng văn bản tiếng Anh thường đưa ra câu trả lời yếu hơn bằng những ngôn ngữ ít phổ biến hơn trong dữ liệu huấn luyện của chúng.