الرموز (Tokens) في اللغات الأخرى

تم تدريب معظم نماذج الذكاء الاصطناعي بشكل أساسي على النصوص الإنجليزية. وهذا له نتيجة مفاجئة: غالباً ما تستخدم اللغات غير الإنجليزية عدداً أكبر من الرموز (tokens) لنفس المعنى.

كلمة hello في اللغة الإنجليزية عادة ما تكون رمزًا (token) واحدًا. لكن مرادفاتها في اللغات الأخرى قد يتم تقسيمها بشكل مختلف:

تميل اللغات التي تستخدم نصوصاً غير لاتينية - مثل الصينية أو اليابانية أو الكورية أو العربية أو الهندية - إلى استخدام عدد أكبر بكثير من الرموز (tokens). فالجملة التي تستهلك 10 رموز في اللغة الإنجليزية قد تتطلب 20 أو 30 رمزاً في اللغة اليابانية.

هذا الأمر مهم لأسباب عملية. إذا كنت تعمل بلغة غير الإنجليزية، فستصل إلى حدود نافذة السياق (context window) بشكل أسرع، وقد تكلف الاستجابات أكثر، وقد يستغرق التوليد وقتاً أطول قليلاً. لا يعني ذلك أن الذكاء الاصطناعي أسوأ في هذه اللغات، بل إنه ببساطة يعالجها بكفاءة أقل على مستوى الرموز (tokens).