الرموز (Tokens) في اللغات الأخرى
جزء من قسم Fundamentals في رحلة AI Prompts على Coddy — الدرس 11 من 23.
تم تدريب معظم نماذج الذكاء الاصطناعي بشكل أساسي على النصوص الإنجليزية. وهذا له نتيجة مفاجئة: غالباً ما تستخدم اللغات غير الإنجليزية عدداً أكبر من الرموز (tokens) لنفس المعنى.
كلمة hello في اللغة الإنجليزية عادة ما تكون رمزًا (token) واحدًا. لكن مرادفاتها في اللغات الأخرى قد يتم تقسيمها بشكل مختلف:
| اللغة | الكلمة | الرموز (Tokens) التقريبية |
|---|---|---|
| الإنجليزية | hello | 1 |
| الإسبانية | hola | 1 |
| اليابانية | こんにちは | 3-5 |
| العربية | مرحبا | 2-4 |
| الروسية | привет | 2-3 |
تميل اللغات التي تستخدم نصوصاً غير لاتينية - مثل الصينية أو اليابانية أو الكورية أو العربية أو الهندية - إلى استخدام عدد أكبر بكثير من الرموز (tokens). فالجملة التي تستهلك 10 رموز في اللغة الإنجليزية قد تتطلب 20 أو 30 رمزاً في اللغة اليابانية.
هذا الأمر مهم لأسباب عملية. إذا كنت تعمل بلغة غير الإنجليزية، فستصل إلى حدود نافذة السياق (context window) بشكل أسرع، وقد تكلف الاستجابات أكثر، وقد يستغرق التوليد وقتاً أطول قليلاً. لا يعني ذلك أن الذكاء الاصطناعي أسوأ في هذه اللغات، بل إنه ببساطة يعالجها بكفاءة أقل على مستوى الرموز (tokens).
جرّب بنفسك
لا يتضمّن هذا الدرس تحدّيًا برمجيًا.
اختبر نفسكيتضمن هذا الدرس اختبارًا قصيرًا. ابدأ الدرس للإجابة عليه وتتبّع تقدمك.
جميع دروس Fundamentals
2كيف يقرأك الذكاء الاصطناعي — الرموز (Tokens)
ما هي الرموز (Tokens)؟الكلمات ≠ الرموز (Tokens)لماذا يهم عدد الرموز (Tokens)؟نافذة السياق (Context Window)الرموز (Tokens) في اللغات الأخرىرموز (Tokens) خاصة لا تراها أبداً