الرموز في اللغات الأخرى
جزء من قسم الأساسيات في رحلة AI Prompts على Coddy. الدرس 11 من 23.
دُرِّبت معظم نماذج الذكاء الاصطناعي أساسًا على نصوص باللغة الإنجليزية. ولهذا نتيجة مفاجئة: غالبًا ما تستخدم اللغات غير الإنجليزية عددًا أكبر من الرموز للتعبير عن المعنى نفسه.
تكون كلمة hello في الإنجليزية عادةً رمزًا واحدًا. لكن قد تُقسَّم الكلمات المقابلة لها في اللغات الأخرى بطرق مختلفة:
| اللغة | الكلمة | عدد الرموز التقريبي |
|---|---|---|
| الإنجليزية | hello | 1 |
| الإسبانية | hola | 2 |
| اليابانية | こんにちは | 1 |
| العربية | مرحبا | 3-5 |
| الروسية | привет | 3-4 |
قد تظل كلمة شائعة جدًا مثل こんにちは رمزًا واحدًا، لأنها ظهرت كثيرًا في النصوص التي بُني عليها مُجزِّئ الرموز.
تميل اللغات التي تستخدم أنظمة كتابة غير لاتينية، مثل الصينية أو اليابانية أو الكورية أو العربية أو الهندية، إلى استخدام عدد أكبر بكثير من الرموز. قد تتطلب جملة تحتاج إلى 10 رموز باللغة الإنجليزية 20 أو 30 رمزًا باللغة اليابانية.
هذا مهم لأسباب عملية. إذا كنت تعمل بلغة غير الإنجليزية، فستصل إلى حدود نافذة السياق بسرعة أكبر، وقد تكون الردود أكثر تكلفة، وقد يستغرق التوليد وقتًا أطول قليلًا. استخدام عدد أكبر من الرموز لا يجعل الذكاء الاصطناعي أسوأ في التعامل مع لغة ما بحد ذاته، لكن النماذج التي دُرّبت في الغالب على نصوص باللغة الإنجليزية غالبًا ما تقدم إجابات أضعف باللغات الأقل شيوعًا في بيانات تدريبها.
جرّب بنفسك
لا يتضمّن هذا الدرس تحدّيًا برمجيًا.
يتضمن هذا الدرس اختبارًا قصيرًا. ابدأ الدرس للإجابة عليه وتتبّع تقدمك.
جميع دروس الأساسيات
2كيف يقرأك الذكاء الاصطناعي: الرموز
ما الرموز؟الكلمات ≠ الرموزلماذا يهم عدد الرموز؟نافذة السياقالرموز في اللغات الأخرىرموز خاصة لا تراها أبدًا