ما هي الرموز (Tokens)؟
جزء من قسم الأساسيات في رحلة AI Prompts على Coddy. الدرس 7 من 23.
يُقسّم الذكاء الاصطناعي نصك إلى أجزاء أصغر تُسمّى الرموز.
اعتبر الرموز الوحدة الأساسية التي يقرأها الذكاء الاصطناعي. وكما يمكنك تقسيم الجملة إلى كلمات، يقسّم الذكاء الاصطناعي النص إلى رموز.
لكن إليك المفاجأة: لا تكون الرموز دائمًا كلمات كاملة. قد يكون الرمز كلمة، أو جزءًا من كلمة، أو حتى حرفًا واحدًا فقط.
على سبيل المثال، عادةً ما تكون الكلمة hello رمزًا واحدًا. لكن كلمة أطول مثل uncomfortable قد تُقسَّم إلى عدة رموز: un، comfort، able. يعالج الذكاء الاصطناعي كل رمز على حدة، واحدًا تلو الآخر.
التحدي
اجعل الذكاء الاصطناعي يجيب ب4 كلمات على الأكثر، بحيث تحتوي كل كلمة على مقطع صوتي واحد فقط. يجب أن تكون الإجابة فكرة أو عبارة مكتملة.
يجب أن تتضمن إجابة الذكاء الاصطناعي ما يلي:
- تتضمن 4 كلمات أو أقل
- لا تتضمن أي علامات ترقيم باستثناء نقطة واحدة في النهاية
اختبر نفسكيتضمن هذا الدرس اختبارًا قصيرًا. ابدأ الدرس للإجابة عليه وتتبّع تقدمك.
جميع دروس الأساسيات
2كيف يقرأك الذكاء الاصطناعي — الرموز (Tokens)
ما هي الرموز (Tokens)؟الكلمات ≠ الرموز (Tokens)لماذا يهم عدد الرموز (Tokens)؟نافذة السياق (Context Window)الرموز (Tokens) في اللغات الأخرىرموز (Tokens) خاصة لا تراها أبداً