טוקנים בשפות אחרות

חלק מהיחידה יסודות במסלול ה-AI Prompts של Coddy. שיעור 11 מתוך 23.

רוב מודלי הבינה המלאכותית אומנו בעיקר על טקסט באנגלית. יש לכך תוצאה מפתיעה: בשפות שאינן אנגלית משתמשים לעיתים קרובות ביותר אסימונים כדי לבטא את אותה משמעות.

המילה hello באנגלית היא בדרך כלל אסימון אחד. אבל המקבילות שלה בשפות אחרות עשויות להתחלק אחרת:

שפה	מילה	מספר אסימונים משוער
אנגלית	`hello`	1
ספרדית	`hola`	1
יפנית	`こんにちは`	3-5
ערבית	`مرحبا`	2-4
רוסית	`привет`	2-3

שפות המשתמשות במערכות כתב שאינן לטיניות, כמו סינית, יפנית, קוריאנית, ערבית או הינדית, נוטות להשתמש בהרבה יותר אסימונים. משפט שדורש 10 אסימונים באנגלית עשוי לדרוש 20 או 30 אסימונים ביפנית.

יש לכך חשיבות מסיבות מעשיות. אם עובדים בשפה שאינה אנגלית, מגיעים למגבלות חלון ההקשר מהר יותר, התשובות עשויות לעלות יותר, והיצירה עשויה להימשך מעט יותר. אין זה אומר שה-AI פחות טוב בשפות האלה. הוא פשוט מעבד אותן ביעילות נמוכה יותר ברמת האסימונים.

נסו בעצמכם

השיעור הזה לא כולל אתגר קוד.