טוקנים בשפות אחרות

רוב מודלי הבינה המלאכותית אומנו בעיקר על טקסט באנגלית. יש לכך תוצאה מפתיעה: בשפות שאינן אנגלית משתמשים לעיתים קרובות ביותר טוקנים כדי להעביר את אותה משמעות.

המילה hello באנגלית היא בדרך כלל אסימון אחד. אבל המקבילות שלה בשפות אחרות עשויות להתחלק אחרת:

מילה נפוצה מאוד כמו こんにちは עדיין יכולה להיות אסימון יחיד, כי היא הופיעה פעמים רבות בטקסט שעליו אומן מפצל האסימונים.

שפות המשתמשות במערכות כתב שאינן לטיניות, כמו סינית, יפנית, קוריאנית, ערבית או הינדית, נוטות להשתמש במספר גדול בהרבה של אסימונים. משפט שמורכב מ־10 אסימונים באנגלית עשוי לדרוש 20 או 30 אסימונים ביפנית.

יש לכך חשיבות מסיבות מעשיות. אם עובדים בשפה שאינה אנגלית, מגיעים למגבלות חלון ההקשר מהר יותר, התשובות עשויות לעלות יותר, ויצירתן עשויה להימשך מעט יותר זמן. שימוש ביותר אסימונים אינו הופך כשלעצמו את הבינה המלאכותית לפחות טובה בשפה, אבל מודלים שאומנו בעיקר על טקסטים באנגלית אכן מספקים לעיתים קרובות תשובות חלשות יותר בשפות שהיו פחות נפוצות בנתוני האימון שלהם.