מילים ≠ טוקנים

טעות נפוצה היא להניח שמילה אחת שווה לאסימון אחד. זה לא עובד ככה.

המילה cat היא אסימון אחד. אבל cats? אלה עשויים להיות שני אסימונים: cat ו־s. המילה hello היא אסימון אחד, אבל Hello עם H גדולה עשויה להיות מחולקת לאסימונים אחרת.

רווחים, סימני פיסוק ואותיות גדולות וקטנות משפיעים כולם על אופן פיצול הטקסט.

הנה כמה דוגמאות מפתיעות:

טקסט	מספר אסימונים משוער
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

מספרים הם מסובכים במיוחד. אולי תחשוב ש־1000 הוא אסימון אחד, אבל הוא עשוי להתפצל ל־100 ול־0, או אפילו לספרות בודדות. זו הסיבה שלפעמים AI מתקשה בחישובים מדויקים: הוא לא רואה מספרים כפי שאתה רואה אותם.

התובנה המרכזית: אי אפשר לחזות את מספר האסימונים אם פשוט סופרים מילים. הנחיה בת 100 מילים עשויה להשתמש ב־130 אסימונים או ב־150, בהתאם למילים הספציפיות שבחרת.

אחרי כל תשובה, הצ׳אט מציג כמה אסימוני קלט ופלט הוא השתמש בהם. השוו את המספרים האלה למספר המילים: לעיתים רחוקות הם תואמים אחד לאחד.