טוקנים מיוחדים שאינך רואה

מעבר לטקסט שלך ולהנחיית המערכת, ה-AI משתמש באסימונים מיוחדים: סמנים בלתי נראים שמבנים את השיחה. הם נראים בערך כך: <|user|>, <|assistant|> או <|end|>, אם כי הפורמט המדויק משתנה בין מודלים.

האסימונים האלה מסמנים היכן כל הודעה מתחילה ומסתיימת, ומי הדובר. בלעדיהם, המודל לא היה יודע תורו של מי. לא מקלידים אותם ולא רואים אותם, אבל הם תופסים מקום בחלון ההקשר.

זו הסיבה שגם בשיחה ריקה אין אפס אסימונים, ולמה לפעמים מספר האסימונים נראה מעט גבוה מהצפוי. בשיחות ארוכות הלוך ושוב, הסמנים האלה מצטברים: כל גבול בין הודעות דורש קבוצה משלו.

אינך צריך לנהל אסימונים מיוחדים ישירות. אבל הידיעה שהם קיימים עוזרת להסביר מאיפה מגיעים האסימונים ה״נוספים״ האלה.