חלון ההקשר

חלון ההקשר הוא מגבלת הזיכרון של ה-AI: המספר המרבי של אסימונים שהוא יכול להכיל בבת אחת. חשבו עליו כמכל בגודל קבוע שצריך להכיל הכול: את ההנחיה שלכם, את היסטוריית השיחה, את הנחיית המערכת ואת התגובה של ה-AI.

למודלים שונים יש גדלים שונים של חלון הקשר. חלק מהמודלים הישנים יותר יכולים להתמודד עם כ־4,000 אסימונים. מודלים חדשים יותר עשויים לתמוך ב־100,000 אסימונים או יותר.

ברגע שתגיע למגבלה, ה-AI פשוט לא יוכל לעבד מידע נוסף.

הנה מה שתופס מקום בחלון הזה:

זו הסיבה ששיחות ארוכות עלולות להפוך לבעייתיות. כל חילופי דברים מוסיפים אסימונים. בסופו של דבר, ה-AI חייב "לשכוח" חלקים מוקדמים יותר של השיחה כדי לפנות מקום לתוכן חדש.

כשזה קורה, הוא מאבד את ההקשר ועלול לתת תשובות לא עקביות או לשכוח הוראות שנתת קודם.