Cửa sổ ngữ cảnh

Cửa sổ ngữ cảnh là giới hạn bộ nhớ của AI: số token tối đa mà AI có thể lưu giữ cùng lúc. Hãy hình dung nó như một chiếc hộp có kích thước cố định, phải chứa mọi thứ: câu lệnh của bạn, lịch sử hội thoại, câu lệnh hệ thống và phản hồi của AI.

Các mô hình khác nhau có kích thước cửa sổ ngữ cảnh khác nhau. Một số mô hình cũ xử lý được khoảng 4.000 token. Các mô hình mới hơn có thể hỗ trợ 100.000 token hoặc nhiều hơn.

Khi bạn chạm đến giới hạn, AI không thể xử lý thêm thông tin.

Những nội dung sau chiếm chỗ trong cửa sổ đó:

Đây là lý do những cuộc trò chuyện dài có thể trở nên khó xử lý. Mỗi lượt trao đổi qua lại đều làm tăng số token. Cuối cùng, AI phải “quên” những phần trước đó của cuộc trò chuyện để dành chỗ cho nội dung mới.

Khi điều này xảy ra, nó sẽ mất ngữ cảnh và có thể đưa ra câu trả lời không nhất quán hoặc quên những hướng dẫn bạn đã đưa ra trước đó.