Những token đặc biệt bạn không bao giờ thấy

Ngoài văn bản của bạn và lời nhắc hệ thống, AI còn dùng các token đặc biệt: những dấu đánh dấu vô hình giúp cấu trúc cuộc hội thoại. Chúng trông giống như <|user|>, <|assistant|> hoặc <|end|>, dù định dạng chính xác khác nhau tùy theo mô hình.

Các token này đánh dấu nơi mỗi tin nhắn bắt đầu và kết thúc, cũng như ai đang nói. Không có chúng, mô hình sẽ không biết đến lượt ai. Bạn không bao giờ nhập chúng và cũng không nhìn thấy chúng, nhưng chúng chiếm dung lượng trong cửa sổ ngữ cảnh.

Đây là lý do ngay cả một cuộc trò chuyện trống cũng không có số token bằng không, và vì sao số token đôi khi có vẻ cao hơn dự kiến một chút. Trong những cuộc trò chuyện dài với nhiều lượt trao đổi, các dấu mốc này sẽ cộng dồn: mỗi ranh giới tin nhắn cần có một bộ dấu mốc riêng.

Bạn không cần trực tiếp quản lý các token đặc biệt. Nhưng biết chúng tồn tại sẽ giúp bạn hiểu những token “thừa” đó đến từ đâu.