Từ ngữ ≠ token

Một lỗi thường gặp là cho rằng một từ tương ứng với một token. Không phải như vậy.

Từ cat là một token. Nhưng cats? Từ này có thể gồm hai token: cat và s. Từ hello là một token, nhưng Hello với chữ H viết hoa có thể được phân tách thành các token khác nhau.

Dấu cách, dấu câu và chữ hoa, chữ thường đều ảnh hưởng đến cách văn bản được tách.

Dưới đây là một số ví dụ đáng ngạc nhiên:

Văn bản	Số token ước tính
dog	1
dogs	1-2
extraordinary	2-3
123456	2-6
!!!	1-3

Các con số đặc biệt khó xử lý. Bạn có thể nghĩ 1000 là một token, nhưng nó có thể được tách thành 100 và 0, hoặc thậm chí tách từng chữ số. Vì vậy, đôi khi AI gặp khó khăn với các phép tính chính xác: AI không nhìn thấy các con số theo cách bạn nhìn thấy.

Điểm mấu chốt: số lượng token không thể đoán trước nếu bạn chỉ đếm từ. Một prompt 100 từ có thể dùng 130 token hoặc 150 token, tùy vào những từ cụ thể bạn chọn.

Sau mỗi câu trả lời, cuộc trò chuyện hiển thị số token đầu vào và đầu ra đã sử dụng. Hãy so sánh những con số đó với số từ: chúng hiếm khi tương ứng theo tỷ lệ một-một.