Token là gì?

AI chia văn bản của bạn thành những phần nhỏ hơn gọi là token.

Hãy xem token là đơn vị đọc cơ bản của AI. Cũng như bạn có thể tách một câu thành từng từ, AI tách văn bản thành các token.

Nhưng có một điều thú vị: token không phải lúc nào cũng là từ hoàn chỉnh. Một token có thể là một từ, một phần của từ hoặc thậm chí chỉ là một ký tự.

Ví dụ, từ hello thường là một token. Nhưng một từ dài hơn như uncomfortable có thể được tách thành nhiều token: un, comfort, able. AI theo dõi thứ tự của các token và dùng những token đứng trước mỗi token để xác định nghĩa của nó. AI viết câu trả lời từng token một.