Vì sao số lượng token quan trọng

Token quan trọng vì ba lý do

Chi phí. Các dịch vụ AI tính phí theo token, trong đó token đầu ra có giá cao hơn token đầu vào. Một câu lệnh dài dòng tạo ra phản hồi dài sẽ tốn kém hơn một câu lệnh ngắn gọn.

Tốc độ. AI tạo đầu ra từng token một. Phản hồi ngắn hơn sẽ nhanh hơn.

Giới hạn ngữ cảnh. Mỗi mô hình có giới hạn token tối đa cho mỗi cuộc trò chuyện (cửa sổ ngữ cảnh). Prompt dài khiến không gian dành cho câu trả lời ít hơn.

Đây là lý do hiệu quả rất quan trọng. "Bạn có thể vui lòng giúp mình giải thích thật chi tiết thủ đô của Pháp là thành phố nào không?" (~20 token) nhận được câu trả lời giống như "Thủ đô của Pháp là gì?" (~7 token), với chi phí thấp hơn và tốc độ nhanh hơn.

Để bạn tham khảo, GPT-4o có giá khoảng $2.50/$10 cho mỗi triệu token đầu vào/đầu ra; Claude Sonnet có giá $3/$15. Một triệu token tương đương khoảng 750.000 từ, vì vậy ngay cả khi dùng không thường xuyên, chi phí cũng sẽ tăng lên.