Token’lar Nedir?

Yapay zekâ, metninizi token adı verilen daha küçük parçalara böler.

Token'ları yapay zekânın temel okuma birimi olarak düşün. Tıpkı bir cümleyi kelimelere ayırabileceğin gibi, yapay zekâ da metni token'lara ayırır.

Ancak işin püf noktası şu: token'lar her zaman tam sözcüklerden oluşmaz. Bir token bir sözcük, bir sözcüğün bir parçası ya da yalnızca tek bir karakter olabilir.

Örneğin, hello sözcüğü genellikle tek bir belirteçtir. Ancak uncomfortable gibi daha uzun bir sözcük birden fazla belirtece bölünebilir: un, comfort, able. Yapay zekâ her belirteci ayrı ayrı, art arda işler.