Tokenlar Nedir?

Coddy'nin AI Prompts Journey'sinin Temeller bölümünün bir parçası. Ders 7 / 23.

Yapay zeka metninizi token adı verilen daha küçük parçalara böler.

Jetonları (tokens) yapay zekanın temel okuma birimi olarak düşünebilirsiniz. Nasıl ki siz bir cümleyi kelimelere ayırıyorsanız, yapay zeka da metni jetonlara ayırır.

Ama işte püf noktası: token'lar her zaman tam kelimeler değildir. Bir token bir kelime, bir kelimenin bir parçası veya sadece tek bir karakter bile olabilir.

Örneğin, hello kelimesi genellikle tek bir tokendir. Ancak uncomfortable gibi daha uzun bir kelime birden fazla tokene bölünebilir: un, comfort, able. Yapay zeka, her bir tokeni birbiri ardına ayrı ayrı işler.

Görev

Yapay zekanın tam olarak 4 kelime veya daha az kelimeyle yanıt vermesini sağlayın; burada her kelime yalnızca tek heceli olmalıdır. Yanıt tam bir düşünce veya ifade olmalıdır.

Yapay zekanın yanıtı şunları içermelidir: