トークンとは？
CoddyのAI Promptsジャーニー「基礎」セクションの一部。レッスン 7/23。
AIは、テキストをトークンと呼ばれる小さな単位に分割します。
トークンを、AIが読み取る際の基本単位だと考えてください。人が文を単語に分けるように、AIはテキストをトークンに分けます。
しかし、ここがポイントです。トークンは必ずしも単語全体とは限りません。トークンは単語の場合もあれば、単語の一部、あるいは単一の文字だけの場合もあります。
たとえば、hello という単語は通常、1つのトークンです。しかし、uncomfortable のような長い単語は、un、comfort、able という複数のトークンに分割されることがあります。AIは各トークンを1つずつ順番に処理します。
チャレンジ
AIが4語以内で応答するようにしてください。各語は1音節のみで構成されている必要があります。応答は、完結した考えまたは文にしてください。
AIの応答は次の条件を満たす必要があります：
- 4語以内であること
- 末尾のピリオド1つを除き、句読点を含まないこと
腕試しこのレッスンには短いクイズがあります。レッスンを始めて解答し、進捗を記録しましょう。