トークンとは？
CoddyのAI Promptsジャーニー「基礎」セクションの一部 — レッスン 7/23。
AIは、テキストをトークンと呼ばれるより小さな断片に分割します。
トークンをAIの読解の基本単位と考えてください。文章を単語に区切るのと同じように、AIはテキストをトークンに分割します。
しかし、ここが重要なポイントです。トークンは常に単語全体であるとは限りません。トークンは、単語、単語の一部、あるいは単一の文字である場合もあります。
例えば、hello という単語は通常1つのトークンです。しかし、uncomfortable のような長い単語は、un、comfort、able といった複数のトークンに分割されることがあります。AIは各トークンを1つずつ順番に個別に処理します。
チャレンジ
AIに、各単語が1音節のみの、正確に4単語以内で回答させてください。回答は完結した考えや記述である必要があります。
AIの回答は以下の条件を満たす必要があります：
- 4単語（またはそれ以下）で構成されていること
- 末尾の1つの句点（. または 。）を除き、句読点を含まないこと
チートシート
AIはテキストを、AIが読み取る際の基本単位であるトークンと呼ばれる小さな断片に分割します。
トークンは必ずしも単語全体であるとは限りません。トークンは以下のようになります：
- 完全な単語（例：
hello） - 単語の一部（例：
uncomfortableはun、comfort、ableに分割されることがあります） - 1つの文字
AIは各トークンを1つずつ順番に処理します。
CoddyのAIチューターとこのチャレンジを始めよう
腕試しこのレッスンには短いクイズがあります。レッスンを始めて解答し、進捗を記録しましょう。