30秒で分かる説明
トークンは、生成AIが文章を読んだり書いたりするときに使う、小さな区切りの単位です。AIは文章を1文字ずつではなく、トークンという切れ端の並びとして扱います。利用料金や、一度に扱える文章の量は、このトークンの数で数えられることが多いです。
詳しい説明
トークンの区切り方は、AIのモデルごとに決まっています。英語ではひとつの単語が1トークンになることもあれば、長い単語がいくつかに分かれることもあります。日本語では、1文字が1トークンになったり、よく出る言葉がまとまって1トークンになったりと、区切り方が一定ではありません。
そのため、「何文字なら何トークン」とはっきり言うことはできません。同じ文章でも、モデルが変わるとトークンの数が変わります。正確な数を知りたいときは、各サービスが用意している数え方の道具や、利用画面の表示で確かめます。
トークンが大事になるのは、主に2つの場面です。1つは、APIで生成AIを使うときの料金で、入力と出力のトークン数によって決まる形が多くあります。もう1つは、一度に読める量の上限（コンテキストウィンドウ）で、これもトークンの数で表されます。
どこで使われる？
- 生成AIのAPIの料金表や、利用量の画面
- 「最大で何トークンまで」という、入力や出力の上限の説明
- 長い資料を分けて渡すかどうかの判断
具体例
社内でAPIを使って問い合わせの要約を始めたところ、長いメールのやり取りをそのまま全部渡していたため、利用量が思ったより増えていました。要約に必要な最新のやり取りだけを渡すように変えると、入力のトークンが減り、利用量も落ち着きました。
よくある勘違い
- トークンは文字数と同じだ、と思われがちですが、区切り方はモデルと言語によって違います。
- 出力が短ければ料金はかからない、と思われがちですが、多くのサービスでは入力した文章のトークンも数えられます。料金の形は各サービスの公式情報で確かめます。