トークンとは何か:文字数と違う数え方が、料金・上限・長さに効く場面
AIを使いこなすClaudeで執筆し、GPTで自動校閲・修正しています。
結論から言うと、トークンとは「AIが文章を処理するために切り分ける単位」です。1文字ずつでも1単語ずつでもなく、文字、単語の一部、単語、句読点などが単位になりえます。そのため「1,000文字=1,000トークン」とは言えず、同じ文章でもモデルや言語によって数が変わります。 料金、入力できる量の上限、返答の長さの制限は、多くの場合トークンで管理されます。日本語の長文をAIに渡すときは、文字数だけで見積もると外れる可能性があります。この記事では、文字数との違い、見積もりの手順、使えるメモを順に示します。
文字数・単語数・トークン数の違い
OpenAIのヘルプは、トークンを「モデルがテキストを処理する単位」とし、文字、単語の断片、単語全体、句読点のいずれにもなりうると説明しています(Understanding and counting tokens)。数え方は、モデル、エンコーディング、言語によって変わるとも書かれています。
- 文字数、何を1と数えるか：見た目の1文字、誰が決めるか：文書ソフトなどで確認できる
- 単語数、何を1と数えるか：空白などで区切った語、誰が決めるか：日本語は空白がなく曖昧
- トークン数、何を1と数えるか：モデルが使う分割の1片、誰が決めるか：モデルごとの分割ルール
英語には目安があります。同じヘルプでは、1トークンがおよそ4文字、約4分の3単語、100トークンが約75単語とされています。ただしこれは英語の概算です。他言語では文字・単語・トークンの関係が異なると明記されているため、日本語に当てはめるのは避けてください。この記事も日本語の換算率は示しません。自分の文章で測るのが確実です。
料金・上限・長さに効く場面
トークンが効くのは主に次の3か所です。
- 料金:API利用では入力トークンと出力トークンが別々に数えられます。OpenAIのヘルプによると、推論モデルが内部で使う「推論トークン」は画面に出なくても出力として数えられ、請求に影響します。
- 入力の上限:一度に扱える量(コンテキストウィンドウ)もトークンで決まります。長い資料を貼る前に、収まるかを見積もる必要があります。
- 返答の長さ:出力にも上限があります。入力で枠を使い切ると、返答に使える分が減ります。
見えない分も含まれます。OpenAIのCounting tokensでは、APIリクエストの入力にはメッセージ構造、ツール、画像、ファイルなどのトークンが加わることがあり、文章だけの数では全体を表せないと説明されています。
手元の文章で数える方法
見積もりの前に、まず測ります。
- 文章だけなら:OpenAIのTokenizerツールや、プログラム用のtiktokenライブラリで分割を確認できます。ただしOpenAIの案内では、こうした文章だけの数え方はメッセージ構造、ツール、画像、ファイルを含むAPIリクエスト全体の数とは異なる場合があります。
- リクエスト全体なら:OpenAIにはResponses APIの入力トークン数を数えるAPIがあり、メッセージ、画像、ファイル、ツールなどを含む入力を渡して、構造用トークンも含めた数を得られると説明されています。出力トークン数は予測しません。
- Claudeの場合:Anthropicにも送信前にトークンを数えるエンドポイントがあります。Token countingによれば、この機能は無料で、利用枠に応じた分あたりのリクエスト数制限があります。返る数は推定値で、実際の使用量と少し違う場合があります。
注意点が一つあります。同ページによると、Claude Fable 5.1、Claude Mythos 5.1、Claude Fable 5、Claude Mythos 5はClaude Opus 4.7で導入された新しいトークナイザーを共有し、それ以前のモデルより同じ入力のトークン数が約30%多くなります(増え方は内容によります)。モデルを切り替えるときは、前のモデルで測った数を流用せず、使う予定のモデルで数え直してください。
チャットアプリの画面でAIに「何トークン?」と聞く方法は、正確さを裏づける公式の説明を確認できていないため、見積もりの根拠にはしません。上のツールで測るほうが安全です。
長さ・上限を見積もる手順
ここが本記事のメモの中心です。手順は編集上の提案で、次の順に進めます。
- 実際に使う文章から、代表的な部分を数百〜千文字ほど取り出します。
- 上のツールで、その部分のトークン数を測ります。
- 「トークン数 ÷ 文字数」を計算し、比率として控えます。
- 全体の文字数に比率を掛け、全体のトークン数を概算します。
- 指示文、過去のやり取り、返答に使いたい分を足して、上限と比べます。
- 余裕を持たせます。余裕の幅は、測った部分が全体を代表しているかで決めてください。
説明用の例(数値は仮定で、実測ではありません)
仮に、600文字の見本を測ったところ720トークンだったとします。比率は1.2です。全体が30,000文字なら、概算は36,000トークンです。指示文を500トークン、返答を3,000トークンと見込むと、必要枠はおよそ39,500トークンです。この合計が使うモデルの上限に収まるかを確認します。費用は、単価の最新値を公式の料金ページで確認し、「入力トークン数×入力単価+出力トークン数×出力単価」で計算します。
専門用語の多い章、表、コードなどは比率が変わりやすいので、種類ごとに分けて測ると精度が上がります。
判断表と依頼メモ
- 短い質問を数回送るだけ、取るべき行動：見積もり不要。文字数の感覚で足りることが多い
- 長い資料を一度に貼る、取るべき行動：見本を測り、比率で全体と上限を比較する
- モデルを新しいものへ変える、取るべき行動：新モデルで数え直す
- 画像・PDF・ツールを使う、取るべき行動：文章だけの数え方では足りず、リクエスト全体を数える
- 返答が途中で切れる、取るべき行動：入力で枠を使いすぎていないか、出力上限を確認する
- 機密文書を測りたい、取るべき行動：実物ではなく、同じ種類のダミー文章で比率を測る
最後に、見積もりを控えるメモの雛形です。そのままコピーして使えます。
対象モデル:
測定した見本:(種類・文字数)
見本のトークン数:
比率(トークン数÷文字数):
全体の文字数:
概算トークン数(全体×比率):
指示文・履歴の分:
返答に使いたい分:
合計:
モデルの上限(公式で確認した日付も):
余裕の判断:上限と単価はモデルやプランで変わるため、数字を書き込むときは確認した日付も一緒に残してください。
