AIのベンチマークスコアは何を測っているのか:数字を読む前の5つの確認

まず押さえる:スコアは「問題集+条件+採点方法」の結果

ベンチマークは、問題の集まり、AIへの与え方、採点ルールのセットです。代表例を見ると、同じ「点数」でも中身が大きく違うことが分かります。

• MMLU:57の分野(初等数学、米国史、コンピュータ科学、法律など)にわたる多肢選択式の問題で、知識と問題解決力を測る設計です。論文は2020年に提出されました(論文(arXiv))。高得点でも、選択肢から選ぶ力であって、文章を書く力や長い作業をやり遂げる力ではありません。
• GPQA:生物学・物理学・化学の大学院レベルの多肢選択問題448問です。論文によると、ウェブを自由に使い平均30分以上取り組んだ非専門家の正答率は34%、該当分野の博士号取得者または取得中の専門家は65%でした。検索しても解けにくいように作られた問題集で、専門家の知識を試す設計です(GPQA論文)。
• SWE-bench:12の人気Pythonリポジトリから集めた2,294件の実際の課題(issue)を使い、コードを修正して解決できるかを測ります。論文の評価で最も高い解決率は1.96%でした(SWE-bench論文)。このように、数字は特定の評価条件で測った時点のモデルの水準を反映します。

三つとも「何を問うか」がまったく違います。点数を横に並べて「どちらが上か」を言えるのは、同じ問題集で同じ条件のときだけです。

評価のやり方自体にも改善の余地があると、公的機関が指摘しています。米国NIST(国立標準技術研究所)のCAISIは2026年1月、言語モデルの自動ベンチマーク評価について、妥当性・透明性・再現性を高めるための初期公開ドラフト(NIST AI 800-2)を公表し、意見募集を行いました。評価を「測る対象の定義」「実施」「結果の分析と報告」の3段階で整理しています(NISTの発表)。

成績表を読む前の5つの確認質問

1. 何を、どんな形式で問うている問題集か

多肢選択か、自由記述か、コードの修正か、複数手順の作業かを確認します。選択式の知識問題の点数から、長文の要約や資料作成の出来は推測できません。名前に「推論」や「理解」と付いていても、実際の問題を数問見るほうが確かです。問題例は論文や公開ページに載っていることが多いです。

2. どんな条件で実行した数字か

同じモデルでも、AIへの指示文、例題を見せるか、検索やコード実行などの道具を使わせるか、考える時間(出力量)をどれだけ許すかで点数は変わります。発表の脚注に「ツールあり」「複数回試して最良を採用」などの注記がないかを探してください。比較対象の数字が別の条件で出たものなら、差は条件の違いかもしれません。

3. 何回測って、差はどれくらい信頼できるか

AIの出力は毎回少しずつ変わります。1回の結果で「1ポイント上」と言われても、測り直すと逆転する可能性があります。試行回数や誤差の幅が書かれているか、書かれていなければ数ポイントの差は「ほぼ同じ」と読むのが安全です。NISTのドラフトも、評価の実施と報告の透明性を課題として扱っています。

4. 誰が測り、問題が学習に混ざっていないか

開発元が自社の発表で出す数字と、第三者が同じ条件で測った数字は、性格が違います。また、公開された問題や解答がAIの学習データに含まれていると、実力以上に高く出る可能性があります。これは評価の分野で広く議論されている懸念です。出題が非公開の部分があるか、新しい問題で測り直しているかが書かれていれば、信頼の手がかりになります。

5. 自分の用途の仕事と、どれだけ似ているか

最後に、いちばん重要な確認です。言語(日本語か英語か)、文書の種類、入力の長さ、必要な出力の形式、間違えたときの影響を、問題集と自分の仕事で見比べます。似ていなければ、点数は参考程度にとどめます。

スコアが示すこと・示さないこと(対照表)

• 能力、スコアが示すこと：その問題集の範囲での相対的な得意さ、スコアが示さないこと：問題集の外の仕事での出来
• 比較、スコアが示すこと：同じ条件で測ったモデル同士の傾向、スコアが示さないこと：条件が違う数字同士の優劣
• 差の大きさ、スコアが示すこと：大きな差は意味を持つことが多い、スコアが示さないこと：数ポイントの差が実力差かどうか(誤差の情報がない場合)
• 日本語・業務文書、スコアが示すこと：問題が日本語なら、その範囲の傾向、スコアが示さないこと：英語中心の問題集の点数は、日本語の業務文書の品質とは別
• 安全性・正確さ、スコアが示すこと：試された種類の誤りの出にくさ、スコアが示さないこと：間違いの出方、根拠の有無、機密の扱い
• 速度・費用・使いやすさ、スコアが示すこと：通常は含まれない、スコアが示さないこと：応答時間、利用料金、操作性、チームでの運用のしやすさ
• 時間、スコアが示すこと：測定時点のモデルの水準、スコアが示さないこと：将来の更新後の性能、古い点数の現在の妥当性

使えるひな形:成績表をAIに読ませて質問を洗い出す

発表の記述をAIチャットに貼り、確認質問の答えを探させる方法があります。以下は依頼文のひな形です。公開されている発表文だけを貼り、社内資料や個人情報は入れないでください。

以下は、あるAIモデルの発表文から抜粋した成績表の説明です。
次の5点について、「文中に書かれていること」「書かれていないこと」を分けて表にしてください。
推測で補わず、書かれていない項目は「記載なし」としてください。
1. 問題の形式と範囲
2. 実行条件(指示文、ツール使用の有無、試行回数)
3. 誤差や複数回測定の記載
4. 測定した主体と、比較対象の条件
5. 私の用途(例:日本語の社内文書の要約)に近い点・遠い点

【発表文】
(ここに貼り付け)

次は「説明用の例」です。実在の製品や実測値ではありません。

説明用の例:「モデルXはベンチマークAで85点を記録し、モデルYの82点を上回りました。」

この一文から読み取れるのは「Aという問題集で3点差があった」ことだけです。上の依頼文に通すと、条件、試行回数、誤差、測定主体がすべて「記載なし」になるはずで、その場合は「3点差は判断材料にしない」と決められます。AIの回答も誤ることがあるため、「記載なし」とされた項目が本当に原文にないかは、必ず原文で確かめてください。

自分の用途で確かめる:15分の小さな検証

公開ベンチマークを見終えたら、自分の仕事で小さく試すのが最も確実です。

1. 仕事の実例を10件選ぶ:普段の依頼から、簡単なもの、難しいもの、例外的なものを混ぜます。機密が含まれるなら、架空の内容に置き換えます。
2. 合格基準を先に決める:「要約に数字の誤りがない」「敬語の誤りが1件以下」など、確認できる形で書きます。
3. 同じ指示文で、比べたいモデルに順に投げる:指示文を変えると比較にならないので揃えます。
4. 結果を表にする:合格・不合格、手直しにかかった時間を記録します。
5. 不合格の理由を分類する:事実の誤り、指示の取りこぼし、文体の違いなどに分けると、点数では見えなかった弱点が分かります。

10件は統計的に十分な数ではありません。この検証は、どちらが優れているかの証明ではなく、「自分の仕事で明らかな問題が出ないか」を見つける手段だと考えてください。

発表を読むときの判断の目安

• 5つの質問のうち3つ以上が「記載なし」なら、その数字は話題として読み、導入判断には使わない。
• 自分の用途に近い問題集(例:コードならSWE-bench系、専門知識ならGPQA系)の点数を優先する。ただし条件と時期を確認する。
• 数ポイント差は同等とみなし、価格、速度、データの扱いの条件、運用のしやすさで決める。
• 最終判断は、自分の仕事での小さな検証の結果に置く。