「AIが人間を超えた」という見出しを読むとき:比較条件と対象範囲の確認点

同じAIでも、条件を変えると結論が変わる

公式に公開されている資料から、条件で見え方が変わる例を二つ挙げます。

一つ目は、OpenAIのGPT-4技術報告です。arXivの要旨には、さまざまな専門・学術のベンチマークで人間並みの成績を示し、模擬司法試験では受験者の上位10%前後のスコアだったとあります。同じ要旨に、現実の多くの場面では人間より能力が低いという趣旨の記述もあります。つまり「試験の点数で人間並み」と「仕事を人間の代わりにできる」は、同じ文書の中でも別の話として書かれています。

二つ目は、AI研究エンジニアリングの課題を扱った論文RE-Benchです。要旨によると、7つの課題環境で、61人の専門家による71回の試行と、AIエージェントを比べています。持ち時間が2時間だとAIの点数が人間の約4倍でした。ところが時間を8時間に延ばすと人間がわずかに上回り、合計32時間では人間がAIの最高点の約2倍に達したと報告されています。

同じ実験でも、「2時間」で切れば「AIが上」、「32時間」で切れば「人間が上」と書けます。見出しが採用した条件が結論を左右するということです。

見出しから確認する7つの質問

記事を読む前でも、見出しを見た時点で次の質問を立てられます。

• 1、質問：比べた「人間」は誰か、見るポイント：専門家か一般の人か。人数は何人か。平均か上位者か
• 2、質問：何の課題で比べたか、見るポイント：試験、クイズ、画像の分類、プログラミングなど。実務の一部か全体か
• 3、質問：どんな条件だったか、見るポイント：制限時間、試行回数、検索や外部ツールの可否、AIへの追加の手助けの有無
• 4、質問：どう採点したか、見るポイント：自動採点か人の採点か。「超えた」の基準は点数の差か、同等の範囲か
• 5、質問：誰が測ったか、見るポイント：開発元の自社評価か、第三者か。結果の元データや方法は公開されているか
• 6、質問：「超えた」幅はどれくらいか、見るポイント：差が大きいのか、誤差の範囲か。1回の結果か、繰り返した結果か
• 7、質問：課題の外にも当てはまると言っているか、見るポイント：記事の結論が、測った範囲より広くなっていないか

7つすべてが分かる記事は多くありません。分からない項目が残ること自体が、重要な情報です。見出しの強さに対して、確認できた範囲がどれだけ狭いかを見積もる材料になります。

読み解きメモの書式

質問に答えるメモは、次の形にすると比べやすくなります。1件5分程度で埋められる分量にしています。

【見出し】(そのまま写す)
【出どころ】元の論文・発表・公式ページのURL(記事ではなく元のもの)
【比べた相手】
【課題】
【条件】時間/試行回数/ツール/手助け
【採点方法】
【測定者】自社 / 第三者 / 不明
【結果の数値】AI:__  人間:__  差:__
【言える範囲】「__という課題を__の条件で測ると、AIの方が__」
【言えない範囲】(記事が広げすぎている部分)
【未確認】(元資料で確かめられなかった項目)

特に大事なのは【言える範囲】です。この一文を「〜という課題を〜の条件で測ると」の形で書けなければ、まだ読み解けていません。

読み解き例(説明用の例)

以下は、書式の使い方を見せるために作った架空の例です。実在のニュースや実際の測定結果ではありません。

【見出し】AIが翻訳者を超えた
【出どころ】(元の発表ページ。記事内にリンクなし→探す必要あり)
【比べた相手】プロ翻訳者5人
【課題】英語の短いニュース記事10本の和訳
【条件】翻訳者は制限時間30分、AIは1回で出力。辞書は双方使用可
【採点方法】評価者3人による5段階評価。評価者は誰の訳か知らされていない
【測定者】AIを開発した企業
【結果の数値】AI:4.2  人間:4.0  差:0.2
【言える範囲】短いニュース記事の和訳を、時間制限つきで評価者が採点すると、AIの平均点がやや高かった
【言えない範囲】契約書や文芸作品の翻訳、長い文書全体の一貫性、校正を含む実務全般
【未確認】差0.2が誤差の範囲か。翻訳者の専門分野との一致

この例の見出しは「翻訳者を超えた」ですが、メモを書くと、言えるのは「短いニュース記事で、わずかに高かった」までです。差が小さく、測ったのが開発元自身という点も、割り引いて読む理由になります。

元の資料にたどり着く手順

1. 見出しの主語と数字を書き出します。 「超えた」「勝った」「人間並み」のどれかで、強さが違います。
2. 記事の中から元資料へのリンクを探します。 論文、技術報告、企業の発表ページが典型です。記事にリンクがなければ、記事中の名称で公式サイトやarXivを探します。
3. 元資料の要旨・結果・限界(Limitations)の部分を読みます。 方法の節に、人間の条件や採点方法が書かれていることが多いです。限界の節には、著者自身が「ここまでは言えない」と書いている内容が入っています。
4. メモの空欄を埋めます。 埋まらない欄は「未確認」と書きます。推測で埋めません。
5. メモをAIに点検させる場合は、元資料の該当部分を貼ってから聞きます。 下の依頼文を使えます。

次の【元資料の抜粋】だけを根拠に、私の【読み解きメモ】の空欄を確認してください。
- 抜粋に書かれていない項目は「記載なし」と答えてください。推測で補わないでください。
- メモの「言える範囲」が抜粋より広い場合は、広がっている部分を指摘してください。

【元資料の抜粋】
(ここに貼る)

【読み解きメモ】
(ここに貼る)

AIは、抜粋にない内容を補って答えることがあります。「記載なし」と答えるよう指示しても、最終的には抜粋と照らして人が確かめてください。

確認できた度合いごとの書き方

質問の答えがどこまで揃ったかで、自分が人に話すときの言い方を決めておくと楽です。

• 元資料を読み、1〜7がほぼ揃った、言い方の目安：「〜の条件では、AIが人間より高い点数だった」
• 元資料はあるが、人間の条件や採点方法が書かれていない、言い方の目安：「〜という発表があるが、比較の条件は確認できていない」
• 元資料が見つからない、記事だけが根拠、言い方の目安：「〜と報じられている」(自分では確認していない、と添える)
• 開発元のみが測定し、方法も非公開、言い方の目安：「開発元は〜と述べている」

「超えた」と言い切るのは、一番上の行でも、課題と条件を添えた形に限るのが安全です。

見出しに出やすい言い換えの読み方

• 「人間並み」「人間レベル」:多くは、試験の点数や既存のテストの平均との比較を指します。仕事全体の能力ではありません。上で見たGPT-4の要旨でも、試験の成績と現実の場面での能力は分けて書かれていました。
• 「専門家を上回った」:何人の、どの分野の専門家かを確認します。上位の専門家なのか、平均的な参加者なのかで意味が変わります。
• 「〇倍の速さ」:速さの比較は、品質の比較とは別です。RE-Benchの例のように、短い持ち時間では有利でも、長い時間では逆転する場合があります。

これらは見出しの癖を知るための目安であり、個々の記事は元資料で確認するのが基本です。