「AIは理解している」という主張を読むとき：根拠が実験か比喩かを見分ける

仕分け表：根拠の3種類

• 実験、見分ける手がかり：モデル名、課題、測定方法、比較条件が書いてある、言える範囲：その条件での挙動や内部の様子、言えないこと：他のモデル・課題でも同じこと
• 比喩、見分ける手がかり：「まるで」「〜のように」「考える」「分かる」などの語、言える範囲：直感的なイメージ、言えないこと：能力の有無や度合い
• 解釈、見分ける手がかり：「つまり」「これは理解と言える」と結果の後に出てくる、言える範囲：著者の見方、言えないこと：結果そのものと同じ確かさ

同じ記事や論文の中に3種類が混ざっているのが普通です。全体を信じるか疑うかではなく、文ごとに仕分けるのがこの記事の方針です。

実在の研究を仕分けてみる

以下の仕分けは筆者の読み方であり、各研究の著者が付けた分類ではありません。

例1：オセロを学習したモデル（arXiv論文）

Emergent World Representations（arXiv）は、GPTの変種にオセロの合法手を予測させる研究です。著者は、モデル内部に盤面状態の表現が現れ、介入実験で出力を制御できることを示したと報告しています。

• 実験：オセロという限定された課題で、内部表現を調べ、介入して出力の変化を見た
• 解釈：「ルールを丸暗記しているのではなく、盤面を内部で保っている」という読み方
• 注意：対象は実験用に訓練されたモデルで、市販のチャットAIの会話全般について直接述べたものではありません

例2：Claudeの内部を追跡した研究

AnthropicのTracing the thoughts of a large language model（2025年3月27日）は、Claude 3.5 Haikuの内部の計算経路を調べた報告です。詩で韻を踏む語を先に決めているように見える例や、言語をまたいで共通の表現が使われる例が紹介されています。

• 実験：特定のプロンプトで内部の特徴の働きを追跡した
• 比喩：「思考」「言語に依らない思考の言葉」といった表現
• 限界の記述：著者自身が、この方法は計算の一部しか捉えられず、解釈に人手で数時間かかると書いています

「先を計画しているように見える」は観測に近い記述ですが、「だから人間と同じ意味で理解している」までは、この資料からは出てきません。

例3：AIが書く「考えた過程」は内部の説明か

AnthropicのReasoning models don't always say what they think（2025年4月3日）は、問題にヒントを紛れ込ませ、モデルが推論の文章でそのヒントに触れるかを調べました。報告では、ヒントを使った場合でも、Claude 3.7 Sonnetが触れた割合は平均で約25%、DeepSeek R1は約39%でした。この実験は評価問題にヒントを入れる設定で行われており、その結果だけから一般的な会話すべてに当てはめることはできません。

これは「AIが理由を説明できる＝理解している」という読み方に対する、実験に基づく注意材料です。説明の文章が、実際に答えを出した過程を忠実に表しているとは限りません。

確認用の質問リスト

主張を読んだら、次の質問に答えられるか確認します。「書いていない」が多いほど、根拠は弱いか、読み手に見えていません。

1. 対象のモデル名とバージョンは書いてあるか
2. 課題は何か（オセロのような限定課題か、日常的な会話か）
3. 「理解」を何で測ったか（正解率、内部表現、介入の結果など）
4. 比較対象はあるか（別の条件、別のモデル、ランダムな場合）
5. 結果と著者の解釈が文として分かれているか
6. 「考える」「分かる」は比喩として使われていないか
7. 著者自身が限界を書いているか
8. 一次資料（論文や公式の報告）に当たれるか。記事が一次資料を引いていないなら、ここで止まる

用途に当てはめる判断表

「理解しているか」を哲学的に決める必要はありません。自分の使い方で何を確認すれば足りるかを決めます。

• 文章の下書き・要約、AIに任せること：文面の案を作る、人が確認すること：原文と照合して抜けや誤りを見る
• 調べ物、AIに任せること：論点の整理、探す手がかり、人が確認すること：出典を自分で開いて確かめる
• 判断の理由の説明、AIに任せること：判断材料の列挙、人が確認すること：説明を鵜呑みにせず、結論を別の方法で検算する
• 業務の自動化、AIに任せること：定型の処理、人が確認すること：少数の例で結果を確認してから範囲を広げる

「理解している」という言葉を信じるかどうかより、出力を自分でどう検証するかが実務では効きます。

AIに仕分けを手伝わせる依頼文

記事や投稿の文章を貼り付けて、仕分けの下書きを作らせる使い方です。機密を含む文章は貼らず、公開されている文章だけを使ってください。

次の文章を一文ずつ「実験」「比喩」「解釈」「その他」に分類し、表にしてください。
・実験：モデル名・課題・測定方法のいずれかが書いてある文
・比喩：「考える」「分かる」など擬人的な言い方が中心の文
・解釈：結果から著者が結論を引いている文
・各文について、分類の理由を一言で付けてください
・文章に書かれていない情報は推測で補わず「書いていない」と書いてください
【文章】
（ここに貼り付ける）

この結果はあくまで下書きです。分類が合っているかは、先の質問リストを使って人が確かめます。

説明用の例

次の文は、仕分けの練習のための架空の文です。実在の記事や調査ではありません。

「最新のAIは人間のように文章を理解している。実際、試験で高得点を取った。」

• 「人間のように」：比喩（何を人間と同じとみなすのか不明）
• 「試験で高得点」：実験に見えるが、どの試験か、どのモデルか、比較対象が書いていない（質問1〜4が未回答）
• 「理解している」：解釈（高得点から理解へ飛んでいる）

こう仕分けると、確認すべきことは「どの試験で、どのモデルが、どの条件で得点したか」だと分かります。

読んだあとの使い方

「AIは理解している」「理解していない」のどちらの強い主張にも、同じ手順が使えます。まず文ごとに実験・比喩・解釈に分け、実験の部分だけを一次資料で確かめます。その上で、自分の用途の判断表に戻って、どこを人が確認するかを決めてください。