AIがもっともらしい間違いを言う理由と、間違えやすい質問の見分け方

なぜ「もっともらしい」誤りが出るのか

言葉を次々に予測して文章を作っている

生成AIの文章は、ここまでの文脈から「次に来そうな言葉」を選ぶ作業を繰り返して作られます。これは一般的な説明で、この記事の中心になる考え方です。

この方法は、文法や話の流れを整えるのが得意です。一方で、「流れとして自然」であることと「事実として正しい」ことは別のものです。たとえば「〇〇氏は△△大学を卒業し、」まで書いた時点で、大学名として自然な名前が続きやすく、それが実在の経歴と合っているかは別問題になります。誤りも、正しい文章と同じ滑らかさで出てきます。だから読んだ印象では見分けにくいのです。

一度しか出てこない細かい事実は身につきにくい

研究者による論文「Why Language Models Hallucinate」(arXiv、2025年9月提出)は、ハルシネーションを神秘的な現象ではなく、統計的な原因で説明しようとしています。この論文は、人物の誕生日のような「規則から導けない個別の事実」を例に挙げています。こうした事実が学習データに一度しか現れない場合、モデルは正確に身につけにくく、誤った答えを作りやすいという考え方です。

ここから言えるのは、有名で何度も言及される事実より、マイナーで細かい事実のほうが危ないということです。ただし論文は理論面の分析が中心です。具体的な製品や質問ごとにどの程度間違うかまでは、この記事では扱いません。

「分からない」と言うより、答えたほうが得をしやすい

同じ論文は、多くの評価方法が「分からない」という回答を正解と同じ扱いにせず、運よく当たる可能性のある推測のほうを有利にしていると指摘します。テストで空欄にするより、当てずっぽうでも書いたほうが点を取れるのと似た構造です。

つまり、AIが自信ありげに答えるのは嘘をつく意図があるからではなく、答えを出す方向に仕組みが偏りやすいからです。使う側は、分からないと言ってよいと明示することで、この偏りをある程度和らげられます。

間違えやすい質問タイプの一覧表

下の表は、ここまでの仕組みを踏まえた編集上の整理です。実測の誤答率ではなく、「注意が必要な度合い」の目安として使ってください。例はすべて説明用の例です。

• 1. 個別の細かい事実、説明用の質問例：「地方の小さな会社の創業者の出身校は?」、危ない理由：学習データに少ししか現れず、もっともらしい名前で埋めやすい、受け取る前にすること：公式サイトなど本人・組織の一次情報で照合する
• 2. 出典・引用・書誌情報、説明用の質問例：「この説を裏づける論文を3本、著者と年つきで」、危ない理由：題名や著者名は「それらしい組み合わせ」を作りやすい、受け取る前にすること：実在をデータベースやURLで必ず開いて確認する
• 3. 誤った前提を含む質問、説明用の質問例：「〇〇法の第99条はどう改正された?」(そもそも該当条文がない場合)、危ない理由：前提を疑わず、話に合わせて続きを作りやすい、受け取る前にすること：前提が正しいかを先に別の手段で調べる
• 4. 最新情報・変わる情報、説明用の質問例：「今の料金プランと上限は?」、危ない理由：学習時点以降の変更を知らない可能性がある、受け取る前にすること：提供元の公式ページで日付とともに確認する
• 5. 正確な数字・計算・件数、説明用の質問例：「この文章は何文字?」「この一覧は何件?」、危ない理由：数える作業ではなく、数字らしい言葉を予測しているだけの場合がある、受け取る前にすること：表計算や電卓、文字数カウント機能で自分で数える
• 6. 手元の資料の内容、説明用の質問例：「先ほどの資料の3ページ目の結論は?」(資料を渡していない)、危ない理由：渡されていない内容も、それらしく補ってしまう、受け取る前にすること：資料の本文を貼り、「その範囲だけで」と指定する
• 7. 長文要約の細部、説明用の質問例：「この議事録から決定事項と担当者を全部」、危ない理由：要点は拾えても、人名・日付・条件が入れ替わることがある、受け取る前にすること：原文の該当箇所を引用させ、照合する
• 8. 形式を強制する質問、説明用の質問例：「必ず5つ、すべて出典つきで挙げて」、危ない理由：該当が5つ未満でも、数合わせで作りやすい、受け取る前にすること：「見つからなければ、ない」と答えてよいと書く

迷ったら、「1文字違えば誤りになる情報か」「学習した時点より後に変わりうる情報か」「自分の手元にしかない情報か」の3点を見てください。どれかに当てはまるほど、AIの答えをそのまま使うのは避けたほうが安全です。

答えを受け取る前の確認チェックリスト

AIの回答を見たあと、使う前に次の順で確認します。すべてに答える必要はなく、該当するものだけで十分です。

1. 固有名詞・数字・日付・URLを拾い出したか。 回答のうち、後で人に伝えたり決定に使ったりする部分に印を付けます。
2. その事実は一次情報で確認したか。 公式ページ、原本の資料、論文そのものなど、情報の出どころで確かめます。
3. 出典として挙げられたものを実際に開いたか。 開けない、または内容が回答と合わない場合は、その主張を使いません。
4. 質問の前提が正しいか確認したか。 回答が前提を疑わず話を進めていないか見ます。
5. 最新性が必要な情報なら、日付を確認したか。 公式ページの日付や、適用されるプランを見ます。
6. 数える・計算する部分を別の道具で検算したか。
7. 資料を渡した場合、回答が資料の範囲内に収まっているか。 資料にない話が混ざっていないか照合します。
8. 同じ質問を言い換えて聞き直したとき、答えは一致するか。 食い違う部分は怪しいと判断します。

8番は、AnthropicのClaude向け資料「Reduce hallucinations」でも、同じ質問を複数回実行して出力を比べ、食い違いがあれば幻覚の可能性を疑う方法として紹介されています。ただし一致していても正しいとは限りません。同じ誤りを繰り返すこともあるので、一致は安心材料の一つにとどめてください。

そのまま使える依頼文

同じ資料は、基本策として次の3点を挙げています。分からないと言ってよいと許可する、長い文書では先に原文の引用を抜き出させる、各主張に裏づけの引用を付けさせて見つからなければ取り下げさせる、です。これらを日本語の依頼文にすると、たとえば次のようになります。以下は説明用の例で、筆者が実行して効果を測ったものではありません。

次の【資料】だけを根拠に、決定事項と担当者をまとめてください。

条件:
・資料に書かれていないことは、推測せず「資料には記載なし」と書く
・まとめる前に、根拠になる文を資料から一字一句そのまま抜き出して番号を付ける
・各項目の末尾に、根拠にした番号を付ける
・根拠が見つからない項目は、削除して「根拠なし」と表示する
・自信がない箇所には「要確認」と付ける

【資料】
(ここに会議メモの本文を貼る。社外秘の内容は、架空の名前や数字に置き換える)

この依頼文の狙いは、AIに正しいと保証させることではなく、人が照合しやすい形で答えを出させることです。根拠の番号が付いていれば、確認作業は「根拠の文と項目が合っているか」を見るだけになります。なお、こうした手法は正しさを保証するものではないため、重要な情報は必ず検証してください。

資料を渡さない質問(たとえば人物の経歴や最新の仕様)には、この方法は使えません。その場合は、表の「受け取る前にすること」に従って自分で一次情報に当たります。

使い分けの目安

• AIに任せやすい: 文章の言い換え、構成案、自分が貼った資料の整理、アイデア出しなど、事実の正しさを後から自分で確かめやすい作業。
• AIの答えを材料にとどめる: 人物・会社・製品の細部、数字、日付、出典。表の1〜5に当たるものです。
• AIの答えを鵜呑みにしない: 費用、契約、健康、法律などに関わる判断。AIの回答は調べる手がかりとして使い、判断は専門家や公式情報で行ってください。

ハルシネーションは、AIが使えないという意味ではありません。質問の型を見分け、どこを自分で確かめるかを決めておけば、AIの便利さを保ったまま誤りを拾えます。