AIの「自信はありますか?」への答えを信じてよいか:確信度の限界と代わりの確かめ方

なぜ「自信は?」への答えを当てにしにくいのか

研究では「条件つきで当たる」にとどまる

AIの自己評価は全く当たらないわけではありません。Anthropicの研究者らによる論文「Language Models (Mostly) Know What They Know」(arXivの研究論文)では、モデルに「自分の回答案は正しいか」を判定させる方法(P(True))が、選択式の問題などで、モデルが大きいほど較正(自己評価と実際の正答率の一致)されやすいと報告されています。

一方で同論文は、回答案を示さずに「この質問に答えを知っているか」を予測させる方法(P(IK))は、新しい種類のタスクでは較正がうまくいかないとも述べています。また、関連する資料や解法のヒントを与えると自己評価が改善する、という点も報告されています。

つまり、当たりやすい条件はあるものの、私たちが普段する質問(新しい話題、固有名詞、最近の出来事など)がその条件に入っているかは、画面からは分かりません。この論文は特定のモデルを対象にした研究なので、いま使っているサービスにそのまま当てはまるとも言えません。

推測するほうが得をする仕組みがある

もう一つの理由は、AIが「分からない」と言いにくい構造です。OpenAI関係者らによる論文「Why Language Models Hallucinate」(arXivの研究論文)は、現在の訓練や評価の手順が、不確かさを認めるよりも推測することを有利にしがちで、それが幻覚(もっともらしい誤り)の一因になると論じています。

この指摘に沿って考えると、自信満々な口調は「正しいから」ではなく、「推測しても減点されにくいように作られているから」生じている可能性があります。口調や数字は、中身の確かさとは別物として扱うのが無難です。

自己評価に頼らない確認方法の一覧

次の表は、手間の少ない順に並べた確認方法です。Anthropicの開発者向け文書「Reduce hallucinations」には、わからないと言う許可を与える、原文の引用で裏付けさせる、同じ質問を複数回行って比べる、といった手法が挙げられています。表の「向いている場面」と「限界」の列は、それを踏まえた筆者の整理です。

• 「分からない」を許可する、やり方：「根拠が足りなければ『分かりません』と答えて」と書く、向いている場面：資料に基づく質問、事実の質問全般、限界：減らす効果はあっても、誤りがゼロになるわけではない
• 原文の引用を出させる、やり方：貼った資料から該当箇所をそのまま抜き出させてから答えさせる、向いている場面：規約、契約、マニュアル、長い文書の要約、限界：引用が本当に原文にあるか、自分で検索して確認が必要
• 主張ごとに裏付けを探させる、やり方：回答後に、各主張を支える引用を探させ、見つからないものは撤回させる、向いている場面：文章の下書き、調査メモ、限界：資料に書かれていない一般知識の確認には使えない
• 同じ質問を複数回する、やり方：新しい会話で同じ質問を3回ほど行い、答えを比べる、向いている場面：数値、年号、固有名詞、手順、限界：毎回同じ誤りを返すこともあるので、一致=正しいとは言えない
• 資料だけを使うよう制限する、やり方：「貼った資料にある情報だけで答えて」と指定する、向いている場面：社内文書、公式ページの確認、限界：資料自体が古い・誤っていれば、そのまま誤る
• 一次情報で自分が確かめる、やり方：公式サイト、法令、論文など発行元のページを開く、向いている場面：数字、日付、料金、規約、法律・医療・お金に関わること、限界：時間がかかる。ただし最も確実

複数回の質問で答えが食い違った場合は、その部分に誤りが含まれる可能性が高いと考え、一次情報に当たる優先箇所の目印にします。

根拠と不確かな点を出させる質問例

以下は説明用の例で、実際に試した結果ではありません。{ }の部分を自分の内容に置き換えて使ってください。機密情報は入力せず、説明用のダミー文に置き換えてから試すと安全です。

例1:答えと一緒に「確かめ方」を出させる

次の質問に答えてください。ただし、下の形式で出力してください。

質問:{確認したいこと}

1. 答え(1〜3文)
2. 根拠:どの資料・発行元のどのページを見れば確認できるか。
   見つけられない、または記憶に頼っている場合は「記憶に基づく」と明記
3. 断定できる部分と、推測が混じる部分を分けて書く
4. 間違っている可能性が高い箇所(数字、日付、固有名詞など)
5. 私が自分で確認するときの検索語を3つ

「自信は何%」のような数字は不要です。分からない点は「分かりません」と書いてください。

「確信度の数字」を求めない代わりに、「どこを疑うべきか」を出させるのがポイントです。ただし、挙げられた出典名やURLが実在するかは、AIの言うことを信じず、自分で開いて確かめます。

例2:貼った資料から引用させる

以下の<資料>だけを使って、質問に答えてください。資料以外の知識は使わないでください。

手順:
1. 質問に関係する箇所を、資料から一字一句そのまま抜き出して番号を付ける
   (見つからなければ「該当なし」と書く)
2. 抜き出した引用だけを根拠に答える。回答中で引用番号を示す
3. 資料からは判断できない点は、「資料からは分かりません」と書く

質問:{質問}

<資料>
{ここに資料を貼る}
</資料>

引用された文が資料に実際にあるかは、貼った資料内を検索すれば短時間で確認できます。

例3:自分の回答を点検させる

直前の回答を読み返し、主張を1つずつ分けて、次の表にしてください。

| 主張 | 根拠の種類(資料の引用/一般知識/推測) | 裏付けとなる引用または出典 | 誤りの可能性が高い理由 |

裏付けが見つからない主張は、削除候補として別に列挙してください。

Anthropicの文書にある「裏付けが見つからない主張は撤回させる」という考え方を、表形式にした筆者のアレンジです。AIが自分の誤りを必ず見つけられるわけではないため、この点検も最終確認ではなく、人が確認する箇所を絞るための作業と考えてください。

確認にかける手間の目安

すべての回答を一次情報で確かめる必要はありません。間違えたときの影響の大きさで、確認の深さを変えます。これは公式の基準ではなく、筆者の提案です。

• 影響が小さい、例：アイデア出し、言い回しの案、最低限の確認：読んで違和感がないか見る
• 他人に出す、例：社内資料、記事、メールの事実部分、最低限の確認：数字・固有名詞・日付を一次情報で確認。複数回質問で食い違いを見る
• 判断や費用に関わる、例：契約、規約、料金、制度、健康、お金、最低限の確認：公式の原文を自分で読む。必要に応じて専門家や窓口に相談する

Anthropicの文書も、これらの手法で幻覚は大きく減らせても、なくなるわけではないとして、重要な情報は必ず検証するよう注意しています。

よくある落とし穴

• 「本当に正しい?」と聞き返して安心する:言い方を変えて同じ内容を繰り返すか、逆に正しい答えまで撤回することがあります。聞き返すなら「根拠の引用を出して」のように、確認できる材料を求めます。
• 出典が付いているから正しいと考える:出典名の形をしているだけで、実在しない、または内容が違う可能性があります。リンクは開いて、書かれている内容を読みます。
• 一致した答えを真実とみなす:同じ質問で3回同じ答えが出ても、同じ誤りを繰り返すことがあります。複数回質問は「怪しい箇所を見つける道具」であって、正しさの証明ではありません。
• 検索機能付きだから大丈夫と考える:検索結果を使うAIでも、資料の読み違えや要約の誤りは起こりえます。引用と元ページの照合は同じように必要です。

今日から使う最小の手順

1. 質問文に「根拠が足りなければ『分かりません』と答えて」と一文を加える。
2. 回答の中の数字・日付・固有名詞に印を付け、根拠の引用か出典を出させる。
3. 重要な点は、新しい会話でもう一度聞き、食い違いがないかを見る。
4. 食い違った箇所と、他人に出す内容は、公式の原文で確かめる。

「自信はありますか?」と聞くより、「どこを見れば確かめられますか?」と聞くほうが、はるかに使える答えが返ってきます。