AIが知っていることと調べて答えることの違い:学習済みの知識と検索の線引き

学習済みの知識と、その場で参照した情報

AIが「知っている」状態は二種類あります。

• 学習済みの知識:大量の文章から学ぶ過程でモデルの内部に残ったもの。質問文に資料を添えなくても答えに現れます。
• その場で参照した情報:質問のあとに検索や、アップロードしたファイルの読み取りで取り込んだもの。答えの直前に文章として手元にあります。

この区別は研究でも古くからあります。2020年の論文「Retrieval-Augmented Generation」(arXiv)は、事前学習済みのモデル(パラメトリックな記憶)に、Wikipediaのインデックスのような外部の記憶(非パラメトリックな記憶)を組み合わせる方式を提案しました。同論文は、事前学習モデルには知識の扱いに限界があり、判断の根拠の提示と世界知識の更新は未解決の研究課題だと述べています。つまり「内部の知識だけでは、出どころを示すことと更新が難しい」という問題意識から、検索を足す設計が生まれました。

実際の製品でも、時間の区切りは仕様として存在します。OpenAIのヘルプは、APIモデルが持つ最近の出来事への知識はモデルごとに違い、各モデルのカットオフ日は別ページで確認するよう案内しています。そのギャップを埋める手段として、Web Searchなどのツールを提供しているとも説明しています(OpenAI Help Center)。カットオフ日や対応ツールは更新されるため、使うサービスの最新の案内で確認してください。

画面で見分ける4つの手がかり

OpenAIの解説ページによると、ChatGPTでは最新情報などを尋ねるか、ツールメニューからWeb Searchを選ぶと検索でき、回答の横に出る地球アイコンが検索使用の目印になります。回答内の引用リンクから元の資料を確認することも案内されています(OpenAI Academy)。これはChatGPTの説明で、他のAIサービスでは表示や名称が異なります。共通して使える見方は次の4つです。

1. 検索中の表示があるか:検索や参照を示す表示は、その場の取得があった目印になります。
2. 出典リンクが付いているか:リンクなしで細かい数字や日付が並ぶ場合は、内部の知識か、出典が見えない状態です。
3. リンク先に実際に書いてあるか:リンクを開き、答えの数字や固有名詞がそのページにあるかを探します。ここが最も重要です。
4. 資料の日付と発行元:公式発表か、個人の感想か、転載か。日付がいつかも確認します。

検索が使われても、取得した文章をAIが読み違える可能性は残ります。リンクがあることは「確認できる状態」を意味するだけで、「正しい」ことの保証ではありません。

出どころを確かめる質問例

そのまま貼り付けられる依頼文を用意しました。サービスや設定によって動作は変わるため、実行結果は画面の表示とリンクで判断してください。

質問例A:検索の有無を分けて答えさせる

次の質問に答えてください。
質問:〔調べたいこと〕
条件:
・検索や資料の取得をした場合は、取得した資料のURLと日付を示してください。
・検索していない場合は「検索していない」と最初に書いてください。
・答えの各項目に「資料から」「一般的な知識から」のどちらかを付けてください。

質問例B:根拠の位置を示させる

上の回答のうち、数字・日付・固有名詞だけを一覧にしてください。
それぞれについて、根拠のURLと、そのページ内の該当箇所(見出し名または文言)を示してください。
見つからないものは「根拠を示せない」と書いてください。

質問例C:古い可能性を自己点検させる

この話題は、あなたが学習した時点より後に変わっている可能性がありますか。
変わりやすい点を3つ挙げ、その確認先として公式サイトの種類を示してください。

注意点として、AIが「検索していません」「資料から答えました」と書いても、それだけでは確証になりません。必ず画面の検索表示とリンク先で照合します。照合できなかった項目は、未確認として扱います。

最新の話題で頼れるか判断するフロー表

上から順に確認します。「はい」なら右の行動へ進みます。

• 1、確認すること：話題は直近で変わる性質か(新製品、制度、価格、ニュース、バージョン)、はい：2へ、いいえ：内部の知識で足りる場合が多い。重要なら質問例Cで点検
• 2、確認すること：検索や参照を使える設定になっているか、はい：3へ、いいえ：検索をオンにするか、公式ページ本文を自分で貼って読ませる
• 3、確認すること：画面に検索表示や出典リンクがあるか、はい：4へ、いいえ：内部の知識の可能性が高い。そのまま使わず、公式サイトで確認
• 4、確認すること：数字・日付・固有名詞の根拠がリンク先に書いてあるか、はい：5へ、いいえ：その項目は採用しない。質問例Bで再確認
• 5、確認すること：資料は公式発表や一次資料で、日付は十分新しいか、はい：利用してよい(重要事項は原文も読む)、いいえ：一次資料を探し直す。見つからなければ「未確認」と明記

お金、契約、健康など結果が重い判断は、5まで通っても原文を自分で読む段階を省かないでください。

説明用の例

次は実在しない場面を想定した説明用の例で、実際に実行した結果ではありません。

• 質問:「あるメーカーの新型イヤホンの発売日と価格を教えて」
• AIの回答に検索表示も出典リンクもなく、「2月発売、1万円前後」とだけ書いてある。

表に当てはめると、1は「はい」(新製品)、3で「いいえ」になります。この回答は内部の知識による推測の可能性が高いため採用せず、検索をオンにして質問例Aで再度尋ねるか、メーカーの公式発表ページを確認します。再質問で出典リンクが付いた場合は、4で価格がそのページに載っているかを確かめます。

検索ありでも残る落とし穴

• 検索結果が古い・不適切:検索は新しい資料を取れる可能性を広げますが、上位に出た資料が最新で正確とは限りません。
• 要約時の取り違え:資料にない内容を補って書くことがあります。質問例Bの照合がその対策です。
• 混在:一つの回答に、資料からの内容と内部の知識が混ざります。質問例Aの「資料から/一般的な知識から」の区別で切り分けます。
• 出典リンクの数に安心する:リンクが多くても、肝心の数字が書かれていなければ根拠になりません。

見るべき点を一言にすれば、「この一文は、どの資料のどこに書いてあるのか」です。答えられる文は確認でき、答えられない文は、まだ推測の段階にあります。