資格試験の過去問解説をAIで補う:公式の解答や解説と食い違うとき

AIの解説は、滑らかなほど確認が要る

Anthropicのサポートページは、Claudeが誤解を招く回答をすることがあり、権威があるように見える引用でも事実に基づかない場合があると説明しています。また、Claudeを唯一の情報源とせず、重要度の高い助言は注意深く吟味するよう求めています(Claude is providing incorrect or misleading responses)。これはClaudeに限らず、生成AI全般に当てはめて考えておくのが安全です。

資格学習では、選択肢ごとの説明がよどみなく書かれていると、誤りに気づきにくくなります。説明の滑らかさは、正しさの目安になりません。

手順1:同じ条件で比べているか確認する

AIが間違えたと決める前に、自分側の条件をそろえます。

• 問題文をそのまま貼れているか。「正しいものはどれか」と「誤っているものはどれか」を取り違えていないか
• 図表や選択肢の一部が抜けていないか
• 出題年度と、AIに伝えた年度が一致しているか
• 手元の過去問集の解答と、試験実施団体の公開解答が同じ版か

過去問では、出題時点の法令・基準・技術で正解が決まる場合があります。AIが現行の制度で答えていると、それだけで食い違うことがあります。年度と基準日を明示して聞き直し、答えが変わるかを見てください。

手順2:公式側の訂正と、資料の層を確かめる

公式解答も、公開後に訂正や補足が告知される場合があります。扱いは試験ごとに違うので、自分の試験の実施団体の告知で確認してください。

あわせて、いま見ている資料がどの層かを分けて記録します。

• 一次(試験の根拠)、例：実施団体の公式解答・訂正告知、出題範囲、条文・基準の本文、食い違ったときの扱い：最優先
• 準一次、例：団体公認の公式テキスト・公式問題集、食い違ったときの扱い：一次と矛盾しなければ採用
• 二次、例：市販の過去問集、予備校・個人ブログの解説、食い違ったときの扱い：根拠が示された範囲で参考
• AI、例：生成された解説、食い違ったときの扱い：一次・準一次に結びつくまで「仮説」

手順3:AIに根拠の種類を付けて整理させる

「本当ですか?」と聞き直すより、AIの主張を分解させるほうが確実です。AnthropicのClaude Platform Docsは、誤りを減らす方法として、次のものを挙げています。

• 分からないときは「分からない」と言ってよいと許可する
• 原文の引用を先に抜き出させる
• 各主張に裏づけの引用を付けさせ、見つからない主張は撤回させる

同じページには、同じプロンプトを複数回実行して出力の不一致を見る方法もあります。ただし同ページは、これらの方法でも幻覚はなくならず、重要な情報は必ず検証するよう注意しています(Reduce hallucinations)。

次の依頼文は、この考え方を過去問向けに言い換えた編集上の提案です。実際に動かして効果を測ったものではありません。個人情報や受験者番号などは貼らないでください。

以下の過去問について、公式解答と、先ほどのあなたの解説が食い違っています。
どちらが正しいかは決めず、次の順で整理してください。

【問題】(問題文と選択肢を貼る)
【出題年度・基準日】(例:2023年度、出題時点の法令・基準で考える)
【公式解答】(公式の正解と、あれば公式解説)
【あなたの先ほどの解説】(貼る)
【参照資料】(自分で入手した条文・公式テキストの該当部分。なければ「なし」)

1. 食い違いを「結論(選択肢)」「理由」「前提(年度・用語の定義)」に分けて書く
2. あなたの解説の各主張に、根拠の種類(条文・基準・公式テキスト・一般的知識)を付ける
3. 【参照資料】に根拠となる文があれば、そのまま引用する。なければ「資料内に根拠なし」と書く
4. 資料に根拠がない主張は、確からしく見えても「未確認」と明記する
5. 分からない点は「分かりません」と書く。推測で埋めない
6. 私が一次資料で確認すべき項目を、探す対象(例:○○条の本文、出題範囲の該当項目)として列挙する

効くのは3番と4番です。「資料で確認できる部分」と「推測の部分」が分かれます。ただし、AIが付ける「根拠の種類」の表示も誤っている可能性があります。引用された文が参照資料に本当にあるかは、自分の目で照合してください。同じ質問で答えがぶれるなら疑う手がかりになりますが、毎回同じ答えでも正しいとは限りません。

食い違いの型で見る

説明用の架空の例です。ある試験で、公式解答は「イ」、AIは「ウ」と答えたとします。

• 結論が違う:前提(年度、定義)のずれ、自分の読み違い、AIの誤りのどれかです。手順1に戻って切り分けます。
• 結論は同じで理由が違う:点は取れますが、誤った理由は別の問題で響きます。根拠を確認するまで、AIの理由は採用しません。
• 公式解説がなく、AIの解説だけある:AIの解説は仮説です。手順4の探し先で確認します。

手順4:一次資料と突き合わせて判断する

探す資料は、食い違いの内容で変わります。URLは試験ごとに違うため、自分の試験の公式サイトで該当資料を探してください。

• 正解の選択肢そのもの、探す資料：実施団体の公式解答、訂正・追加告知、確認すること：訂正の有無、複数正解の扱い
• 出題範囲に入るか、探す資料：試験要綱、シラバス、出題範囲表、確認すること：該当項目が範囲内か、改訂時期
• 法令・制度の内容、探す資料：条文の原文、所管官庁の公式解説・通達、確認すること：出題時点の版か、現行版か
• 用語の定義、探す資料：公式テキスト、規格・基準の本文、確認すること：別分野の定義を持ち込んでいないか
• 計算・数値、探す資料：問題文の条件、公式の解法、確認すること：前提条件の見落とし、単位、端数処理
• 公式側が不明確、探す資料：実施団体の問い合わせ窓口、確認すること：回答は日付とともに記録する

AIが示した条文番号・文献名・URLは、実在するかを必ず自分で確認します。確認できたら、次の表で決着をつけます。

• 年度・基準日のずれが原因、判断：AIの前提を直す、次の行動：年度を明示して再質問
• 自分の貼り間違い・読み違い、判断：公式解答に従う、次の行動：問題文を取り直す
• AIの根拠が一次資料に見つからない、判断：AIの主張は採用しない(未確認)、次の行動：公式解答と公式テキストで覚える
• AIの根拠が一次資料にあり、公式解答と矛盾、判断：保留、次の行動：訂正告知を確認し、実施団体に問い合わせる
• 公式解答と一次資料の双方で裏づけられる、判断：公式解答を採用、次の行動：AIの誤りの型をメモする
• 確認材料が足りない、判断：保留、次の行動：試験直前なら公式解答で覚え、後日調べる

点を取る目的なら、答えは原則として公式解答に合わせます。採点の基準は公式側にあるからです。AIの指摘が正しそうでも、疑問は「保留メモ」に残し、試験後でも一次資料で確かめれば十分です。

教える人が使うときの運用

講師や指導者が生徒にAI解説を配るなら、次を決めておくと混乱が減ります。

• AIの解説には、年度・基準日・参照した資料名を併記する
• 公式解答と食い違った例は、手順2〜4を生徒の前でたどって見せる。誤りの型が教材になる
• 「AIの解説は仮説。根拠が一次資料に結びついたら採用」と最初に伝える

共有表に「問題番号/公式解答/AIの答え/食い違いの型/確認した資料/結論」の欄を作ると、どの型で間違えやすいかが蓄積します。まず次に食い違った1問で、この表に1行書いてみてください。