マガジン

RAGを作る前に決めておくこと:対象資料・想定質問・誤答の許容度の要件シート

AIを使いこなす

Claudeで執筆し、GPTで自動校閲・修正しています。

規程資料と質問カード、台帳を机上で確認する様子
記事の内容をもとに制作したAI生成イメージです。実際の製品画面や検証結果の写真ではありません。

RAG(検索で見つけた資料をもとにAIが回答する仕組み)を作る前に決めておくことは、ベクトルDBやモデルの種類ではありません。「どの資料で」「誰の」「どんな質問に」「どこまで間違いを許すか」 の4点です。これに、資料にない質問のときの振る舞いと、答えてはいけない範囲を加えた6項目を紙に書き出せれば、技術選定の土台ができます。 この記事では、その6項目を書き込める要件整理シートの雛形を示します。後半には、AIに下書きを手伝わせる依頼文と、誤答の許容度を決める判断表もあります。シートの記入例は「説明用の例」で、実際の組織や実測の結果ではありません。

この記事の目次
  1. なぜ技術より先に資料と質問を決めるのか
  2. 要件整理シートの雛形(A〜C:目的・資料・質問)
  3. 禁止事項と誤答の影響を書く(D・E)
  4. AIに下書きを手伝わせる依頼文
  5. 記入後に確認すること

なぜ技術より先に資料と質問を決めるのか

MicrosoftのAzure Architecture Centerは、RAG開発の最初の段階(準備フェーズ)で、まず業務上の要件からソリューションの領域を定義するとしています。そのうえで、文書の収集、内容の分析、領域に関係するサンプル質問の収集を並行して進める流れです。質問は資料で答えられる必要があり、資料もその質問に答えられる必要があるため、両方を同時に揃えます(RAG preparation phase、2026年10月29日に閲覧)。

同じページでは、内容分析で次の点を把握するよう挙げています。

  • 資料の分類(仕様書、契約書、研修動画など)
  • 形式(PDF、Markdown、HTML、DOCXなど)
  • セキュリティ上の制約(認証・認可が要るか)
  • 構造や特徴(表、図、段組みなど)

また、テスト用の質問には「資料では答えられない質問」も含め、その場合は「分からない」と答えさせるか、参照先を案内するかを検討する、という趣旨の記述があります。以下のシートは、この考え方を社内資料向けの記入欄に落とした編集上の提案です。

要件整理シートの雛形(A〜C:目的・資料・質問)

コピーして使えるよう、表の形で示します。記入例は説明用の架空のものです。

シートA:目的と利用者

  • 解決したい業務の困りごと、記入欄:、説明用の例:経費精算の規程を探す問い合わせが総務に集中している
  • 利用者(誰が使うか)、記入欄:、説明用の例:全社員(約◯名の想定)。経理担当は対象外
  • 使う場面、記入欄:、説明用の例:申請前の確認。最終判断は申請フローの承認者が行う
  • 使わせない場面、記入欄:、説明用の例:個別の税務判断、例外承認の可否
  • 回答の責任者・資料のオーナー、記入欄:、説明用の例:総務部の規程担当
  • 今の代替手段、記入欄:、説明用の例:社内ポータルの検索、総務への問い合わせ

シートB:対象資料台帳

1資料1行で書きます。

  • 経費精算規程(例)、分類:規程、形式:PDF、最新版の管理者:総務、更新頻度:年1回、閲覧できる人:全社員、表・図・スキャンの有無:表あり、判定(含める/除外/要確認):含める
  • 出張FAQ(例)、分類:FAQ、形式:社内Wiki、最新版の管理者:総務、更新頻度:随時、閲覧できる人:全社員、表・図・スキャンの有無:なし、判定(含める/除外/要確認):含める
  • 役員会資料(例)、分類:会議資料、形式:PPTX、最新版の管理者:経営企画、更新頻度:都度、閲覧できる人:役員のみ、表・図・スキャンの有無:図表多数、判定(含める/除外/要確認):除外

「閲覧できる人」の列は飛ばさないでください。利用者ごとに見てよい資料が違う場合は、検索の段階でもその権限を保てるかを確認する必要があると、前述のMicrosoft資料も述べています。また、同じ内容の旧版と新版が混在していないかもここで確認します。

シートC:質問例

最低でも、実際の問い合わせ履歴や現場の聞き取りから集めます。件数の目安は企画の規模で変わるため、ここでは固定しません。

  • 1、質問(利用者の言葉のまま):タクシー代は精算できますか、質問者:一般社員、根拠の資料と箇所:経費精算規程 第◯条、期待する回答:条件付きで可。条件は…(例)、種別:資料内で回答可、資料にないときの望ましい動き:-
  • 2、質問(利用者の言葉のまま):先月の出張の上限額っていくら?、質問者:一般社員、根拠の資料と箇所:出張FAQ+規程、期待する回答:職位別の上限を提示(例)、種別:複数資料、資料にないときの望ましい動き:-
  • 3、質問(利用者の言葉のまま):私のケースは例外になりますか、質問者:一般社員、根拠の資料と箇所:なし、期待する回答:回答しない、種別:資料にない/個別判断、資料にないときの望ましい動き:総務の窓口を案内

「種別」には、資料内で回答可/複数資料の統合/資料にない/質問が曖昧の4種類を最低限使い、「資料にない」を必ず混ぜてください。Microsoftの資料でも、質問、根拠となる文章、正しい回答の3点を組にして持つこと、そして顧客や分野の専門家が内容を確認する関門になることが勧められています。

禁止事項と誤答の影響を書く(D・E)

シートD:回答範囲と禁止事項

次の欄を文章で埋めます。AIへの指示(システムプロンプト)の元にもなります。

  • 回答してよいこと:例)規程に書かれている条件・手順・金額の説明
  • 回答してはいけないこと:例)個別事案の可否判断、法的な解釈、人事評価に関わる助言
  • 資料にないとき:例)「分からない」と答え、担当窓口を案内する
  • 必ず付けるもの:例)根拠資料名と該当箇所、資料の更新日
  • 扱わない情報:例)個人情報を含む資料、閲覧権限が異なる資料

シートE:誤答の影響と許容度

誤答を「許さない」の一言で済ませると、どの検証にも基準がなくなります。質問のカテゴリごとに影響を書き分けます。

  • 社内手続きの場所案内(例)、誤答した場合に起きること:少し探し直す、影響度:低、許容度:一定の誤りは許容、必須の対策:出典リンク表示、確認する人:総務担当
  • 精算の金額・期限(例)、誤答した場合に起きること:差し戻し・手戻り、影響度:中、許容度:原則許容しない、必須の対策:出典の引用表示、不確かなら回答しない、確認する人:規程担当
  • 個別の可否判断(例)、誤答した場合に起きること:誤った申請・規程違反、影響度:高、許容度:回答させない、必須の対策:回答拒否と窓口案内、確認する人:部門責任者

許容度の決め方は、次の判断表を目安にしてください(編集上の提案です)。

  • 軽い(探し直す程度)、方針:出典を付けて回答、設計上の意味:検索結果の質の確認が中心
  • 業務上の手戻りが出る、方針:出典の引用が付く場合のみ回答、設計上の意味:根拠が見つからないときは回答しない設計が要る
  • 金銭・契約・安全・規程違反に関わる、方針:AIに結論を出させず、資料の該当箇所の提示と窓口案内に留める、設計上の意味:最終判断は人が行う

AIに下書きを手伝わせる依頼文

質問例の収集は、専門家でも網羅しにくい作業です。Microsoftの資料は、資料のかたまりから質問と回答案を生成させる方法を紹介しつつ、生成結果は必ず専門家が検証するとしています。それを踏まえ、シートCの下書き用に使える依頼文を示します(未実行の例です)。

text
あなたは社内規程の問い合わせ対応を整理する担当です。
以下の【資料抜粋】だけを根拠に、社員が実際に尋ねそうな質問を6件作ってください。
・4件は資料だけで答えられる質問、1件は資料に書かれていない質問、1件は個別事案の判断を求める質問にする
・質問は「です・ます」ではなく、社員が話し言葉で打つ書き方にする
・各質問に、根拠となる一文の原文、期待する回答、種別(資料内で回答可/資料にない/個別判断)を付ける
・資料にない質問は、根拠欄を「なし」にする
・表形式(No/質問/根拠/期待する回答/種別)で出力する

【資料抜粋】
(ここに説明用に作り替えた規程の一部を貼る)

渡す抜粋は、実際の機密情報や個人情報を含めず、金額や部署名を置き換えたものにしてください。AIが作った質問は、実際の問い合わせ履歴と照らして、現場の言い回しに直します。

記入後に確認すること

  1. 資料と質問の突き合わせ:シートCの根拠欄が埋まらない質問は、資料不足か対象外です。資料を足すか、質問を「資料にない」に分類し直します。
  2. 台帳の「要確認」を潰す:権限や版の管理者が未定の資料は、RAGに入れる前に決めます。
  3. 誤答の影響を担当者とレビューする:シートEは開発者だけで埋めず、規程の担当者に確認してもらいます。
  4. 見直しの周期を決める:質問と回答の組は、資料が改訂されたら更新します。Microsoftの資料も、質問と回答が元の資料を反映し続けているかを定期的に見直すよう勧めています。

ここまで埋まれば、「この質問セットで、このカテゴリは出典付きで答え、このカテゴリは答えない」という合格基準を、実装前に言葉で示せます。技術の比較検討はそのあとで始められます。

出典・参考資料