マガジン

表・図・スライドが多い資料をRAGで読ませる:行ごと・文章化・画像説明の選び方

AIを使いこなす

Claudeで執筆し、GPTで自動校閲・修正しています。

表、フロー図、スライド資料を並べて人が確認している机上の様子
記事の内容をもとに制作したAI生成イメージです。実際の製品画面や検証結果の写真ではありません。

結論から言うと、変換方式は「資料の見た目」ではなく「その部分に何を聞かれるか」で選びます。目安は次の三つです。 • 表:特定の行を引く質問が多いなら、列見出しを各行に付けた「行ごと」の文章にします。表全体の比較や傾向を聞かれるなら、Markdown表のまま残し、短い説明文を添えます。 • 図・グラフ:画像のまま検索するのではなく、「何の図か」「図中の文字」「読み取れる関係や数値」を文章にして索引に入れます。 • スライド:1枚を1チャンクにします。タイトル、本文、図表の説明、発表者ノートを一つにまとめ、資料名とページ番号を付けます。 ここでは、この三つを選ぶ判断表、説明用の変換前後の例、そのまま使える依頼文、変換後の確認手順を順に示します。

この記事の目次
  1. 先に知っておく:なぜ素のテキスト抽出では足りないのか
  2. 変換方式の選択表
  3. 表:行ごと変換と表ごと保持の使い分け
  4. 図・グラフ:画像説明の依頼文
  5. スライド:1枚1チャンクのテンプレート
  6. 変換後に確認する手順

先に知っておく:なぜ素のテキスト抽出では足りないのか

PDFやスライドから文字だけを抜き出すと、表は列の対応が崩れ、図は存在ごと消えます。

Microsoftの公式ドキュメントでは、Azure AI SearchのAzure Content Understandingスキルは表や図をMarkdownで出力し、ページをまたぐ表も一つのまとまりとして扱えると説明されています。一方、Document Layoutスキルが表や図をプレーンテキストで出力する場合、情報が落ちることがあります。同ページによると、画像説明の自動生成とセマンティックチャンキングは、2026-05-01-preview REST APIで利用できるプレビュー機能です。

図の扱いには二つの道があります。マルチモーダル検索の概要では、画像説明を作ってテキスト検索に使う方法と、画像をマルチモーダル埋め込みモデルへ渡す方法が説明されています。用途に応じた整理は次のとおりです。

  • 画像の言語化(verbalization):LLMで説明文を作り、テキスト検索や埋め込みに使う方法です。図の説明文を検索結果や回答の根拠に利用できます。
  • 直接のマルチモーダル埋め込み:抽出した画像をマルチモーダル埋め込みモデルへ渡す方法です。画像とテキストを組み合わせた検索に使えます。画像説明文を作らない構成では、図の内容を示す文章は別途残りません。

業務資料への質問応答では、図の説明文を検索や回答の根拠に使いたい場合に言語化が選択肢になります。画像を含む検索も必要なら、直接埋め込みを組み合わせる構成も検討できます。

自前で組む場合も、考え方は同じです。モデルにPDFをそのまま読ませる方法もあります。たとえばClaudeのPDFサポートは、PDF内の文章・画像・グラフ・表について質問できると説明しています。現行ページでは、Claude APIのリクエストサイズ上限は128MB(利用プラットフォームにより異なる)、1リクエストあたり最大600ページ(コンテキストが1Mトークン未満なら100ページ)と記載されています。ただし、これは「その場で読ませる」機能です。何千ページもの資料を検索対象にするには、事前に検索用の形へ変換して索引に入れる設計が別途必要です。

変換方式の選択表

次の表が、この記事の中心です。方針は編集上の提案で、公式仕様ではありません。

  • 小さい表(〜10行程度)、質問の典型:「Aの条件は?」「AとBの違いは?」、推奨する変換:Markdown表のまま1チャンク+1〜2文の説明、検索用に残す情報:表題、列見出し、出典ページ、主な注意点:表が途中で分割され、見出し行と本体が別チャンクになる
  • 長い表(仕様一覧・料金表)、質問の典型:「型番XXの値は?」、推奨する変換:行ごとの文章化(各行に表題と列見出しを付ける)、検索用に残す情報:資料名、表題、行のキー、ページ、主な注意点:結合セル、注記、単位の欠落
  • ページをまたぐ表、質問の典型:同上、推奨する変換:先に1つの表へ結合してから行ごとに変換、検索用に残す情報:続きページを含む表題、主な注意点:2ページ目以降で見出し行が欠ける
  • 数値中心の表で傾向を聞かれる、質問の典型:「どの月が最大か」、推奨する変換:表を残し、要点を文章で併記、検索用に残す情報:表+要約、主な注意点:要約の数値は人が照合する
  • 図・フロー図、質問の典型:「承認の流れは?」、推奨する変換:画像説明(文章化)+図中文字の転記、検索用に残す情報:図番号、タイトル、手順、図中文字、主な注意点:矢印の向き・分岐を取り違える
  • グラフ、質問の典型:「売上が落ちた時期は?」、推奨する変換:画像説明+読み取れる数値。元データがあればそちらを優先、検索用に残す情報:軸の名前、単位、系列名、主な注意点:目盛りからの読み取りは誤差が出る
  • スクリーンショット、質問の典型:「この設定画面のどこ?」、推奨する変換:画面名と見えている項目名を文章化、検索用に残す情報:画面名、項目名、操作の位置、主な注意点:古い画面のまま残り、内容が陳腐化する
  • スライド、質問の典型:「あの提案の根拠は?」、推奨する変換:1枚1チャンクに統合、検索用に残す情報:資料名、章タイトル、ページ、図表説明、ノート、主な注意点:見出しが「概要」だけで中身が特定できない

元のファイルがExcelやCSV、スライドの元データなど、構造を持った形で手元にあるなら、画像として読ませるより元データを使うほうが確実です。画像の読み取りは、元データが無いときの手段と考えてください。

表:行ごと変換と表ごと保持の使い分け

表を機械的に分割すると、見出し行が1つ目のチャンクに残り、データ行が2つ目のチャンクに移ります。2つ目だけが検索で当たると、「3日」が何の値なのか分かりません。これを防ぐのが行ごと変換です。

説明用の例(架空の社内資料。実在の規程ではありません)

変換前(Markdown表):

表2 機種別の貸出条件
| 機種 | 貸出期間 | 延長 | 持出 |
|---|---|---|---|
| ノートPC A | 14日 | 1回まで | 可 |
| プロジェクター | 3日 | 不可 | 社内のみ |

変換後(1行を1チャンクに):

資料:備品貸出ガイド(p.5)/表2 機種別の貸出条件
機種:プロジェクター/貸出期間:3日/延長:不可/持出:社内のみ

これなら、「プロジェクターは延長できますか」という質問が、このチャンク単独で答えに届きます。表題と資料名を毎行に付けるのがポイントです。

きれいに抽出できた表の行ごと変換は、LLMではなく単純な処理で行うほうが安全です。LLMに書き換えさせると、数値や単位を言い換える危険があるためです。LLMを使うのは、結合セルや多段の見出しがあって機械的に展開しにくい表に限ります。その場合は、次の依頼文を使ってください。

次の表を、1行を1つの文章にして出力してください。
- 各行の先頭に「資料名:◯◯/表題:◯◯」を付ける
- 列見出しと値を「見出し:値」の形で全列分並べる
- 結合セルは、該当するすべての行に値を展開する
- 数値・単位・記号は一字も変えない
- 読み取れないセルは推測せず「判読不能」と書く
- 表の下の注記は、関係する行の末尾に「注:」として付ける

資料名:備品貸出ガイド(説明用の例)
表題:表2 機種別の貸出条件
表:
(ここにMarkdown表を貼る)

一方、「どの機種が一番長く借りられるか」のような比較の質問が主役なら、行に分けると全体が見えなくなります。その場合は表を一つのチャンクのまま残し、冒頭に「この表は機種ごとの貸出期間・延長可否・持出可否を比べるものです」といった1文を付けます。

図・グラフ:画像説明の依頼文

図は、そのままではテキスト検索に引っかかりません。画像説明で作る文章には、次の四つを必ず入れます。

  1. 図の種類とタイトル(図番号を含む)
  2. 図中に書かれた文字の転記
  3. 構造の説明(順序、分岐、因果、比較)
  4. 読み取れなかった点の明示

視覚モデルに渡す依頼文の例です。

添付の図を、検索用の説明文にしてください。
出力は次の4項目です。
1. 種類とタイトル:(例:フロー図「貸出申請の流れ」)
2. 図中の文字:見えている文字を上から順にそのまま列挙
3. 内容:ステップや関係を、番号付きの文章で説明。分岐は「〜の場合は〜」と書く
4. 不確かな点:読み取れない文字、矢印の向きが曖昧な箇所、推測した箇所

図に無い情報は補わないでください。数値は図に書かれたものだけを使います。

説明用の例(想定する出力)

1. 種類とタイトル:フロー図「貸出申請の流れ」(図1、p.4)2. 図中の文字:申請/上長承認/総務確認/貸出/差戻し3. 内容:①申請者が申請する。②上長が承認する。承認されない場合は差戻しになり、①に戻る。③承認後、総務が確認する。④貸出する。4. 不確かな点:「総務確認」から「差戻し」への矢印の有無は判読できない。

4項目目を必須にしているのは、モデルが曖昧な箇所を自信ありげに埋めてしまうのを抑えるためです。この項目が付いたチャンクは、人が原図と照合する優先対象になります。

Azure AI Searchのように、取り込みの段階で画像説明を自動生成してMarkdownに埋め込む仕組みもあります。ただし、前述のとおり画像説明の生成はプレビュー機能で、スキルセットに関連付けたFoundryリソースにAzure OpenAIのチャット補完モデルをデプロイする必要があります。導入時は公式ページで対応APIバージョンと要件を確認してください。

スライド:1枚1チャンクのテンプレート

スライドは、1枚の情報量が少なく、タイトルだけ見ても中身が分かりません。そこで、本文と図の説明と発表者ノートをまとめ、前後関係を示す見出しを付けます。

資料:新規備品導入の提案(説明用の例)
章:2. 現状の課題
スライド:7/24
タイトル:貸出の待ち時間が長い
本文:平均待ち時間 2日/申請の半数が差戻し
図表の説明:棒グラフ。横軸は月、縦軸は待ち時間(日)。直近3か月は2日前後。
発表者ノート:差戻しの主因は申請書の記入漏れ。

タイトルが「概要」「まとめ」のように汎用的なスライドは、章名を必ず足します。ここを省くと、別の資料の「概要」と区別できなくなります。

変換後に確認する手順

変換が済んだら、索引に入れる前に次の手順で確かめます。

  1. 質問を10個ほど用意する:表の1セル、行の比較、図の順序、スライドの根拠など、型を混ぜます。答えは元資料から先に人が書き出しておきます。
  2. 検索だけを先に見る:回答を生成させず、期待するチャンクが上位に出るかを確認します。当たらないなら、見出しやキーの付け方を直します。
  3. 回答と出典ページを照合する:値が元資料と一致しているか、出典のページが正しいかを確かめます。
  4. 人が見る箇所を決める:数値と単位、結合セル、図の矢印の向き、「不確かな点」に挙がった箇所です。ここはモデルの自己申告に任せません。

外部のAIサービスに資料を渡す場合は、まず社内の取り扱いルールを確認してください。学習に使われない設定と、秘密を守れることは別の話です。試すときは、顧客名や金額を架空の値に置き換えた資料を使います。

最後に、元データがある表はそちらを使い、図とスライドは文章に直してから索引に入れる。この順序で、まず自社の資料から3種類を1つずつ選んで試してください。

出典・参考資料