文章・画像・音声を一つのAIが扱うとは:マルチモーダルの仕組みと得意不得意

「一つのAIが扱う」とは何が違うのか

OpenAIはGPT-4oについて、テキスト・音声・画像・動画の任意の組み合わせを入力として受け取り、テキスト・音声・画像を出力できるモデルだと説明しています。同社のシステムカードによると、テキスト・視覚・音声を通してエンドツーエンドで訓練され、入出力は同じニューラルネットワークで処理されます(GPT-4o System Card)。同じ資料は、音声への応答時間が最短で約232ミリ秒、平均約320ミリ秒だと述べています。これは同社が公表した数値で、私が測ったものではありません。

違いを整理すると次のとおりです。

• 途中経過、別ツールをつなぐ方式：文字起こしなど中間の文章が残る、一つのモデルで扱う方式：中間の文章が見えないことがある
• 文字にならない情報、別ツールをつなぐ方式：受け渡しの段階で落ちやすい、一つのモデルで扱う方式：モデルに届く余地がある
• 誤りの切り分け、別ツールをつなぐ方式：「聞き取りの誤りか、要約の誤りか」を分けて確認しやすい、一つのモデルで扱う方式：どこで間違えたか分かりにくい
• 部品の差し替え、別ツールをつなぐ方式：段ごとに入れ替えられる、一つのモデルで扱う方式：モデルごと選ぶことになる

注意したいのは、アプリの見た目からは、どちらの方式か分からない場合があることです。「音声を送れる」と書かれていても、裏で文字起こしを挟んでいるのか、音声をそのまま扱うのかは、各サービスの説明を見ないと判断できません。

入力の種類ごとの頼れる点と注意点

次の表は、公式資料で確認できた点と、編集上の整理を合わせたものです。画像の欄はAnthropicのClaudeの公式ドキュメント(2026年10月28日に閲覧した英語版)、音声の欄はOpenAIのGPT-4oのシステムカードが主な根拠です。他社のサービスでは条件が違う可能性があります。

• 文章、頼れる点：要約、言い換え、構造化、比較の土台になる、注意点：他の入力もたいてい最後は文章で答えが返るため、誤りが文章の自然さに隠れやすい
• 画像・スクリーンショット・グラフ、頼れる点：画面の内容の説明、文字の読み取り、複数画像の見比べ、注意点：Claudeの資料では、低品質・回転した画像・200ピクセル未満の小さな画像では誤りや作り話が起こりうるとされる。物の数え上げは概数にとどまりうる。位置の出力も近似で、確認が前提とされる
• 写真に写った人物、頼れる点：服装や状況の説明、注意点：Claudeの資料では、人物の名前を特定する用途には使えず、拒否するとされる
• 音声、頼れる点：内容の把握、要点の整理。声そのものを扱える仕組みなら、話し方の手がかりも使える余地がある、注意点：GPT-4oのシステムカードは、声から話者を特定する依頼を拒否するよう訓練したと説明している。また、音声だけでは根拠のない属性推測は拒否する一方、アクセントなど音声から推測できる属性については、断定を避けて答えるよう訓練したとしている。アクセントによる性能差の検証や、低品質の音声・雑音・エコーで安全性が下がる事例の報告もある
• 動画、頼れる点：対応するサービスでは、映像の内容や時間に沿った変化を尋ねられる、注意点：動画入力の有無、扱える長さ、音声の取り込み方、画像の抜き出し方はサービスで異なる。使う前にそのサービスの仕様ページで確認する

画像について、Claudeの資料には「画像がAI生成かどうかは判定できず、誤ることがある」「画像のメタデータは受け取らない」ともあります。「この写真は本物か」「いつ撮ったか」を頼る用途には向きません。

用途別の使い分け例

下は、どの入力を渡し、AIに何を任せ、人が何を確かめるかの整理です。説明用の例であり、実測の結果ではありません。

• エラー画面の原因を探る、渡すもの：画面のスクリーンショットと状況の文章、AIに任せること：表示文言の読み取り、考えられる原因の候補、人が確認すること：読み取った文言が画面と一致しているか
• 会議録音から議事録を作る、渡すもの：録音、または文字起こし、AIに任せること：決定事項と宿題の抽出、人が確認すること：数字、日付、担当者名を録音と突き合わせる
• 手書きメモや表の写真を整理する、渡すもの：真上から撮った明るい写真、AIに任せること：文字の書き起こし、表への整理、人が確認すること：読めなかった箇所の補完をしていないか
• 2つの資料画像の違いを見つける、渡すもの：画像にラベルを付けて複数枚、AIに任せること：差分の候補の列挙、人が確認すること：差分が実在するか、見落としがないか
• 商品写真の説明文を下書きする、渡すもの：写真と商品の事実情報、AIに任せること：文体を整えた下書き、人が確認すること：写真から推測された仕様が混ざっていないか

重要な音声には、「文字起こしを一度出させて人が直し、それをもとに要約させる」手順をおすすめします。これは公式の推奨ではなく編集上の提案です。仕組みの表で見たとおり、途中の文章があると誤りの場所を切り分けやすくなります。

そのまま使える依頼文の例

どちらも説明用の例で、未実行です。実際の会議や画面を使うときは、氏名、顧客名、社内の数値を架空の値に置き換えてから渡してください。学習に使われない設定にしても、秘密を守れることにはなりません。

画像を渡すとき

Claudeの資料は、画像を文章より前に置いたほうがよい結果になりやすいと述べています。複数枚のときは「画像1:」のように短いラベルを付けるのも、資料にある方法です。

画像1: 説明用の架空の会議室予約画面です。
(画像)
上の画像について、次の順に答えてください。
1. 画面に書かれている文字を、見えるとおりに書き出す。
2. 読み取れない、自信がない箇所は「不明」と書く。推測で埋めない。
3. 同じ時間帯に予約が重なっている枠があれば、画面のどの位置かを言葉で示す。

「不明と書く」「推測で埋めない」の指示は、画像の誤読が作り話として出るのを抑えるための編集上の工夫です。

音声を渡すとき

説明用の架空の定例会議の録音です。
1. 決定事項
2. 宿題(担当者・期限つき。録音で言及がなければ「言及なし」)
3. 聞き取りに自信がない箇所(時刻や該当箇所の説明を添える)
の3つに分けてください。
発言者の名前は、本人が名乗った場合だけ使い、声から推測しないでください。

手元で比べる手順

「一つのモデルのほうが良いのか」は、使うサービスと素材で変わります。手元で次のように試せます。結果は素材とサービスごとに違うので、ここでは結論を示しません。

1. 説明用の架空の素材を1つ用意する(雑音の少ない短い録音、文字入りの画像など)。
2. 同じ素材を、①そのまま渡す、②文字起こしや書き起こしを人が直してから渡す、の2通りで処理させる。
3. 数字、固有名詞、日付だけを抜き出し、元の素材と見比べて、間違いの数と種類を記録する。
4. 間違いが「読み取り」で起きたのか、「要約や推論」で起きたのかを分けて見る。

①のほうが良い結果になることもあれば、②のほうが確実なこともあります。②が確実な場合は、中間の文章を人が確認できる点が理由として考えられます。

使う前に見るポイント

• サービスの仕様ページで入力条件を確認する。 Claudeの資料では、claude.aiでは1回のメッセージにつき画像20枚まで、1枚10MBまでと書かれていますが、上限は変わりえます。
• 素材の品質を上げる。 資料は、画像は鮮明に、文字は読める大きさで、と述べています。圧縮を繰り返すと文字が読みにくくなるともあります。録音も、雑音やエコーが少ないほうが有利と考えるのが無難です。
• 理解と生成を分けて考える。 Claudeは画像を理解するだけで、画像を作ったり編集したりしないと資料に明記されています。「画像を扱える」が「画像を作れる」とは限りません。
• 高リスクの用途は人が確認する。 資料は、完全な正確さが必要な作業や医療画像などは、人の確認なしに任せないよう述べています。