AIはスクショや写真をどう読んでいるのか:読み間違えやすい画像の特徴

AIは画像をどう読んでいるのか

仕組みの出発点としてよく知られているのが、研究論文「An Image is Worth 16x16 Words」で提案されたVision Transformerです。画像を固定サイズの小さな区画に切り分け、各区画を文章中の単語のように並べて、Transformerという仕組みで処理します(arXivの論文ページ)。

現在の画像対応AIも、区画に分けて数える考え方が公式資料に出てきます。

• Claudeのドキュメントでは、画像は28×28ピクセルのブロックに分けて処理され、そのブロック数が画像のコスト(視覚トークン)になると説明されています(Anthropic: Vision)。
• OpenAIのドキュメントでは、新しめのモデルは32×32ピクセルの区画で数える方式で、古いモデルは512ピクセルのタイル方式だと説明されています(OpenAI: Images and vision)。

ここで大事なのは、大きすぎる画像は処理の前に縮小されることです。Claudeの資料によると、長辺の上限は標準的なモデルで1,568px、Claude 4.7以降のモデルで2,576pxです(2026年10月27日に確認した内容で、変更される可能性があります)。たとえば1920×1080のスクショは、標準の枠では1456×819に縮められると例示されています。縮小されれば、小さな文字は当然つぶれやすくなります。

もう一つ、Claudeの資料には画像のメタデータ(撮影日時や位置情報など)はAIに渡されないとあります。撮影日や場所が重要なら、文章で添える必要があります。

読み間違えやすい画像の例一覧

次の表は、二つの公式資料に書かれた制約をもとに整理したものです。「起きやすいこと」の列のうち、表やグラフに関する説明の一部は、仕組みから考えた編集部の見立てで、公式が個別に断言しているものではありません。

• 小さい文字(スクショ全体に細かい文字が並ぶ)、起きやすいこと：読み飛ばし、似た文字の取り違え、根拠・見立て：両社とも小さい文字は苦手と明記。縮小でさらに悪化
• 画像自体が小さい(200px未満など)、ぼやけている、起きやすいこと：内容の誤認、もっともらしい作り話、根拠・見立て：Claude資料に「低品質・回転・200px未満は誤りやすい」とある
• 回転、上下逆、斜めからの撮影、起きやすいこと：文字や向きの誤読、根拠・見立て：両社の資料で回転が弱点として挙がっている
• 色や線の種類だけで系列を区別するグラフ、起きやすいこと：凡例と線の対応違い、根拠・見立て：OpenAI資料が、色や線種に頼るグラフを弱点として挙げている
• 行・列が多い長い表、起きやすいこと：行のずれ、セルの取り違え、根拠・見立て：編集部の見立て(区画の並びから行列を復元するため)
• 棚の商品や群衆など、小さなものが大量にある、起きやすいこと：個数が概算になる、根拠・見立て：両社とも正確な計数は不得手と記載
• 位置関係が重要な画像(盤面、地図上の座標)、起きやすいこと：位置の取り違え、根拠・見立て：両社が空間把握・位置特定を弱点として記載
• 日本語など非ラテン文字の混在、起きやすいこと：誤読、根拠・見立て：OpenAI資料が非ラテン文字を課題に挙げている。日本語での精度は画像ごとに確認が必要
• 「これはAI生成か」の判定、起きやすいこと：誤判定、根拠・見立て：Claude資料が、判定に頼らないよう明記

表のスクショで特に注意したい点

表は、数字や項目名が小さく、しかも行と列の対応が命です。1文字の誤読より、行が1つずれるほうが被害が大きくなります。画像から書き起こさせた表は、合計や件数など、自分で検算できる数字と必ず突き合わせてください。

画像を渡すときの撮り方・聞き方の確認表

渡す前に、次の項目をチェックしてください。

• 範囲、やること：必要な部分だけを切り抜く。ただしClaude資料は、文字を大きくするために文脈まで切り落とさないよう勧めています
• 解像度、やること：文字が小さいなら、拡大して撮る、または画面を分割してスクショする
• 向き、やること：上下左右を正しい向きに直す。真上から、斜めにならないよう撮る
• 圧縮、やること：何度も保存し直したJPEGは避ける。Claude資料は、強い圧縮は文字を読みにくくすると述べています
• 枚数、やること：複数枚なら「画像1」「画像2」と文字で見出しを付ける(Claude資料の推奨)
• 順序、やること：可能なら画像を先、質問を後に置く(編集部の提案)
• 補足情報、やること：日付・場所・単位など、画像から読めない情報は文章で書く
• 個人情報、やること：氏名、住所、顧客情報などは隠すか、ダミーに置き換えてから渡す
• 質問の絞り方、やること：「全部読んで」ではなく、知りたい項目を指定する
• 確認、やること：重要な数字は、元の画像と見比べて人が確かめる

そのまま使える依頼文

以下は説明用の例で、実際に動作を試した結果ではありません。画像を添付したうえで貼り付けて使えます。

表のスクショを書き起こしたいとき

添付の画像は売上表のスクショです。
1. 表をMarkdownの表に書き起こしてください。
2. 読み取れないセルや自信がないセルは、推測で埋めず「判読不能」と書いてください。
3. 行数と列数を最初に報告してください。
4. 合計行がある場合は、各行の数字を足した値と一致するか確認し、ずれがあれば指摘してください。

写真の中の文字を読みたいとき

この写真には看板の文字が写っています。
読めた文字と、読めなかった部分を分けて書いてください。
斜めで撮っているため、誤読の可能性が高い文字には「?」を付けてください。
撮影場所は〇〇駅の周辺です(画像には位置情報は含まれていません)。

個数を数えたいとき

棚に並んだ商品を種類ごとに数えてください。
正確な数ではなく概算になる場合は、その旨と、数えにくい理由を書いてください。

返答が怪しいと感じたとき

先ほどの回答のうち、画像から直接読み取れた部分と、推測した部分を分けて書き直してください。

返答をどこまで任せ、何を人が確認するか

画像から得られる下書き(文字起こし、要点整理、一覧化)はAIに任せやすい作業です。一方で、数字・日付・金額・固有名詞は、人が元の画像と照らして確認するのが安全です。Claudeの資料も、高い精度が必要な用途では人による確認なしに使わないよう述べています。

確認の順番としては、次のようにすると手間が少なく済みます。

1. AIに「自信がない箇所」を先に挙げさせる。
2. 合計・件数など検算できる値で全体のずれを調べる。
3. ずれがあれば、その部分だけ拡大した画像を撮り直して再度聞く。

画像全体を一度で読ませるより、「分けて渡して、短く聞く」ほうが、読み間違いに気づきやすくなります。