冷蔵庫の写真をAIに読ませたら食材を取り違えた：誤認識の直し方と頼み方

なぜ取り違えが起きるのか

AIは写真から食材を見た目で推測します。パッケージの文字が読めれば手がかりになりますが、読めなければ形や色だけで判断することになります。冷蔵庫の中は、その条件が重なりやすい場所です。

• 食材が重なり合っている
• 奥の物が陰になる
• 中身の見えない容器が多い
• ラップやフリーザーバッグ越しで、形が歪んでいる

Claudeのヘルプには、誤った回答や誤解を招く回答が出ることがあり、回答を唯一の情報源にせず、重要な助言は慎重に確かめるよう書かれています（Claudeの誤り・誤解を招く回答に関するヘルプ、2026年10月28日確認）。写真の読み取りでも同じで、一覧は人が確かめる前提で扱います。困るのは間違えること自体より、気づかないまま献立まで進むことです。だから最初に確認を挟みます。

取り違えやすい食材の例

下の表は、見た目が似ているために起きそうな組み合わせを編集部が整理した例です。実際に測定した誤認識の頻度ではありません。自分の冷蔵庫で何が間違うかは、次の章の1通目で確かめられます。

• 木綿豆腐・絹ごし豆腐、取り違えそうな相手：厚揚げ、チーズ、はんぺん、起きやすい場面：ラベルが見えない、パックから出して保存している
• 豚こま切れ肉、取り違えそうな相手：鶏むね肉、牛肉、起きやすい場面：トレーのラベルが隠れている、庫内灯で色が違って見える
• 長ねぎ、取り違えそうな相手：ニラ、小ねぎ、起きやすい場面：袋に入って曲がっている
• 大根、取り違えそうな相手：かぶ、長いも、起きやすい場面：カット済みでラップに包まれている
• 牛乳、取り違えそうな相手：豆乳、飲むヨーグルト、起きやすい場面：紙パックの正面がこちらを向いていない
• 白菜、取り違えそうな相手：キャベツ、レタス、起きやすい場面：半分や四分の一にカットされている
• めんつゆ、ソース、醤油、取り違えそうな相手：お互い、起きやすい場面：ドアポケットで容器が重なっている
• 作り置き・残り物、取り違えそうな相手：全般、起きやすい場面：不透明の保存容器、蓋が閉まっている

作り置きの容器のように、中身がそもそも写っていないものは「間違い」ではなく「見えない」ものです。AIに名前を付けさせず、人が教えるのが確実です。

二段階の依頼文

以下は説明用の例で、特定のAIで実行して確かめた結果ではありません。

1通目：認識結果だけを出させる

写真を添付して、次の文を使えます。

添付は私の冷蔵庫の写真です。
まだ献立は考えず、見える食材と調味料を一覧にしてください。

表の列：場所（上段／中段／下段／野菜室／ドア）、名前、確信度（高・中・低）、根拠（ラベルの文字／形や色だけ）、迷った場合の別の候補

ルール：
・ラベルの文字が読めたものと、見た目だけで推測したものを区別する
・容器の中身が見えないものは、名前を付けず「不明」と書く
・奥や重なりで確認できない場所は「見えない」と書く
・量や個数は、数えられた場合だけ書く
・最後に、私に確認したい点を5つ以内で挙げる

ポイントは「不明と書かせる」「根拠を分ける」「別候補を出させる」の3つです。確信度はAIの自己申告なので、「高」でも間違うことがあります。まず根拠が「形や色だけ」の行と「不明」の行から見直すと、効率よく直せます。

2通目：訂正して、直した一覧だけで献立を考えさせる

一覧を見て、間違いと不明な項目を直して返します。丸括弧の外の訂正内容は説明用の例なので、自分の訂正に置き換えてください。

次の訂正を反映して、食材リストを作り直してください。
訂正：
・中段の「鶏むね肉」は豚こま切れ肉です
・「絹ごし豆腐」は木綿豆腐です
・下段の不明の白い容器は、昨日の残りのカレーです
・写真に写っていないが、卵が6個と玉ねぎがあります

まず直したリストだけを表示してください。私が「OK」と返したら、
そのリストにある食材だけを使った夕食を3案出してください。
リストにないものは「買い足し」として別に書いてください。

「OKと返したら」と区切ることで、訂正が反映されたかを見てから献立に進めます。直しが残っていれば、もう一度訂正すれば済みます。

写真の撮り方で減らせる誤認識

• 段ごとに撮る：全体を1枚で撮るより、一つひとつが大きく写ります。
• ラベルを手前に向ける：肉や豆腐のように見た目が似るものは、文字が読める向きで撮ります。
• 作り置きは文章で伝える：蓋に付箋を貼って撮るか、2通目の訂正に書きます。
• 日本語ラベルを過信しない：ChatGPTの画像入力FAQには、日本語や韓国語など非ラテン文字の文章は読み取りが得意でないこと、文字は拡大すると読みやすくなること、個数は概算になりうることが案内されています（ChatGPT Image Inputs FAQ、2026年10月28日確認）。ラベルが読めたと書かれていても、一覧で確認します。
• 形式と大きさ：同FAQでは、ChatGPTの画像はPNG・JPEG・アニメーションでないGIFに対応し、1枚20MBまでと案内されています。Claudeは、JPEG・PNG・GIF・WebPに対応し、1チャット最大20ファイル、1000×1000ピクセル以上の画像を推奨と案内されています（Claudeのファイルアップロードのヘルプ、同日確認）。上限や仕様は変わることがあるので、使っているサービスとプランの最新の案内を見てください。
• 余計なものを写さない：ドアに貼った学校のお知らせや宛名などが写っていないか、撮る前に確認します。個人情報が見えるときは、外すかトリミングしてから渡します。

それでもおかしいときの対処表と、AIに任せない部分

• 存在しない食材が一覧に混じる、考えられる原因：隙間や影を食材と解釈した、頼み方：「写真のどのあたりに見えたか、位置を言葉で教えてください。位置を答えられないものは一覧から外してください」
• 同じ食材が2回出る、考えられる原因：別の段で重複して数えた、頼み方：「重複していないか確認し、同じものは1行にまとめてください」
• 訂正したのに献立で元の食材が出てくる、考えられる原因：前の認識に引きずられた、頼み方：「訂正後のリストだけを材料にしてください。リストにない食材が入っていたら、そこを直してください」
• 全体的に外れが多い、考えられる原因：写真が暗い、小さい、重なりが多い、頼み方：段ごとに撮り直し、1通目の依頼文を再度使う
• 量や個数がでたらめ、考えられる原因：数えにくいものを推測した、頼み方：「数が分からないものは『多め』『少なめ』と書き、個数は私が入れます」

写真の見た目から、食材が食べられるかどうかを判断させるのは避けてください。傷みや期限は、包装の表示と実物の状態を人が確認する部分です。依頼文に「期限が分からないものは、使う前に私が表示を確認します」と添えておくと、献立の案にも前提として反映されます。献立の案出しはAIに任せやすい作業ですが、在庫の正確な把握と食べられるかの判断は人が確かめます。

まず今日の冷蔵庫を段ごとに撮り、1通目の依頼文だけを送ってみてください。一覧の「確信度：低」や「不明」の行を見れば、そのAIがどんな写りを苦手にしやすいかの手がかりになります。献立は、一覧を直した後の2通目で頼めば十分です。