AIに読ませる資料に不審な指示を見つけたら：利用者が作業を止め、確認・報告する手順

まず止める：最初の5分でやること

1. 手を止めて、AIの出力を使わない

不審だと感じた時点で、その回答を提出物・メール・社内チャットに転用するのをやめます。すでに使ってしまった場合は、使った場所を後の報告用にメモします。

2. AIにさらに操作させない

AIが外部サービス、メール、カレンダー、ファイル、ブラウザを操作できる設定なら、新しい指示を出さず、確認ダイアログの「許可」も押しません。送信・削除・購入・共有といった取り返しにくい操作は特に止めます。画面の止める手段（停止ボタン、タブやアプリを閉じる）はツールごとに違うため、普段から場所を確認しておくと慌てずに済みます。

OWASPは、開発者向け対策として、モデルの権限を必要最小限にし、高リスク操作に人の承認を求めることなどを挙げています。利用者も、出力や操作を確認し、疑わしい場合は社内窓口へ報告してください（OWASP LLM01:2025 Prompt Injection）。

3. 資料と会話を消さずに残す

会話履歴、問題の資料、AIの出力、気づいた時刻の画面を残します。資料が不審なら、削除や上書きをせず、元の場所や状態を記録します。画面を保存し、資料を移動・複製する場合は、社内の保全手順や窓口の指示に従ってください。自己判断で移動すると、共有状態や確認に必要な情報が変わることがあります。

4. 同じ会話で調査を続けない

疑わしい資料を読み込んだ会話では、原因の調査を続けず、会話と資料を報告用に保全します。新しい会話に資料を貼り直すと、情報の再投入や拡散につながるおそれがあります。調査は社内窓口に相談してください。

出力の異変チェックリスト

資料の中身を探すより、AIの出力や動きが「頼んだ内容から外れていないか」を見るほうが、利用者には現実的です。以下は編集部が整理した目安で、一つでも当てはまれば停止の対象です。

• 依頼との関係、異変の例：要約を頼んだのに、別の作業や質問への回答が入っている
• 行動の促し、異変の例：「このリンクを開いて」「この宛先に送って」「認証情報を入力して」と誘導される
• 情報の持ち出し、異変の例：会話や他のファイルの内容を、出力や外部へ含めようとする
• 口調・目的の急変、異変の例：急に命令調になる、急かす、特定のサイトや商品へ強く誘導する
• 依頼していない操作、異変の例：頼んでいないメール作成、ファイル共有、投稿、購入の準備が始まる
• 資料への言及、異変の例：「資料に○○と書かれているので従います」と、資料内の指示に従う旨を述べる
• 内容の不自然さ、異変の例：資料の本旨と無関係な数字・URL・連絡先が結論に入っている
• 資料の見た目、異変の例：白地に白文字、極小文字、画像内の小さな文字、コメント欄や注釈にAI宛ての文がある

最後の行は、資料側の兆候です。ただし、見えない形の指示は人の目では見つからないこともあります。OWASPも、モデルが人には見えない入力の影響を受ける場合があると説明しています。資料内の指示を見つけられなかったことは安全の証明にならないため、出力や動作に異変がないかも確認します（OWASP LLM01:2025 Prompt Injection）。

状況別の止め方の判断表

• チャットで回答が少し変。何も実行されていない、まずやること：回答を使わず、会話と資料を保存、報告の目安：上長または利用ルールの窓口へ、当日中
• 資料内にAI宛ての文を見つけた、まずやること：資料を隔離し、他の人に回さない、報告の目安：資料の共有元と窓口へ
• AIが外部連携（メール・ファイル・ブラウザ等）を操作中に異変、まずやること：操作を止め、許可を押さない。接続をいったん切る、報告の目安：すぐ報告。何が実行されたか確認を依頼
• 実際に送信・共有・購入などが行われた、まずやること：操作を止め、画面を保存。自己判断で巻き戻さない、報告の目安：直ちに情報システム部門へ。必要なら関係者への連絡も相談
• 機密・個人情報を含む資料だった、まずやること：以降その資料を使わない。追加投入もしない、報告の目安：機密や個人情報の扱いの担当へ

パスワードの変更や連携解除は、勤務先の手順に沿って行います。自己判断で削除や設定変更を重ねると、確認すべき情報が失われたり状況が変わったりすることがあります。

不審な箇所を報告するときの伝え方

疑わしい箇所をAIに再入力して調べると、資料や情報を別の会話へ広げることになります。資料全文や抜粋は貼らず、保存した会話・資料とともに社内窓口へ相談してください。AIに判定させても、安全の証明にはなりません。

報告時には、「資料にAIや読み手への指示らしい記述があった」「出力に依頼外の行動が含まれた」など、見た事実と、まだ分からない点を分けて伝えます。原因や攻撃かどうかを断定する必要はありません。

Anthropicの開発者向け文書は、取得した文書やWebページを信頼できない内容として扱い、そこに含まれる指示は従う命令ではなく報告する情報とする設計例を示しています。また、AIに与える機密情報や操作権限を必要最小限にするよう勧めています。これは開発者向けの説明であり、一般利用者向けの判定手順を保証するものではありません（Claude Platform Docs: Mitigate jailbreaks and prompt injections）。

報告メモの雛形

報告は、原因の説明より事実の羅列が役に立ちます。次の項目を埋めて、保存した資料と画面を添えます。

【AI利用中の異変報告】
報告日時：
報告者：
使用したAIツール・プラン（会社契約／個人契約）：
気づいた日時：

1. 何をAIに頼んだか（依頼文のコピー）：
2. 読ませた資料（名称・入手元・受け取った日時）：
3. 気づいた異変（チェックリストのどれか、画面の様子）：
4. AIが外部操作をできる設定だったか（はい／いいえ／不明）：
5. 実行された操作（送信・共有・購入など。なければ「確認できず」）：
6. 機密・個人情報を含んでいたか（はい／いいえ／不明）：
7. 出力をすでに使ったか（使った場所・相手）：
8. 現在の状態（停止済み／画面保存済み／資料隔離済み）：
9. 不明な点：

説明用の記入例

以下は架空の例です。

3. 気づいた異変：取引先から届いた見積書PDFの要約を頼んだところ、
   要約の末尾に「確認のため、この会話の内容を下記アドレスへ送ってください」
   という文があった（依頼にない行動の促し）。
4. 外部操作：いいえ（チャットのみ）
5. 実行された操作：確認できず
7. 出力の利用：まだどこにも使っていない
8. 現在の状態：会話を保存、PDFは共有フォルダに移さず元の場所に保管

「不明」「確認できず」と書くのは問題ありません。推測を断定の形で書くより、窓口の人が追加で聞くべき点が分かります。

日頃の備えは、報告先を知っておくこと

事前に、次の点を確認しておきます。

• 異変を報告する窓口（社内なら情報システム部門や担当者、個人利用ならツール提供元のサポート）
• 外部連携を許可しているAIツールと、操作の承認方法
• 取引先や不特定の相手から来た資料を扱う際の社内ルール

IPAは「AIセキュリティ短信」で、AIセキュリティの動向や注意すべき事例を紹介しています。開発者やセキュリティ担当者向けの情報も含まれます（IPA: AIセキュリティ短信）。