手元のレビューをAIで分類する：分類ルールを先に決めて、ぶれを減らす手順

1. 先に決める：分類ルール表の雛形

AIは、ラベルの意味が曖昧でも何かしら答えを返します。同じレビューでも実行のたびにラベルが変わるのは、境界が決まっていないからです。最初に次の表を作ります。下は「家庭用コーヒーミル」を想定した説明用の例です。

• 品質・不具合、定義：壊れた、動かない、仕上がりが悪い、含める例：「3日で刃が回らなくなった」、含めない例（迷ったらこちらへ）：「思ったより重い」→期待との差
• 使いやすさ、定義：操作・手入れ・扱いやすさ、含める例：「洗いにくい」、含めない例（迷ったらこちらへ）：「音が大きい」→品質・不具合ではなく使いやすさ
• 価格・コスパ、定義：値段や価値への言及、含める例：「この値段なら満足」、含めない例（迷ったらこちらへ）：「高いが丈夫」→主題が丈夫さなら品質
• 配送・梱包、定義：届き方、箱、到着日、含める例：「箱が潰れていた」、含めない例（迷ったらこちらへ）：「届いたら壊れていた」→品質・不具合
• サポート対応、定義：問い合わせ、返品、交換の対応、含める例：「返信が早かった」、含めない例（迷ったらこちらへ）：
• 期待との差、定義：説明や写真と違う、想像と違う、含める例：「写真より小さい」、含めない例（迷ったらこちらへ）：
• その他・判定保留、定義：上のどれにも当てはまらない、読み取れない、含める例：「普通です」、含めない例（迷ったらこちらへ）：

ルール表には、ラベルとは別に次の決まりも書きます。

• 主ラベルは1つ：1件に複数の話題があるときは、最も長く、または強く書かれている話題を主ラベルにします。副ラベルは最大1つです。
• 感情は別の列：「好意・否定・混在・不明」の4択にして、話題ラベルと混ぜません。
• 判断できないとき：無理に当てはめず「その他・判定保留」にして、理由を書かせます。
• 根拠：判定の根拠として、レビュー本文から短い抜粋を1つ出させます。

「その他・判定保留」を用意しておくと、AIが無理にこじつけた分類を減らせます。

2. AIに渡す前の準備

AIに渡すデータは、次のように整えます。

1. 列は「ID」と「レビュー本文」だけにします。購入者名、メールアドレス、注文番号、電話番号は渡しません。本文に個人情報が混ざっていたら、先に伏せ字にします。
2. 最初は30〜50件でルールを試します。全件を流すのは、ルールが安定してからにします。
3. 一度に渡す件数は、AIが途中で抜けたり崩れたりしない量にします。目安は1回20〜30件ですが、これは編集上の提案です。出力の件数がIDと合うかは毎回確かめてください。

利用するAIの学習利用の設定は、サービスごとに違います。たとえばClaudeの個人向けプラン（Free、Pro、Max）については、公式ヘルプが「モデル改善の設定」と「シークレットチャットは改善に使われない」ことを説明しています（2026年5月22日更新と表示されていたページ）。詳細はClaudeのヘルプで確認してください。ただし、学習に使われない設定にしても、情報を社外のサービスへ渡すことに変わりはありません。顧客情報は、設定に頼らず最初から渡さないほうが安全です。

3. AIへの指示文

次の文を貼り、【ルール表】 と 【レビュー】 の部分を差し替えます。こちらも実行して確かめたものではないため、最初の30件で出力を確認してから使ってください。

あなたはレビューの分類担当です。下のルール表だけを根拠に、各レビューを分類してください。

【ルール】
- 話題ラベルはルール表のラベルから主ラベルを1つ選ぶ。副ラベルは任意で最大1つ。
- 感情は「好意・否定・混在・不明」から1つ選ぶ。
- 表の「含めない例」に当てはまる場合は、そこに書かれた指示に従う。
- どれにも当てはまらない、または読み取れない場合は「その他・判定保留」とし、理由を書く。
- 根拠として、レビュー本文から20字以内の抜粋をそのまま1つ引用する。要約や言い換えはしない。
- 確信度を「高・中・低」で付ける。迷った場合は「低」にする。
- 入力されたレビューの件数と、出力の行数を一致させる。

【出力形式】
表形式で、列は次の順にする：
ID | 主ラベル | 副ラベル | 感情 | 根拠の抜粋 | 確信度 | 迷った点

【ルール表】
（ここに第1節の表を貼る）

【レビュー】
ID | 本文
（ここに30件以内を貼る）

「迷った点」の列は、あとでルールを直す手がかりになります。ここに同じ種類の迷いが並んだら、その箇所の定義を書き換えます。

4. 人が抜き取り確認する手順

分類結果がもっともらしく見えても、合っているかは別の話です。確認は、全件を見る代わりに一部を無作為に選んで行います。総務省統計局の解説では、標本調査は一部を調べて全体を推定する方法で、標本誤差が生じること、標本の偏りを小さくするために無作為に抽出することが説明されています。乱数表やExcelの乱数機能の利用にも触れています（統計局「全数調査・標本調査」）。以下の手順は、この考え方を踏まえた編集上の提案です。

手順

1. 分類結果をスプレッドシートに貼り、空の列に =RAND() を入れます。
2. その列で並べ替え、上から50件を抜き取り枠にします。件数が少ないときは、全件の2割以上を目安にします。
3. 抜き取り枠について、AIの結果を見ずに、人が先に自分で判定します。ルール表だけを見て決めます。
4. 人とAIの判定を並べ、話題ラベルが一致した件数を数えます。
5. 一致率（一致件数÷確認件数）を出し、不一致を原因別にメモします。

AIの結果を先に見ると、人が引きずられて一致率が実際より高く出ます。手順3の順番は守ってください。

別枠として、「確信度が低」と「その他・判定保留」の行は、無作為の抜き取りとは別に全件確認します。この枠は偏って選んでいるので、一致率の計算には混ぜません。

数え方の例（説明用の仮の数字）

50件を確認して41件が一致したら、一致率は41÷50＝82%です。不一致9件の内訳が「期待との差と品質・不具合の混同が5件」「その他が4件」なら、まず前者の境界ルールを直します。50件の確認は大づかみの目安であり、数値に標本誤差があります。小さな差にこだわらないでください。

5. ぶれの判断表：何が起きたら何を直すか

• 同じ30件を別のチャットで2回流すと、ラベルが変わる件が多い、疑うこと：定義の境界が曖昧、直し方：「含めない例」を足し、迷った点の列で多い組み合わせから直す
• 人とAIの不一致が特定の2ラベルに集中、疑うこと：その2つの定義が重なっている、直し方：2つの優先順位を1行で決めるか、ラベルを統合する
• 「その他・判定保留」が多い、疑うこと：ラベルが足りない、直し方：保留の理由を読み、3件以上に共通する話題があれば新ラベルを足す
• 人どうしでも判定が割れる、疑うこと：ルール自体が曖昧（AIの問題ではない）、直し方：AIを再実行する前に、人のあいだで定義を合わせる
• 確信度「高」なのに不一致が多い、疑うこと：確信度が当てにならない、直し方：確信度は並べ替えの補助にとどめ、抜き取りは無作為のままにする

ルールを直したら、指示文のルール表を差し替え、前回の抜き取り件数を別の抜き取り枠で確認し直します。同じ50件で調整を繰り返すと、その50件にだけ合ったルールになりがちです。新しい50件で確かめてください。

一致率の合格ラインは、レビューの使い道で決めます。傾向をざっと見るだけなら緩くてもかまいません。商品改善の優先順位や、社内の報告に使うなら、不一致が多いラベルの数字は参考値として扱い、重要な判断の前に該当レビューを読み直してください。

6. 分類結果を使うときの注意

• 集計表には、分類を「AI案を人が抜き取り確認した」ものと書き、確認件数と一致率を添えます。
• 件数の多いラベルが重要とは限りません。少数でも、不具合や安全に関わる記述は、ラベルに関係なく原文を読みます。
• 分類後のレビューは、傾向をつかむための材料です。数が少ないレビューサイトや投稿は、利用者全体を代表しているとは限りません。