複数のAIに同じ質問をして比べる：条件をそろえる比較テストの設計

1. 先に固定する条件

AIの回答は毎回同じになるとは限りません。OpenAIの評価のベストプラクティスも、生成AIの出力が非決定的であることを前提に、評価(eval)で品質を確かめる考え方を示しています。このガイドは開発者向けですが、「基準を先に決め、実際の用途に近い課題で比べる」という考え方はチャットアプリの比較にも使えます。

次の表を、テスト前に埋めてください。

• モデル名・プラン、決め方の例：画面に表示されたモデル名と、契約中のプランを書き写す、記録欄：
• メモリ・個人設定、決め方の例：全サービスでオフ、または全サービスでオンにそろえる、記録欄：
• Web検索・ツール、決め方の例：全サービスでオフ、または全サービスでオンにそろえる、記録欄：
• 添付ファイル、決め方の例：同じファイルを同じ順で渡す、記録欄：
• チャットの状態、決め方の例：毎回、新しいチャットで始める、記録欄：
• 実施日、決め方の例：年月日を書く(後で再テストしやすくなる)、記録欄：

メモリと個人設定は特に見落とされます。たとえばChatGPTの一時チャットでは、開始前に「パーソナライズあり」と「なし」を選べます。「なし」ではメモリ、カスタム指示、プラグインを使わず、開始後に切り替えることはできません。Claudeのシークレットチャットは、チャット履歴にもメモリにも保存されない一時的な会話ですが、プロフィール情報にはアクセスできます。ほかのサービスの同等機能は、自分の画面で確認してから「そろえる」欄に書いてください。

なお、これらの機能は「学習に使われにくい」「履歴に残らない」ための仕組みで、機密を入力してよいという意味ではありません。ChatGPTの一時チャットは安全目的で最大30日間、Claudeのシークレットチャットは既定で30日間保持されると説明されています。比較テストには、実際の顧客名や社内数値ではなく、置き換えたダミーデータを使ってください。

2. 同一プロンプトを作る

プロンプトは、普段の仕事や生活で実際に頼む内容から3〜5本選びます。難問ばかり集めるより、自分が毎週使う種類の依頼に寄せたほうが、乗り換え判断には役立ちます。AnthropicのAPIドキュメントのテスト設計の解説も、実際の用途の分布を反映したテストにすることを勧めています。

プロンプトの雛形

【役割】あなたは{職種}の補助担当です。
【目的】{何のために使う文章・判断か}
【材料】
{ダミーデータや本文をここに貼る}
【条件】
- 出力形式:{箇条書き5点以内/300字以内/表など}
- 守ること:{材料にない事実は書かない、など}
- 不明な点は推測せず「不明」と書く
【出力】上の条件だけを満たす回答を1回で出してください。

説明用の例(未実行)

• 会議メモの要約、材料(ダミー)：架空の会議メモ800字、見たい力：要点の抜けと、書かれていない内容の混入
• 数値の確認、材料(ダミー)：架空の売上表(5行)と「前月比を出して」、見たい力：計算ミスと、根拠の示し方
• 依頼メールの作成、材料(ダミー)：架空の取引先、納期変更の事情、見たい力：指示どおりの文量、語調、事実の保持

質問文は、コピーして一字一句同じものを貼ります。サービスごとに言い回しを直すと、差が文面の違いから生じたのか、AIの違いから生じたのか分からなくなります。

3. 採点観点と採点表

採点は、回答を見る前に基準を決めておくと、有名なサービスや好みの文体に引きずられにくくなります。評価の手法には、数値で測る方法、人が読む方法、AIに採点させる方法があります。OpenAIの評価ガイドは、人による評価は質が高い一方で遅くコストがかかること、AI採点は規模を出せる一方で回答順や長さに偏ることを挙げています。個人の比較では、人が採点し、AI採点は補助に留めるのが安全です。

採点表(0〜2点×重み)

• 正確さ、0点：事実・計算の誤りがある、1点：軽微な誤りがある、2点：誤りが見つからない、重み：×3
• 指示の遵守、0点：形式や制約を外した、1点：一部外した、2点：すべて守った、重み：×2
• そのまま使える度、0点：大幅に直す必要がある、1点：数か所直せば使える、2点：ほぼ直さず使える、重み：×2
• 不確かさの扱い、0点：材料にないことを断定した、1点：曖昧に流した、2点：不明な点を明示した、重み：×1
• 読みやすさ、0点：読み取りづらい、1点：普通、2点：読みやすい、重み：×1

1回答の満点は18点です。この重みは編集上の初期案で、仕事で誤りが致命的なら「正確さ」を上げるなど、自分用に調整してください。ただし、回答を見たあとには変更しないでください。

伏せて採点するやり方

1. 各サービスの回答を、別の文書に貼る。
2. 見出しを「回答A・B・C」にし、順番を毎回ランダムに入れ替える。
3. 採点が終わるまで、どれがどのサービスかを見ない。
4. 採点表に点数と、減点理由を1行で書く。

文体や絵文字で正体が分かる場合もあります。その場合は完全な伏せ字にはなりませんが、見る順番を変えるだけでも、先入観の影響は減ります。

4. 再実行ルール

1回の回答が良かった、悪かったというだけでは判断できません。各プロンプトを、各サービスで新しいチャットで3回実行する運用を勧めます。3回は編集上の目安で、時間があれば増やしてかまいません。

再実行してよい場合

• 通信エラーや途中停止で、回答が最後まで出なかった
• 添付ファイルが読み込まれていなかった
• 固定した条件(メモリ、検索、モデル)が違っていたと後で気づいた

この場合は、不具合の回を「無効」と記録し、同じ条件でやり直します。

再実行してはいけない場合

• 回答が気に入らないから
• 他のサービスのほうが良く見えたから
• 質問文を少し直したほうが良さそうだから

質問文を直したいときは、全サービスで最初からやり直します。特定のサービスだけ「再挑戦」すると、公平性が崩れます。

記録シート

• 1、サービス：A、回：1、無効?：、正確さ：、指示：、使える度：、不確かさ：、読みやすさ：、合計：、減点理由：

5. 結果の読み方と判断表

各サービスについて、プロンプトごとの3回の合計点の平均と、最低点を並べます。平均が高くても最低点が極端に低ければ、大事な場面で外れを引く可能性があります。

• 平均差が3点(満点18点の約17%)以上あり、最低点も高い、判断の目安：差がある。優位だったサービスを候補にする
• 平均差が3点未満、判断の目安：同程度とみなし、料金、使いたい端末・連携、操作のしやすさで決める
• 平均は高いが最低点が極端に低い、判断の目安：人が必ず確認する用途に限る、または見送る
• 「正確さ」だけ特に低い、判断の目安：数値や事実を扱う用途には使わない運用を決める

3点という基準も編集上の目安で、統計的な有意差を示すものではありません。課題数と実行回数が少ない個人のテストでは、「どちらが上か」より「自分の用途で明らかに困るサービスがないか」を見つけるのに向いています。

最後に、有料プランへ移る場合は、無料版や別のプランで得た結果を、そのまま有料版の結果とみなさないでください。比較に使った画面のモデル名とプランを記録しておき、契約後に、同じプロンプトを1〜2本だけ再確認すると安心です。