自分の仕事に合うAIを見極める小さな評価セットの作り方:10問で比べる手順

公式資料が示す評価の考え方

AI開発元の資料にも、同じ方向の考え方があります。Anthropicの成功基準と評価の設計ガイドは、評価を実際のタスクの分布に合わせ、無関係なデータや長すぎる入力、人でも判断が割れるあいまいなケースも含めるよう勧めています。成功基準の設計では、「良い出来」ではなく具体的で測れる基準にすることが重要とされています。

OpenAIの評価のベストプラクティスも、本番に近いデータを使うこと、典型例だけでなくエッジケースも入れることを挙げています。さらにAIに採点させる場合は、回答の順序や長い回答を好む偏りに注意が必要で、人の採点との一致を確かめるべきだとしています。

以下の10問の配分、点数表、閾値は、これらの考え方を個人の比較向けに縮めた編集上の提案です。公式が推奨する数値ではありません。

ステップ1:10問の配分を決める

自分の仕事の依頼を、次の配分で10問にします。

• 定番業務、問数：4、内容：週に何度も頼む作業(要約、メール下書き、表の整形など)
• 雑な入力、問数：2、内容：誤字、箇条書きの乱れ、前後の文脈が欠けたメモ
• 情報不足、問数：1、内容：必要な数字や前提をわざと渡さず、確認や留保ができるか見る
• 制約が多い依頼、問数：2、内容：文字数、口調、禁止語、出力形式を同時に指定
• 落とし穴、問数：1、内容：資料に書かれていないことを聞き、作り話をしないか見る

質問は、過去の実際の依頼から作ると偏りが減ります。ただし社内の機密や個人情報は、そのまま入れず、会社名や数字を架空のものに置き換えてください。AIサービスの学習利用をオフにする設定は、情報が外部に出ない保証とは別の話です。置き換えられない内容は、評価セットに入れない方が安全です。

質問1件ごとに先に書いておくこと

AIの回答を見る前に、「良い答えの条件」と「致命的NG」を一行ずつ書きます。回答を見てから基準を決めると、読みやすい文章に引きずられて採点がぶれやすくなります。

説明用の例(経理補助の場合):

• 質問:「次の架空の経費メモを、科目ごとの表にしてください。判断できない項目は『要確認』としてください」
• 良い答えの条件:全項目が表に入り、不明な項目に「要確認」が付く
• 致命的NG:メモにない金額や科目を作る

ステップ2:採点基準の表を作る

1問を4つの観点で、それぞれ0〜2点で付けます。1問8点、10問で80点満点です。

• 正確さ、0点：事実や数字に誤り、1点：軽い誤りが1つ、2点：誤りなし
• 指示への従い方、0点：条件を複数落とす、1点：1つ落とす、2点：全条件を満たす
• 手直しの少なさ、0点：ほぼ書き直し、1点：数か所の修正で使える、2点：ほぼそのまま使える
• 不確かさの扱い、0点：根拠なく断定、作り話、1点：留保はあるが曖昧、2点：不明点を示す、または確認を求める

これとは別に「致命的NG」の列を作り、該当したら点数にかかわらず印を付けます。点数が高くても致命的NGが多いAIは、確認の手間が増えるため、合計点だけで選ばないでください。

採点の手順は次のとおりです。

1. 回答を貼る前に、AI名を隠してA、B、Cなどの記号に置き換える
2. 回答の長さではなく、良い答えの条件に照らして付ける
3. 同じ質問を2回ずつ実行し、出来にばらつきがあるかも見る

名前を隠すのは、先入観を減らすための工夫です。OpenAIのガイドは、AIによる採点では回答の順序や長さに偏りが生じる場合があると指摘しています。AIに採点を任せる場合は、自分が付けた点と数問分を突き合わせ、採点が合うか確認してください。

ステップ3:同じ条件で実行する

各AIには、できるだけ同じ文面を渡します。次の依頼文は、そのまま使える形です。

あなたは{職種}のアシスタントです。
次の【資料】だけを根拠に、【依頼】を実行してください。
資料にない内容は推測せず、「資料に記載なし」と書いてください。
判断に必要な情報が足りない場合は、答える前に質問してください。

【依頼】
{質問文}

【資料】
{ダミーに置き換えた入力}

条件をそろえるときの注意点です。

• 新しい会話で1問ずつ実行し、前の質問の影響を避ける
• 検索機能やファイル読み込みの有無は、AIごとにそろえるか、違いを記録する
• 無料版と有料版では使えるモデルが違うことがあるため、実際に自分が使うプランで試す

ステップ4:結果を記録するスプレッドシート

シートは3枚に分けると管理しやすくなります。

シート1「質問」:質問ID、区分、質問文、ダミー入力、良い答えの条件、致命的NG

シート2「実行ログ」:実行日、AIの名称と画面上のモデル表示、プラン、検索・ファイル機能の有無、質問ID、回数(1回目/2回目)、匿名記号、回答の保存場所、所要時間の目安

シート3「採点」:匿名記号、質問ID、正確さ、指示への従い方、手直しの少なさ、不確かさの扱い、合計(関数で計算)、致命的NG(○/空欄)、メモ

最後に、集計用の列を並べます。AIごとの合計点、致命的NGの件数、区分ごとの平均点、2回の実行の差です。区分ごとの平均を見ると、「定番業務は強いが雑な入力に弱い」といった違いが分かります。

ステップ5:結果の読み方と決め方

点数を見たら、次の順で判断します。

• 致命的NGが多いAIがある、判断の目安：合計点が高くても、用途によっては候補から外す
• 合計点の差が5点程度以内、判断の目安：引き分けとみなし、料金、速度、使いやすさで選ぶ
• 差が大きい、判断の目安：差が出た区分を確認し、自分の仕事の中心業務で勝っているかを見る
• 2回の実行でばらつきが大きい、判断の目安：安定して使えるかが不安なので、確認作業を前提にする

この「5点」は説明のための目安で、根拠のある基準値ではありません。10問は小さな標本なので、差が小さい場合は決め手にしない方が安全です。迷ったら問題を5問足して、差が出た区分を厚くします。

AIのバージョンや機能は更新されます。選んだ後も、数か月に一度は同じ10問で再実行し、点数が大きく変わっていないか確認してください。