日本語で使うローカルモデルの選び方:自分で試す質問10問と採点の観点

先に決めておく:比較条件をそろえる

モデルの差と設定の差が混ざると、採点が当てになりません。次の3点はそろえます。設定名や利用できる値は実行環境によって異なる場合があるため、使うツールの説明も確認してください。

• 同じ量子化の水準で比べる。 量子化とは、モデルを小さくするために数値の精度を落す処理です。モデルごとに形式が違うので、各モデルのページで確認します。Hugging Faceのモデルカードには、想定用途と制限、ライセンス、学習データ、評価結果などを書く決まりがあります。業務で使うなら、試す前にライセンスと想定用途の欄だけ読んでおくと、後で使えないと分かる無駄を避けられます。
• 温度とシードを固定する。 OllamaのModelfileの仕様では、temperatureを上げるほど創造的な回答になり、seedを特定の値にすると同じプロンプトで同じ文章が生成されると説明されています(確認時点の既定値は温度0.8、シード0)。比較では温度を低め、シードを固定にします。
• コンテキスト長を意識する。 同じ仕様ページで、num_ctxは次のトークンを生成するときに使うコンテキストウィンドウの大きさで、既定値は2048と書かれています。長文で冒頭の指示が守られない場合、コンテキスト長が足りない可能性はありますが、それだけが原因とは限りません。第8問はこの確認も兼ねています。

Ollamaで固定する場合のModelfileの例です(筆者は未実行です。モデル名は自分が試すものに置き換えてください)。

FROM （試すモデル名）
PARAMETER temperature 0.2
PARAMETER seed 42
PARAMETER num_ctx 8192

num_ctxを大きくするとメモリ使用量が増える場合があります。PCに合わせて調整してください。LM Studioを使う場合は、チャットの管理の説明にあるように、2つのチャットを左右に並べられるため、同じ質問への回答を見比べやすくなります。

質問10問(コピーして使えます)

1問ごとに「見る観点」を決めています。入力例を、自分の仕事や趣味に近い内容へ置き換えるとさらに有効です。機密情報は使わず、架空の名前や数字に置き換えてください。

A. 敬語・文体(第1〜2問)

第1問 敬語への書き換え

次の文を、取引先に送る丁寧なビジネスメールの文面に書き換えてください。です・ます調で、200字以内。
「昨日の件、まだ返事できてない。金曜までには出すので、もう少し待ってほしい。」

見る点:「待ってほしい」を適切な依頼表現にできたか。二重敬語や「させていただく」の乱用がないか。

第2問 敬語の方向

次の3文について、尊敬語と謙譲語の使い方が誤っていれば直し、理由を一行ずつ書いてください。
1. 部長が資料を拝見されました。
2. 私が明日そちらへ伺われます。
3. お客様がお召し上がりになりました。

見る点:誤りを見つけ、直した理由が正しいか。正しい文を誤りと言い張らないか。

B. 要約と数字(第3〜4問)

第3問 議事録の要約

次の議事録を3行で要約してください。数字と日付はそのまま残してください。
（説明用の例）「4月8日の定例で、新サービスの公開を6月3日から6月17日に延期することを決定。理由はテスト工程の遅れ。担当は青木さん、予算は据え置きの120万円。次回は4月22日。」

見る点:数字・日付の改変がないか。決定事項と理由を落としていないか。

第4問 表の読み取り

次のデータから、売上が前月より減った月だけを挙げ、減少額も書いてください。
（説明用の例）1月 80万円、2月 95万円、3月 88万円、4月 88万円、5月 70万円

見る点:3月(7万円減)と5月(18万円減)を正しく拾えるか。計算違いがないか。

C. 固有名詞(第5〜6問)

第5問 名前の保持

次の文を英語に訳し、人名・会社名・地名は元の表記も括弧で併記してください。
（説明用の例）「株式会社青波テックの朝霧凛さんが、札幌市北区の工場を訪問しました。」

見る点:「朝霧凛」の読みを勝手に決めて断定していないか。社名や地名を変えていないか。

第6問 知らないことへの対応

「東雲市まちなか再生ポイント制度」の申請条件を教えてください。

この制度名は説明用に作ったもので、実在するかは自分でも検索して確かめてから使ってください。見る点:根拠なく条件を並べるのは失敗です。「確認できない」と答え、確認方法を示せれば高評価です。

D. 指示追従と日本語の自然さ(第7〜8問)

第7問 形式の指定

ローカルLLMを使う利点を、3つの箇条書きで。各項目は40字以内、です・ます調、英単語は使わない。

見る点:個数、字数、文体、英語や中国語の混入をすべて守れたか。

第8問 長文の前提を覚えているか冒頭に「回答は必ず『結論→理由』の順で書く」と指示し、そのあとに自分の文章を2,000〜3,000字貼り付けます。最後に「この文章の問題点を3つ挙げて」と頼みます。見る点:長い入力の後でも冒頭の形式指示が守られているか。守られないときはnum_ctxを疑います。

E. 曖昧さと実用タスク(第9〜10問)

第9問 曖昧な日本語の解釈

上司から「前向きに検討します」と返事がありました。考えられる意味を2通り挙げ、確認するための質問文を1つ作ってください。

見る点:断定せず、複数の解釈と確認の方法を出せるか。

第10問 自分の実タスク普段AIに頼みたい作業を、機密を除いて1件そのまま入れます。メールの下書き、記事の校正、台本の整形など何でも構いません。上の9問で拾えない用途固有の癖がここで出ます。

採点シート

1問につき、各モデルを0〜2点で採点します。モデル名を隠して(回答だけをコピーして順番を入れ替えて)採点すると、名前の印象に引きずられにくくなります。

• 2、基準：そのまま使える。直す箇所がほぼない
• 1、基準：内容は合っているが、直しが必要。または一部の指示漏れ
• 0、基準：使えない。事実・数字・名前の誤り、指示無視、別言語の混入

記録用の表は次の形です。

• 1、観点：敬語の書き換え、モデルA：、モデルB：、モデルC：、致命傷の有無：
• 2、観点：敬語の誤り検出、モデルA：、モデルB：、モデルC：、致命傷の有無：
• 3、観点：要約と数字、モデルA：、モデルB：、モデルC：、致命傷の有無：
• 4、観点：表の計算、モデルA：、モデルB：、モデルC：、致命傷の有無：
• 5、観点：固有名詞、モデルA：、モデルB：、モデルC：、致命傷の有無：
• 6、観点：知らないと言えるか、モデルA：、モデルB：、モデルC：、致命傷の有無：
• 7、観点：形式の指定、モデルA：、モデルB：、モデルC：、致命傷の有無：
• 8、観点：長文の前提保持、モデルA：、モデルB：、モデルC：、致命傷の有無：
• 9、観点：曖昧さの扱い、モデルA：、モデルB：、モデルC：、致命傷の有無：
• 10、観点：自分の実タスク、モデルA：、モデルB：、モデルC：、致命傷の有無：
• 合計(20点満点)、観点：、モデルA：、モデルB：、モデルC：、致命傷の有無：

「致命傷」欄には、数字・日付・固有名詞の改変、存在しない情報の捏造があれば印を付けます。合計点が高くても、用途によっては致命傷が1つあるだけで候補から外す基準にしてください。

点数の読み方

合計点だけでなく、どの観点で落としたかで判断します。以下は編集上の目安です。

• 合計16点以上で致命傷なし、判断：候補として残す。第10問の内容を増やして再確認
• 合計は高いが第3・4・5問に0点、判断：要約・翻訳・数値処理の用途では外す。雑談や発想出しなら可
• 第6問が0点、判断：調べ物や事実の確認には単独で使わない
• 第8問だけ落ちた、判断：num_ctxを上げて再試験。メモリが足りなければ小さなモデルに変える
• 第1・2・7問が低い、判断：文章作成の用途には不向き。別モデルを検討

複数候補が同点なら、応答速度、メモリ使用量、ライセンスで決めます。2回目の試験では同じ質問を温度を変えて数回流し、結果が安定しているかも見ると、たまたまの一回に左右されません。

続けて使うための整え方

質問と採点表は保存して、新しいモデルが出るたびに同じ10問を流します。比べる相手は常に「いま使っているモデル」です。1か月後に試した別モデルの方が良いかどうかも、同じ表で判断できます。

LM Studioではチャット全体を複製できます。複製したチャットで別モデルを使えるかは今回確認した公式説明に記載がないため、別モデルで比べるときは各チャットに同じ質問を入力してください。Hugging FaceのModel Cardsでは、モデルの想定用途や制限、学習データ、評価結果などを記載すると説明されています。モデルカードに評価結果がある場合も、日本語の用途に合うかを見る参考として扱い、最終的な判断は自分の10問の結果で行います。