設問の作り方で結果が変わる:誘導的な質問と選択肢を直すチェックリスト

公的機関が示す設問づくりの基本

総務省統計局の解説では、調査票づくりの注意点として次の点が挙がっています。

• 「最近」のような曖昧な言葉を避け、「1か月以内」のように期間をはっきり書く
• 質問の前に危機感をあおるような説明を入れない
• 複数の内容を1つの質問に混ぜない
• 世代や地域で意味が変わる言葉に注意する

出典:総務省統計局「調査票の作成」

同じ解説は、回答方式として単一回答(SA)、複数回答(MA)、自由記述を挙げ、集計のしやすさや回答のしやすさに利点と欠点があるとしています。また、統計局の教材では、前の質問への回答が後の質問に影響する「キャリーオーバー効果」への配慮が、調査票づくりのポイントの一つになっています(Data StaRt「調査票の全体構成」)。さらに、調査の目的や対象、時期、方法などを検討して調査を設計する考え方も示されています(総務省統計局「調査の企画や設計」)。

以下の対比例と点検リストは、これらを土台にした編集上の整理です。公式資料に書かれた項目と、私が補った観点が混ざっています。

質問文:悪い設問と直した設問(説明用の例)

• 前置きで方向づけ、悪い設問：「多くの方が不便を感じている社内チャットですが、改善は必要だと思いますか」、直した設問：「社内チャットの使いやすさについて、あてはまるものを1つ選んでください」(選択肢は後述)
• 曖昧な期間、悪い設問：「最近、会議は多いと感じますか」、直した設問：「この1か月の会議の回数は、ご自身の業務量に対して多い・ちょうどよい・少ないのどれですか」
• 1問に複数の内容(二重質問)、悪い設問：「新しい研修は分かりやすく、役に立ちましたか」、直した設問：「研修の分かりやすさ」と「業務での役立ち度」を別々の2問にする
• 価値判断を含む言葉、悪い設問：「無駄な定例会議を減らすべきですか」、直した設問：「定例会議の回数を減らすことに、賛成・反対のどちらですか」
• 前提の決めつけ、悪い設問：「在宅勤務で困っている点は何ですか」、直した設問：「在宅勤務で困っている点はありますか。ある場合は内容を教えてください」

直し方の共通点は、回答者に期待する答えを質問文から消すことと、1問で測るものを1つにすることです。

選択肢:偏りが出る典型パターン

選択肢は、質問文より見落とされがちです。次の例も説明用です。

悪い例:満足度の選択肢が前向きに偏っている

非常に満足 / 満足 / やや満足 / どちらでもない / 不満

肯定側が3段階、否定側が1段階で、不満の度合いを表せません。

直した例

満足 / やや満足 / どちらともいえない / やや不満 / 不満 / 利用していないので答えられない

悪い例:範囲が重なり、抜けもある

年間の利用回数:1〜5回 / 5〜10回 / 10回以上

5回と10回の人はどちらを選ぶか分かりません。0回の人の選択肢もありません。

直した例

0回 / 1〜4回 / 5〜9回 / 10回以上

選択肢で見るのは次の4点です。

1. 重ならない・抜けがない:範囲は重ならないようにし、あてはまらない人向けに「その他」「該当なし」「わからない」を用意するか判断します。
2. 賛否の段階が左右対称:肯定側と否定側の数を揃えます。
3. 単一回答か複数回答かが明記されている:「1つ選択」「すべて選択」を設問に書きます。
4. 並べ方が結果を左右しないか:上にある選択肢が選ばれやすくなる可能性があります。商品名など順序に意味がない選択肢は、回答画面ごとの入れ替えを検討します。

公開前に使う設問点検リスト

設問ごとに、次の項目を「はい」で確認します。

質問文

• [ ] 質問の前に、結論や感情を促す説明を入れていない
• [ ] 「最近」「よく」「多い」など、人によって幅が出る言葉を具体化した
• [ ] 1問で聞くことは1つだけである(「と」「かつ」「や」を含む質問を確認した)
• [ ] 「無駄な」「当然の」など価値判断を含む言葉がない
• [ ] 回答者が経験していることを前提にしていない
• [ ] 専門用語や略語に、対象者に通じる説明がある
• [ ] 前の設問が、この設問の答えを方向づけていない(順序を確認した)

選択肢

• [ ] 範囲や内容が重複していない
• [ ] 想定外の回答者の逃げ道(その他・該当なし・わからない)を判断した
• [ ] 肯定側と否定側の数が揃っている
• [ ] 単一回答・複数回答の指示がある
• [ ] 並べ方に意図が入っていない

公開直前

• [ ] 調査の目的と、結果で決めたいことを1行で書けている
• [ ] 数人に実際に答えてもらい、迷った箇所を直した

AIに下見をさせる依頼文

AIは、見落としの洗い出しと言い換え案の作成に向いています。一方で、AIの指摘が正しいか、対象者に通じる言葉かどうかは判断できません。最終判断は人が行います。

AIには、設問の文面と調査の目的、対象者の属性だけを渡します。実際の回答データや個人が特定できる情報は入れません。社外秘の設問を扱う場合は、固有名詞を「A社」「製品X」のように置き換えてください。学習への利用設定を切ることと、情報を外部に出さないことは別の話です。

あなたはアンケート設計の査読者です。以下の設問案を点検してください。

【調査の目的】社内チャットの改善優先度を決めるため
【対象者】全社員(営業・開発・管理部門)
【設問案】
Q1 多くの方が不便を感じている社内チャットですが、改善は必要だと思いますか。
  選択肢:必要 / どちらかといえば必要 / 不要

【依頼】
1. 誘導的な言い回し、曖昧な言葉、二重質問、前提の決めつけを指摘してください。
2. 選択肢の重複・抜け・偏り・逃げ道の有無を指摘してください。
3. 指摘ごとに「どの語句が」「なぜ問題か」を1行で示してください。
4. 修正案を1つずつ示してください。ただし、元の意図を変える修正は「意図が変わる可能性あり」と明記してください。
5. 点検できなかったこと、対象者への通じやすさなど人が確認すべき点を最後に挙げてください。

返ってきた修正案は、そのまま採用せず、上の点検リストに照らして確認します。特に、AIが「中立的」にしたつもりで、質問の意図を弱めていないかを見てください。

最後に人が確認すること

人が確認するのは、次の3点です。

1. 目的との対応:その設問の回答で、何を決めるのかが言えるか。言えない設問は削ります。
2. 試し回答:同じ属性の人に3〜5人ほど答えてもらい、「どこで迷ったか」「どう解釈したか」を聞きます。人数は目安として私が置いたもので、統計的な根拠はありません。
3. 集計の見通し:単一回答か複数回答か、自由記述をどう分類するかを、公開前に決めておきます。

設問の修正は、集計の方法にも影響します。公開後に設問や選択肢を変えると、変更前後の結果は単純に比べられません。比較したい調査は、最初の設問から固定する前提で作りましょう。