アンケート結果は誰の声か:回答者の偏りを見抜く3つの視点と補足の書き方

「偏り」とは何か:人数を増やしても消えない誤差

公的統計の世界では、標本調査の結果が実際の全体とずれる理由を大きく2つに分けて考えます。1つは、一部を選んだことで偶然生じるばらつきです。もう1つは、それ以外のあらゆる原因によるずれで、「非標本誤差」と呼ばれます。e-Statの日英統計用語集では、標本抽出による変動では説明できない誤差と定義され、要因として標本の枠(名簿など)の欠陥や、データ収集・処理段階の誤りなどが挙げられています。

また、総務省統計局の全数調査・標本調査は、標本調査では偏りをなるべく小さくして母集団を代表するよう標本を選び、調査に偏りが出ないよう無作為に抽出する必要があると説明しています。

ここから分かるのは、「回答数が多い」ことと「全体を代表している」ことは別だという点です。同じ集め方を続ける限り、人数が増えても同じ方向にずれが残ります。SNSで募った1,000件より、無作為に選んで丁寧に追いかけた300件のほうが全体に近い、ということは十分あります。

3つの視点の質問表

結果を見る前に、次の表を埋めます。「サイン」に当てはまるものが多いほど、結果の言い方を弱める必要があります。

• 入口、確認する質問：対象者の名簿や範囲は、知りたい全体と一致しているか、偏りを疑うサイン：募集がSNS・メルマガ・店頭など特定の経路だけ。名簿に載らない層がある、確認する場所：配布方法、告知文
• 入口、確認する質問：回答できる環境(端末・言語・時間帯)に制限はないか、偏りを疑うサイン：スマホ前提、平日昼のみ、日本語のみ、確認する場所：回答画面、公開期間
• 回答、確認する質問：回答率は何%か。配布数は分かるか、偏りを疑うサイン：配布数が不明、または回答率が低い、確認する場所：配布数と回収数
• 回答、確認する質問：答える動機に偏りがないか、偏りを疑うサイン：不満が強い人、熱心な人だけが書きやすい。謝礼目当ての回答、確認する場所：謝礼の有無、依頼文の文面
• 回答、確認する質問：途中離脱や無回答は特定の設問・属性に集中していないか、偏りを疑うサイン：長い設問の後で急に減る、特定の年代だけ空欄が多い、確認する場所：設問別の回答数
• 照合、確認する質問：回答者の属性構成は、名簿や公的統計の構成と近いか、偏りを疑うサイン：年代・地域・利用歴の比率が大きく違う、確認する場所：名簿の属性、公的統計
• 照合、確認する質問：以前の調査や別の指標と同じ方向の結果か、偏りを疑うサイン：売上や利用ログと傾向が食い違う、確認する場所：過去資料、ログ

「照合」には、全体の構成が分かっている外部の数字が必要です。年齢や地域の構成なら、e-Statで公表されている公的統計などが候補になります。ただし、どの統計が自分の調査対象に当たるかは、対象の定義次第です。対象が「自社の顧客」なら、比べる基準は自社の顧客名簿のほうが適切です。

回答率から「言える幅」を見積もる

回答しなかった人の意見が分からないとき、極端な場合を置いて、結果がどこまで動き得るかを計算できます。以下は説明用の例で、実在の調査ではありません。

• 対象者:社内の全従業員800人に配布
• 回答:200人(回答率25%)
• 回答者のうち「満足」と答えた人:160人(80%)

回答しなかった600人が全員「不満」だった場合、全体の満足は160÷800=20%です。全員「満足」だった場合は(160+600)÷800=95%です。つまり、この結果だけでは全体の満足度は20〜95%のどこにあるとも言えます。

これは極端な見積もりで、現実はこの中間のどこかです。ただ、回答率が25%なら「全体の80%が満足」とは書けず、「回答者の80%が満足」までしか言えないことがよく分かります。たとえば回答しなかった人の満足度が40%なら、全体は(160+240)÷800=50%です。回答率が上がるほど、この幅は狭くなります。

結果に添える限界の書き方

限界の記述は、免責のための定型文ではなく、読み手が結果をどこまで信じてよいかを決める情報です。次の4点を、数字を書いたその近くに入れます。

1. 調査の対象と回答者(誰に、どう配り、何人が答えたか)
2. 回答率(配布数が分かる場合)
3. 偏りが生じ得る方向
4. 結果の使い方の範囲

説明用の例(上の社内調査を想定)

本調査は全従業員800人にメールで配布し、200人(25%)が回答しました。満足と答えたのは回答者の80%です。回答は任意で期間も平日のみだったため、不満の少ない人や、当該ツールをよく使う人が多く答えている可能性があります。この結果は回答者の傾向を示すもので、全従業員の満足度を表すものではありません。

属性構成を照合できた場合の例

回答者の年代構成は、社員名簿と比べて20代の比率が低くなっています(名簿◯%、回答◯%)。年代別の集計は参考値として扱ってください。

◯の部分は、実際の数字に置き換えて使ってください。

避けたい書き方

• 「全社員の声です」(回答者しか見ていない)
• 「回答数が多いので信頼できます」(件数は代表性の根拠にならない)
• 「偏りがある可能性があります」だけで終える(どの方向かが読み手に伝わらない)

AIに手伝わせる依頼文と、人が確認すること

質問表を埋める作業の下書きは、AIに任せられます。ただし、AIが推測できるのは、渡した調査概要の範囲だけです。実際の回答率や名簿の構成を知っているわけではないので、そこは人が数字を入れます。

AIに渡すのは、個人が特定できない調査の概要だけにします。自由記述の生データや回答者の氏名、社外秘の数値はそのまま貼らず、「◯◯社」「約800人」のように置き換えます。

依頼文の例

アンケート結果の偏りを点検したいので手伝ってください。
以下の調査概要をもとに、次の3視点で「偏りが生じ得る点」を箇条書きにしてください。
1. 入口:誰に届いたか/届かなかったか
2. 回答:誰が答えやすく、誰が答えにくいか
3. 照合:比べるべき外部の数字や名簿の項目
あわせて、結果に添える「調査の限界」の文を150字程度で作ってください。
分からない点は推測で補わず「要確認」と書いてください。

【調査概要】
目的:◯◯
対象:◯◯(約◯人)
配布方法:◯◯
回答期間:◯◯
回答数:◯◯(回答率:◯%)
設問の形式:◯◯
結果の要約:◯◯

AIの出力を受け取ったら、人が次を確認します。

• 配布数・回答数・回答率が、実際の記録と一致しているか
• 「偏りの方向」がこの調査の状況に合っているか(一般論の羅列になっていないか)
• 「要確認」の項目を、名簿や配布記録で埋められたか
• 限界の文が、実際の結果の使い道(会議資料、公開記事など)に見合っているか

結果の言い方を決める判断表

最後に、点検の結果から言い方を決める表です。この基準は目安であり、公的な基準ではありません。

• 無作為に選び、回答率が高く、属性構成も名簿と近い、書ける言い方：「対象者全体の傾向として」と書ける。ただし誤差の幅は別に示す
• 全員に配ったが回答率が低い、書ける言い方：「回答者の傾向」と書き、回答率と偏りの方向を添える
• 募集経路が限られる(SNSなど)、配布数が不明、書ける言い方：「この調査に答えた人の意見」にとどめ、全体への一般化は避ける
• 属性構成が名簿と大きくずれている、書ける言い方：属性別に分けて示すか、「参考値」と明記する

回答者の数字を、無理に全体へ広げる必要はありません。「この調査に答えた人は、こう考えている」という事実は、それだけで十分に役立つ情報です。