先日、朝日新聞デジタルに「ネット調査、『手抜き』回答横行か 質問文読まずに…」という、調査にかかわる者にとってはかなりショッキングなタイトルの記事が掲載されていました。
同記事では、関西学院大の三浦麻子教授と国立情報学研究所の小林哲郎准教授による「オンライン調査モニタのSatisficeに関する実験的研究」の研究報告が紹介されています。
日本社会心理学会の「社会心理学研究 第31巻第1号」に論文が発表されているということで、調査票とあわせて早速読んでみました。
三浦教授・小林准教授の研究では、オンライン調査会社2社(論文中ではA社とB社として報告されています)の登録モニターを対象として、同じ内容の調査を行っています。
まず、スクリーニング調査で「あなたの日常的な行動についておたずねします。」として、約350字の説明文を提示した後、「あなたがこの指示をお読みになったなら、以下の質問には回答せずに(つまり、どの選択肢もクリックせずに)次のページに進んで下さい。」との教示文を表示し、教示文の下に3項目の質問が並んでいます。
教示を遵守した場合には3項目とも「無回答」となり、3項目のいずれか1つでも回答した場合は教示に従っていない「違反群」となります。調査の結果、「違反群」の割合はA社で51.2％、B社では83.8％であったとのことです。
そして、本調査では50項目版/30項目版/10項目版の3種類のマトリックス質問(50項目版と30項目版では、スクロールによって選択肢が見えなくなることがないよう10 項目ごとに選択肢を再表示させたそうです)を実施し、それぞれのランダムな位置に「この質問は一番左の選択肢を選んで下さい」「この質問は一番右の選択肢を選んで下さい」という項目を出現させる実験を行っています。
これらの2項目のうち少なくとも1つについて指示とは異なる選択肢を選んだ人の割合は13.3%だったそうです。
記事の見出しからは「ネット調査では、質問文を読まない『手抜き』回答が多い」と受け取ってしまいそうですが、論文が示しているような問題は、郵送や留置による自記式調査でも起こりうることですので、他のアプローチの場合との比較検証が示されていない段階では、「ネット調査だから…」というような決めつけはできません。
論文の第一著者である三浦教授は、「社会心理学の調査には実験操作を含むものが多く、それらは主に設問文の教示や内容を変えたり、シナリオ文を読ませたりすることによってなされています。この教示をそもそも読んでいないのならば、論外なわけです。」とおっしゃっており、同教授らの研究報告は「データによる実証科学である社会心理学」の研究者に対する警鐘ととらえるべきものですが、弊社のようなマーケティングリサーチに携わる者にとっても大いに参考になるところがあります。
この実験研究から受け取るべきヒントは、
・長い前置きや質問文はしっかりと読まれない恐れがある。
・マトリックス質問に組み込まれる項目は10～20項目程度におさえるべしという経験則はインターネット調査の時代でもかわらない。
ということだろうと思います。
面接調査の場合、調査票の内容を含む調査方法に多少なりとも無理があろうものなら、対象者に回答してもらう前の調査員説明会(調査業界では「インスト」と呼びます)の段階で大騒ぎになりますので、常々無理のない調査設計を心がけています。
一方で、登録モニター対象のインターネット調査では、厳格な制御を施せば、内容に矛盾がないきれいな回答データができあがってきますので、質問の内容やフローの面で多少の無理が利いてしまうところがあるように感じています。
「調査はコミュニケーション」
対象者の思考や感情に繊細に配慮した無駄や無理のない質問を構成し、課題を一つ一つ丁寧に解きほぐしていくことにより、はじめて現実味のある確からしい情報を得ることができるということを改めて肝に銘じた次第です。
※インターネットを利用した調査について、朝日新聞デジタルの記事では「ネット調査」、三浦教授・小林准教授の論文では「オンライン調査」と表記されていますが、日本マーケティングリサーチ協会では「インターネット調査」、ESOMAR(ヨーロッパ世論・市場調査協会)では「Online Research」で統一しているようです。
【関連コラムなど】
