現在各分野でエビデンスの重要性が言われ、社会調査の重要性が高まっているように思う。
しかし一方で、個人情報保護などで調査の実査は難しくなり、サンプリングがいい加減で、回収率も低い調査が、その結果だけが注目されるような事態も多くなっている。
渋谷の街頭で100人に聞いた結果が、あたかも日本人の今の好みの実態（エビデンス）のように報道されることも多い。これでは、社会調査の信頼性はますます低下していくことであろう。
一方、社会調査の研究者は、調査の誤差を少しでも少なくするように努力している。
その一端を社会調査の専門家で、アメリカの研究動向に詳しい小島秀夫さんが、教えてくれた。例えば、調査の回収率の違いによって、項目間の規定関係に違いが出てくるという実証研究まであるとのことである。
＜単純集計結果でも、回収率が５０%の場合と７０％の場合では結果に差が見られるといった研究もあります。こうしたことは無回答の問題として広く研究されています。回収率などによって相関係数なども変わる可能性があると思います。その結果、結論も変わる可能性があると予想されます。＞
＜例えば、「あなたは幸福ですが？」と質問した結果と「あなたは不幸ですが？」と質問した結果は同じになるはずですが、実際には差があります。＞
＜私自身は調査結果については、真値＋誤差から構成されていると考えています。この真値に近いものが信頼性が高いというものです。調査の場合は誤差がありますが、その誤差をいかに少なくするかということが問題です。アメリカなどでもtotal survey error approachなどが言われています。この方法は、調査の概念化から実施、分析,結果までに存在する誤差を低減させるというアプローチですが、実際に誤差をなくすことが不可能です。そこで重要なのはいかにそれらの誤差を制御しているのかということです。調査関係の研究はアメリカの研究の影響をかなり受けています。＞