2019年1月24日
「統計的に有意」とは何か？
本コラムの目的と位置づけ
本コラムでは、統計分析を行う場合に頻繁に登場し、しかし専門家以外には一見すると難しい「統計的に有意」という考え方を解説します。なお、本コラムは「分かりやすさ」を重視し、統計初心者のビジネスパーソン向けに執筆しています。そのため、細部において、専門的に言うと語弊がある表現も含まれているかもしれません。あらかじめご容赦ください。
イントロダクション：「統計的に有意」を端的に表すと
「統計的に有意」とは、ごく端的に言えば、「あるグループ同士の平均値の差や、変数間の相関関係が『誤差で生じたとは考えにくい』ことをたしかめる方法」の一つです。例えば、「統計的に有意」な差が確認された場合、平均値の差は誤差ではなく、解釈に足る・意味がある差だと判断できる、ということになります。
「統計的に有意」が意味するところ：アンケート調査事例を用いた解説
アンケート調査の分析を例に説明しましょう。ある大企業X社において、「優秀な人材はどんな特徴を持つのか？」を明らかにしたいとします。まず、社内で業績などをもとに「優秀人材」を50名、「一般人材」を50名ピックアップし、それぞれの人材に対して同じアンケートに回答してもらいました。アンケートの中身は性格に関する質問であり、それぞれの人材の平均値に差があるか分析を行いました。
分析の結果、「明るい」性格を示す得点が、「優秀人材」では平均4.5点、「一般人材」では平均3.4点でした。つまり両者の間に1.1点の差があることが分かります。では、この結果をもって、「優秀人材には明るい人が多い」と言い切って良いのでしょうか。ここで、この結果に対するありがちな批判を挙げたいと思います。
- 合計100人の傾向から、全社10,000人に同じ傾向があると判断して良いのか？
- たまたま今年の社員がそうだっただけで、来年の社員は違う傾向なのではないか？
こうした批判を回避するための工夫の一つが、「統計的に有意」かどうかを検討する方法です。今回得られた1.1点の差が、「同じような調査を何回もやれば、誤差としてたまたま生じうる差」か、それとも「誤差として見逃すには大きく・はっきりした差」か、これを専門的な計算によって判断する方法です（注1）。確率的な計算を行うことで「誤差として処理しきれる可能性」（有意確率）を算出し、得られた結果に意味があるか（つまり有意差）を、一定の基準で判断することができます。学術領域における経験則で、有意確率が十分であるかどうかは、例えば「5%を下回るかどうか」で判断されます（注2）（「たまたま1.1点の差が生じる可能性が5%未満」となる場合に「たまたまではない」と判断されます）。
図. 優秀人材と一般人材の得点分布の例
（赤線の平均値は異なるものの、人材ごとに得点のばらつき（標準偏差）があり、
これらを中心に考慮することで有意差の有無を判断します。）
どんなときに「統計的に有意」になりやすいか？
なぜ「統計的に有意」が大事なのか？
社会科学に限らず、科学は結果を一般化することを目指しています。様々な実験や調査から得られた結果が「たまたまだった」ではなく、「（一定の制約のもと）必然だった」と主張することを志向しています。
先述のX社の例でいえば、100人の結果から、全社10,000人の一般的な傾向を知りたい、というのが本来の目的です。究極的に言えば、目の前の100人の結果にはあまり関心がなく、その「たまたま選ばれた」100人を通じて、さらに大きな対象の傾向を知ることが目的、と言っても過言ではないでしょう。
そこで重視されているのが、「統計的に有意」という考え方です。この考え方を当てはめることで、「今回回答した100人の間では平均値に差があった」という主張ができるだけでなく、「会社全体の平均値にも、おそらく差があると言える」というように、限られたデータから多くのことを見出せます。これが少なくとも社会科学において「統計的に有意」という考え方が発達し、重宝されてきた理由の一つだと考えられます。
「統計的に有意」への批判：効果の大きさを直接表すものではない
ただし近年、「統計的に有意」という考え方には、いくつかの問題点が指摘されています。代表的な指摘は、「統計的に有意」であることと、「平均値差や効果が大きい」ことは同じではないというものです。
「統計的に有意」は、いわば結果が誤差として生じうる確率が低い、すなわち、誤差として処理するにははっきりした差・効果がある、ということを意味しています。前述の通り、平均値の差や効果が大きいほど、「統計的に有意」になりやすいのは事実です。しかし、極端に規模が大きいデータなどの場合には、効果が小さくても、「統計的に有意」と判断されてしまうことがあります（注3）。この場合、「統計的に有意」であることは、「効果がゼロとは言い切れない」というだけで「効果が大きい」ことは意味していません。
この問題を克服するための方法の一つとして、近年は「効果が大きい」ことを見極めるために、別途「効果量」という基準が使われることが一般的になっています。これは文字通り、平均値の差に代表される「差や効果の大きさ」を表すための指標で、平均値差・ばらつき・回答者数などをもとにした、しかし「統計的に有意」とは異なる方法で計算されます。
現在、特に心理学に代表される領域では、この「効果量」と「統計的に有意」かどうかなど、複数の指標をあわせて考えることが推奨されています。
「統計的に有意」の代替案、それでも使い続ける意味は何か
また、上記の理由を含むいくつかの理由により、そもそも「統計的に有意」という考え方が社会科学、特に心理学を中心とする世界で見直され始めています。それを克服せんとする新たな分析手法、基準も、近年では検討されてきています（注4）。
しかし「統計的に有意」という判断基準が否定されたというほどのものではなく、問題もあるものの、未だ多くの研究では使われ続けています。ベストな方法ではないかもしれませんが、それをもとに様々な分析手法が発達したのも事実であり、また相対的に簡便な手法であることは重要な点でしょう。
特に実務と研究を架橋する上では、非常に高度な分析手法を用いるよりも、「ちょうどよい」使い勝手だと言えるかもしれません。この点において、「統計的に有意」を一概に「古い、誤った基準だ」と切り捨てるのではなく、「有用だが限界はある基準」として捉える方が、実践上は望ましいのではないでしょうか。様々な統計分析の方法として、まずは導入として「統計的に有意」を基準とする考え方を理解することの重要性が、ここにあります。
（注1）おおまかには、①平均値の差がどれくらいで、②それが個々人の回答のばらつき（標準偏差・分散）を考慮すると、③十分に大きい差かどうか、という順序で計算が行われます。なお、②の「考慮すると」という点や、③の「十分に大きい」の詳細を調整するために種々の数式や確率論が用いられます。
（注2）10%・5%・1%・0.1%が基準に設定されることが多いとされています。数字が小さくなるほど「1.1点の差がたまたま生じる確率」が低いことを意味します。したがって「この結果は偶然ではない」と強く主張する根拠になり得ます。
（注3）例えば、次の記事などで、Facebookを扱った研究をもとにした類似の例が扱われています。ただし、数万・数十万などの規模のデータが想定されることが多く、大半の人事データのように500～1,000人程度のデータを「大規模」と捉えるかどうか、また、どれほど慎重に考え、敏感になる必要があるのかについては、議論が分かれる問題かもしれません。
（注4）代表的なものには、信頼区間を用いる方法や、ベイズ統計を用いる方法等が挙げられます。
（了）
執筆者
正木 郁太郎
2017年東京大学大学院人文社会系研究科博士後期課程修了。博士（社会心理学）。2020年現在、同研究科研究員として在籍。人事・組織に関する研究やHRTech、さらに中等教育などの領域で、民間企業からの業務委託や、アドバイザーなどを複数兼務。組織のダイバーシティに関する研究を中心として、社会心理学や産業・組織心理学を主たる研究領域としており、企業や学校現場の問題関心と学術研究の橋渡しとなることを目指している。著書に『職場における性別ダイバーシティの心理的影響』（東京大学出版会）がある。
＞正木 郁太郎のプロフィール
