「統計的に有意」とは何か?

2019-1-23

本コラムの目的と位置づけ

 

本コラムでは、統計分析を行う場合に頻繁に登場し、しかし専門家以外には一見すると難しい「統計的に有意」という考え方を解説します。なお、本コラムは「分かりやすさ」を重視し、統計初心者のビジネスパーソン向けに執筆しています。そのため、細部において、専門的に言うと語弊がある表現も含まれているかもしれません。あらかじめご容赦ください。

 

イントロダクション:「統計的に有意」を端的に表すと

 

「統計的に有意」とは、ごく端的に言えば、「あるグループ同士の平均値の差や、変数間の相関関係が『誤差で生じたとは考えにくい』ことをたしかめる方法」の一つです。例えば、「統計的に有意」な差が確認された場合、平均値の差は誤差ではなく、解釈に足る・意味がある差だと判断できる、ということになります。

 

「統計的に有意」が意味するところ:アンケート調査事例を用いた解説

 

アンケート調査の分析を例に説明しましょう。ある大企業X社において、「優秀な人材はどんな特徴を持つのか?」を明らかにしたいとします。まず、社内で業績などをもとに「優秀人材」を50名、「一般人材」を50名ピックアップし、それぞれの人材に対して同じアンケートに回答してもらいました。アンケートの中身は性格に関する質問であり、それぞれの人材の平均値に差があるか分析を行いました。

 

分析の結果、「明るい」性格を示す得点が、「優秀人材」では平均4.5点、「一般人材」では平均3.4点でした。つまり両者の間に1.1点の差があることが分かります。では、この結果をもって、「優秀人材には明るい人が多い」と言い切って良いのでしょうか。ここで、この結果に対するありがちな批判を挙げたいと思います。

 

・合計100人の傾向から、全社10,000人に同じ傾向があると判断して良いのか?

・たまたま今年の社員がそうだっただけで、来年の社員は違う傾向なのではないか?

 

こうした批判を回避するための工夫の一つが、「統計的に有意」かどうかを検討する方法です。今回得られた1.1点の差が、「同じような調査を何回もやれば、誤差としてたまたま生じうる差」か、それとも「誤差として見逃すには大きく・はっきりした差」か、これを専門的な計算によって判断する方法です(注1)。確率的な計算を行うことで「誤差として処理しきれる可能性」(有意確率)を算出し、得られた結果に意味があるか(つまり有意差)を、一定の基準で判断することができます。学術領域における経験則で、有意確率が十分であるかどうかは、例えば「5%を下回るかどうか」で判断されます(注2)(「たまたま1.1点の差が生じる可能性が5%未満」となる場合に「たまたまではない」と判断されます)。

 

 

図. 優秀人材と一般人材の得点分布の例
(赤線の平均値は異なるものの、人材ごとに得点のばらつき(標準偏差)があり、
これらを中心に考慮することで有意差の有無を判断します。)

 

 

どんなときに「統計的に有意」になりやすいか?

 

分析結果が「統計的に有意」になりやすいのは、主に次の3つのケースであると言われています。

 

表. 統計的な有意差が得られやすい代表的なケース

 

 

なぜ「統計的に有意」が大事なのか?

 

社会科学に限らず、科学は結果を一般化することを目指しています。様々な実験や調査から得られた結果が「たまたまだった」ではなく、「(一定の制約のもと)必然だった」と主張することを志向しています。

 

先述のX社の例でいえば、100人の結果から、全社10,000人の一般的な傾向を知りたい、というのが本来の目的です。究極的に言えば、目の前の100人の結果にはあまり関心がなく、その「たまたま選ばれた」100人を通じて、さらに大きな対象の傾向を知ることが目的、と言っても過言ではないでしょう。

 

そこで重視されているのが、「統計的に有意」という考え方です。この考え方を当てはめることで、「今回回答した100人の間では平均値に差があった」という主張ができるだけでなく、「会社全体の平均値にも、おそらく差があると言える」というように、限られたデータから多くのことを見出せます。これが少なくとも社会科学において「統計的に有意」という考え方が発達し、重宝されてきた理由の一つだと考えられます。

 

「統計的に有意」への批判:効果の大きさを直接表すものではない

 

ただし近年、「統計的に有意」という考え方には、いくつかの問題点が指摘されています。代表的な指摘は、「統計的に有意」であることと、「平均値差や効果が大きい」ことは同じではないというものです。

 

「統計的に有意」は、いわば結果が誤差として生じうる確率が低い、すなわち、誤差として処理するにははっきりした差・効果がある、ということを意味しています。前述の通り、平均値の差や効果が大きいほど、「統計的に有意」になりやすいのは事実です。しかし、極端に規模が大きいデータなどの場合には、効果が小さくても、「統計的に有意」と判断されてしまうことがあります(注3)。この場合、「統計的に有意」であることは、「効果がゼロとは言い切れない」というだけで「効果が大きい」ことは意味していません。

 

この問題を克服するための方法の一つとして、近年は「効果が大きい」ことを見極めるために、別途「効果量」という基準が使われることが一般的になっています。これは文字通り、平均値の差に代表される「差や効果の大きさ」を表すための指標で、平均値差・ばらつき・回答者数などをもとにした、しかし「統計的に有意」とは異なる方法で計算されます。

 

現在、特に心理学に代表される領域では、この「効果量」と「統計的に有意」かどうかなど、複数の指標をあわせて考えることが推奨されています。

 

「統計的に有意」の代替案、それでも使い続ける意味は何か

 

また、上記の理由を含むいくつかの理由により、そもそも「統計的に有意」という考え方が社会科学、特に心理学を中心とする世界で見直され始めています。それを克服せんとする新たな分析手法、基準も、近年では検討されてきています(注4)。

 

しかし「統計的に有意」という判断基準が否定されたというほどのものではなく、問題もあるものの、未だ多くの研究では使われ続けています。ベストな方法ではないかもしれませんが、それをもとに様々な分析手法が発達したのも事実であり、また相対的に簡便な手法であることは重要な点でしょう。

 

特に実務と研究を架橋する上では、非常に高度な分析手法を用いるよりも、「ちょうどよい」使い勝手だと言えるかもしれません。この点において、「統計的に有意」を一概に「古い、誤った基準だ」と切り捨てるのではなく、「有用だが限界はある基準」として捉える方が、実践上は望ましいのではないでしょうか。様々な統計分析の方法として、まずは導入として「統計的に有意」を基準とする考え方を理解することの重要性が、ここにあります。

 

(注1)おおまかには、①平均値の差がどれくらいで、②それが個々人の回答のばらつき(標準偏差・分散)を考慮すると、③十分に大きい差かどうか、という順序で計算が行われます。なお、②の「考慮すると」という点や、③の「十分に大きい」の詳細を調整するために種々の数式や確率論が用いられます。

(注2)10%・5%・1%・0.1%が基準に設定されることが多いとされています。数字が小さくなるほど「1.1点の差がたまたま生じる確率」が低いことを意味します。したがって「この結果は偶然ではない」と強く主張する根拠になり得ます。

(注3)例えば、次の記事などで、Facebookを扱った研究をもとにした類似の例が扱われています。ただし、数万・数十万などの規模のデータが想定されることが多く、大半の人事データのように500~1,000人程度のデータを「大規模」と捉えるかどうか、また、どれほど慎重に考え、敏感になる必要があるのかについては、議論が分かれる問題かもしれません。

(注4)代表的なものには、信頼区間を用いる方法や、ベイズ統計を用いる方法等が挙げられます。

 

 

(了)

Share on Facebook
Share on Twitter
Please reload

 © 2017  Business Research Lab, Inc. All rights reserved.

  • White Facebook Icon
  • White Twitter Icon

東京都世田谷区奥沢5-40-6 ZOOM自由が丘4F/5F

​info@business-research-lab.com