組織と人の可能性を最大化するために指針の一つとなるのが、エンゲージメントサーベイや適性検査といった、いわゆる「アセスメントツール」です。自社の課題に合わせて新しい指標を開発したり、最新の理論に基づいた新しいツールを導入したりする際には、大きな期待を抱くことでしょう。これを使えば、これまで見えなかった人材のポテンシャルを発見できるかもしれない。組織の隠れた問題点を特定し、的確な打ち手を講じられるかもしれない、と。

しかし、期待とは異なる結果に直面する時があります。それは、満を持して導入した新しい尺度が、理論的には強く関連するはずの、既存の有名なアセスメントの結果と、なぜかほとんど相関しないという事実を目の当たりにした時です。例えば、新しい手法で測定した「変革推進力」が、既存の適性検査における「リーダーシップポテンシャル」と関連しない。精緻に設計した「心理的安全性」サーベイが、長年使ってきたエンゲージメントサーベイの特定項目と結びつかないといった事態です。

この「相関しない」という結果を前にした時、人の思考は、ある特定の方向へと強く引き寄せられることがあります。「やはり、自分たちが作った尺度に何か問題があったのではないか」「新しく導入したツールは、まだ実績も少ないし、信頼できないのかもしれない」。そう考えてしまうのです。

しかし、その思考プロセスは、組織にとって重要な論点を見過ごす可能性があります。相関がないという事実は、必ずしも失敗の証左ではありません。それは、これまで「絶対的な基準」だと信じられてきたものに改めて目を向け、組織の状態をより深く理解するための契機となるかもしれないのです。

本コラムでは、このアセスメント間の「不一致」という現象を深掘りします。なぜ人は自らの側に原因を求めやすいのか。そして、その思考の傾向を乗り越え、より本質的な問題解決へと至るために、人事担当者はどのような視点を持つと良いのか。組織のデータ品質を担保する専門家として、いかにして複雑な現実と向き合うかという、プロフェッショナリズムについての問いかけです。

相関なき結果の背後にある可能性

新しい尺度と既存の尺度の間に期待された相関が見られない時、その原因は一つとは限りません。冷静に状況を分析するためには、少なくとも4つの可能性を考慮に入れ、それぞれを吟味する必要があります。

第一に、最も考えやすく、多くの人が最初に検討するのが「自分たちの新しい尺度に問題がある」という可能性です。これは謙虚な姿勢であり、探求の第一歩として不可欠です。尺度の開発プロセスにおいて、質問項目の作り方が適切でなかったのかもしれない。測定対象の定義が曖昧だったのかもしれない。あるいは、テストを実施した対象者に偏りがあり、適切なデータが得られなかったのかもしれません。自分たちの成果を批判的に吟味し、欠陥がなかったかを真摯に検証するプロセスは、決して省略してはなりません。

しかし、その可能性のみに固執するのは、早計な判断と言えるでしょう。第二に、「既存の尺度に問題がある」という可能性が存在します。これは、もしかすると多くの人が無意識のうちに検討の対象から外してしまう選択肢です。なぜなら、その尺度は業界で広く使われており、多くの企業が導入しているという実績があるからです。しかし、その実績は、尺度の品質を永続的に保証するものではありません。

この「問題」には、いくつかのバリエーションが存在します。既存の尺度がそもそも開発の段階から、科学的な手続きが十分でなく、厳密な検証を経ていないまま市場に出てしまった可能性があります。また、開発当初は優れていたものの、その後の理論的発展が反映されず、測定している概念が現在の状況に適合しなくなっているものもあります。

あるいは、長年の間、適切なメンテナンスが施されず、測定の精度が劣化してしまったものもあるでしょう。残念ながら、市場に出回っているすべてのアセスメントが、常に最高の品質を保ち続けているわけではありません。これは、直視すべき現実でしょう。

第三に、より複雑なケースとして、「両方の尺度に、それぞれ異なる種類の問題がある」という可能性も考えられます。新しい尺度がまだ発展途上であると同時に、既存の尺度もまた、先述のような問題を抱えているかもしれません。この場合、問題の所在を特定するのはより困難になりますが、両者の不完全さが組み合わさって、相関が見えにくくなっているという構図です。

そして第四に、「尺度そのものではなく、他の要因が影響している」という可能性です。例えば、測定の対象となった集団の特性が、二つの尺度の相関に影響を与えているのかもしれません。ある特定の職種や階層では相関するが、別の集団では相関しない、といった状況です。あるいは、二つの概念の関係が、想定されていたような単純な直線関係ではない、という可能性も考えられます。

重要なのは、これら4つの可能性を、先入観なく等しく検討することです。しかし現実の組織の中では、第二の可能性、すなわち「既存の権威ある尺度への懐疑」は心理的な抵抗が最も大きく、しばしば十分に検討されないまま見過ごされてしまう傾向があります。

「不正確な指標」の本質

それにしても、なぜ「きちんと作られていない」既存の尺度と、厳密に開発した新しい尺度の間で、期待される相関が見られないのでしょうか。そのメカニズムを理解するためには、指標の品質を支える二本の柱、「信頼性」と「妥当性」という概念に立ち返る必要があります[1]。この二つのどちらか、あるいは両方が欠けている状態が、「きちんと作られていない」指標の正体です。

「信頼性」とは、「測定の安定性・一貫性」を意味します。測定結果が安定している度合いと言い換えることもできます。例えば、ある個人の特性が変化していないにもかかわらず、同じアセスメントを短期間に複数回実施した際に、結果が大きく変動する場合、そのアセスメントの信頼性は低いと判断されます。信頼性が低い指標は、測定結果に多くの「測定誤差」と呼ばれる変動要因が含まれている状態です。

たとえ開発された新しい尺度が、極めて高い信頼性を持つように設計されていたとしても、比較対象である既存の尺度の測定結果が偶然に左右される不安定なものであれば、両者の結果が安定して連動する（＝高い相関を示す）はずがありません。片方の測定値が毎回大きく変動するのですから、もう片方の正確な測定値との間に、一貫した関係性など見出せるわけがないのです。

次に、より本質的な問題が「妥当性」です。これは、「測定したいと考えている概念を、本当に正確に測定できているか」という問いに他なりません。意図した概念とは異なるものを測定している場合、その指標は妥当性が低いと言えます。人事の世界でも、同様の事象が問題を引き起こすことがあります。例えば、「次世代リーダーのポテンシャル」を測るためのアセスメントを導入したとします。

しかし、その中身をよくよく分析してみると、実際には「社交性の高さ」や「声の大きさ、自己主張の強さ」といった、リーダーシップの一側面に過ぎない要素を主に測定しているだけかもしれません。この場合、内省的で思慮深いが、優れた戦略的思考を持つような、別のタイプのリーダー候補者を見逃してしまう危険性があります。

この状況で、「戦略的思考力」を正確に測定する新しい尺度を開発したとしましょう。当然、その結果は、「社交性」を主に測っている既存の「リーダーシップポテンシャル」指標とは、高い相関を示しません。なぜなら、両者は測定している概念（構成概念）が異なるからです。測定している概念が異なる指標間で、結果が一致しないのはむしろ論理的な帰結と言えます。

相関の強さを表す相関係数には「相関の希薄化」という統計的な性質があります。これは、二つの指標の間で観測される相関関係は、それぞれの指標の信頼性によって理論的な上限が定められるというものです。片方、あるいは両方の指標の信頼性が低ければ、観測される相関も必然的に低くなります。妥当性については言うまでもありません。測っているものが違えば、相関のしようがないのです。

したがって、「既存の尺度と相関しない」という事実は、新しい尺度の失敗を意味するとは限りません。それは、比較対象である既存の尺度が、「測定結果が安定しない（信頼性が低い）」か、あるいは「意図しない概念を測定している（妥当性が低い）」という問題を抱えている可能性を示唆しているのです。

既存指標が持つ影響力

なぜ、人は既存の、特に有名で広く使われている指標を疑うことに抵抗を感じるのでしょうか。その背景には人間の心理的な傾向と、組織に根付いた力学が、構造的な要因として作用しています。

要因の一つは、「社会的証明」という心理効果です。多くの企業が使っている、業界のリーダーが採用している、という事実は、「多くの人が支持するものは正しいに違いない」という安心感を生み出します。その指標の科学的な妥当性を自ら検証する手間を省き、他社の選択を無批判に受け入れてしまうのです。これは楽な選択ですが、思考の硬直化にもつながりかねません[2]。

加えて、「権威論証」という解釈の誤りも無視できません。著名な研究者やコンサルティングファームが開発したというだけで、その指標は絶対的な権威と見なされ、その品質を疑うこと自体が非専門的であるかのように感じられてしまいます。その結果、指標の提供元が示す言葉や、見栄えの良いレポートを無批判に受け入れてしまうのです。

組織の力学も、この傾向に拍車をかけます。長年にわたって特定の適性検査を使い続け、そのデータが10年分も蓄積されているとしたらどうでしょう。「今さら変えられない」「過去のデータとの継続性が失われる」という声が上がるのは必至です。その指標が良いか悪いかという品質の問題は、いつの間にか「変化に伴うコストと手間」という、全く別の問題にすり替えられてしまいます。これは、典型的な「サンクコストの罠」です[3]。

その指標の導入を推進したのが、現経営陣や人事の責任者であった場合、その指標の有効性を疑うことは、彼らの過去の判断を否定することにもつながりかねません。これは組織内において、極めて政治的な行為と見なされるリスクを伴います。自らの立場を守るためには、波風を立てず、既存の枠組みを維持する方が安全だ、というインセンティブが働くのです。

これらの心理的・組織的な要因は、なかなか強力です。その結果、人は抵抗の少ない道、すなわち「新しく開発した自分たちの尺度に問題があったのだ」と結論づける方向に、流れやすくなります。

「賢い使い手」への道筋

この見えにくい影響力と向き合い、本質的な課題解決へと至るために、何をすれば良いのでしょうか。それは、粘り強く冷静に証拠を集め、真実を探求するプロセスに他なりません。

まず行うべきは、思考の転換です。アセスメント間の不一致を「どちらが悪いか」という二者択一の問題として捉えるのではなく、「この不一致という現象そのものが、私たちの組織について何を物語っているのか」という、診断的な問いとして捉え直します。この視点の転換が、建設的な探求への道を開きます。

その上で、「指標の健全性監査」とも呼べるプロセスを、自らの標準業務として組み込むと良いでしょう。このことは新しいツールだけでなく、長年使ってきた既存のツールに対しても、等しく適用されなければなりません。具体的には、そのツールの提供元に対して、テクニカルマニュアルの開示を求め、信頼性と妥当性に関する最新の検証データを確認することです。「最後にこの妥当性検証が行われたのはいつですか」「その検証は、私たちの業界や職種に近い集団で行われたものですか」―これらの問いは、サービスの受け手という立場から、その品質を主体的に評価する立場へと移行するために有効です。

続いて、他社の検証データに頼るだけでなく、自組織の中で「ローカルな妥当性検証」を実施することが重要です。どれほど世界的に有名なエンゲージメントサーベイであっても、それが自社のハイパフォーマーの行動特性や、実際の離職率と本当に関連しているのかは、調べてみなければ分かりません。既存の尺度と、業績や評価、離職といったビジネス成果との相関を、自らの手で分析してみるのです。もし、長年信じてきた指標が、自社の重要な成果を何一つ予測できていないという事実が判明すれば、それは既存の指標を絶対視してきた組織の常識を見直す証拠となります。

そして、一つの指標に依存する危険性を認識し、複数の情報源を組み合わせる発想を徹底することです。サーベイのスコア、現場マネージャーからの定性的な情報、1on1での対話、客観的な業績データ。これらの情報を組み合わせ、多角的に物事を捉えます。特に注目すべきは、情報源ごとの「ズレ」です。「サーベイのスコアは高いが、現場の疲弊感は強い」「適性検査の結果は素晴らしいが、実際の行動には疑問符がつく」―このようなズレが、単一の指標では決して見えてこない、組織のリアルな姿を映し出す情報となります。

もちろん、こうした探求のプロセスは、慎重に進めなければなりません。既存の指標を頭ごなしに否定するのではなく、まずは新しい指標との「並行利用」を提案し、どちらがより現場の実態を的確に捉え、有用な示唆を与えてくれるのかを関係者自身に体感してもらうのが賢明です。実績は、どんな言葉よりも雄弁です。新しい尺度がもたらすメリットを、小さな成功事例として積み重ねていくことで、組織全体の認識を少しずつ変えていくことができるのです。

脚注

[1] 信頼性と妥当性に関する詳細な解説として、当社コラムをご参照ください。

[2] Cialdini, R. B. (2009). Influence: Science and Practice (5th ed.). Pearson Education.

[3] Arkes, H. R., and Blumer, C. (1985). The psychology of sunk cost. Organizational Behavior and Human Decision Processes, 35(1), 124–140.

執筆者

伊達 洋駆　株式会社ビジネスリサーチラボ 代表取締役
神戸大学大学院経営学研究科 博士前期課程修了。修士（経営学）。2009年にLLPビジネスリサーチラボ、2011年に株式会社ビジネスリサーチラボを創業。以降、組織・人事領域を中心に、民間企業を対象にした調査・コンサルティング事業を展開。研究知と実践知の両方を活用した「アカデミックリサーチ」をコンセプトに、組織サーベイや人事データ分析のサービスを提供している。著書に『60分でわかる！心理的安全性 超入門』（技術評論社）や『現場でよくある課題への処方箋 人と組織の行動科学』（すばる舎）、『越境学習入門 組織を強くする「冒険人材」の育て方』（共著；日本能率協会マネジメントセンター）などがある。2022年に「日本の人事部 HRアワード2022」書籍部門 最優秀賞を受賞。東京大学大学院情報学環 特任研究員を兼務。