2023年10月27日
適性検査の開発プロセス:ビジネスリサーチラボが支援する場合
本コラムでは、適性検査の開発プロセスについて紹介します。ビジネスリサーチラボでは、多くのHR事業者から適性検査の開発の依頼を受けています。そこで、当社が開発を支援する際の流れをまとめました。
適性検査とは何か
まず、適性検査とは何でしょうか。適性検査は、大きく「能力検査」と「性格検査」の2つに分けることができます。これら両方の要素を含む適性検査も存在します。
能力検査では、認知的な能力を測定することを主な目的としています。これには、言語、考察、空間、数学、演繹、記憶、知覚などの多岐にわたる領域が含まれます。
一方、性格検査は、人々の安定した性格の傾向を捉えるものです[1]。性格を特徴づける語彙にはさまざまなものがあります。辞書の中だけでも4504語もあることを指摘する研究もあります[2]。さらに、性格検査の中には、価値観やニーズを測定するものもあります。
当社が開発の支援を行う際は、性格検査に焦点を当てています。以降、本コラムでは「性格検査」を指して「適性検査」という言葉を使います。
また、当社が開発する適性検査は、アンケート形式のものです。例えば、具体的な作業を要求する「作業検査」とは異なる点をご理解ください。
適性検査の特徴として、受験した個々人の結果を出すことが挙げられます。適性検査の結果は、採用などの選考に用いられることも多く、受験者のキャリアを左右する可能性があります。そのため、適性検査の開発は非常に緻密に練り上げる必要があり、それが難易度の高さとして表れてきます。
それでは、以下、適性検査をどんなプロセスで開発するのかを紹介します。あくまで当社がHR事業者の開発を支援するケースに限定しています。
コンセプトの設定
適性検査を開発する際、最初に行うのは、その検査の「コンセプト」を定めることです。ここで言う「コンセプト」とは、具体的にどのような人材を「良い」と評価するかを指します。
例えば、「入社後に活躍する人材」を良いとみなす場合と、「早期に退職しない人材」を良いとみなす場合があったとします。これらはコンセプトが明確に異なっており、検査の内容も異なります。
適性検査のコンセプトを定義するステップは、開発の難所です。なぜなら、コンセプトには「正解」が存在しないからです。
確かに、一般的な人材像やよく採られるコンセプトはありますが、そうしたコンセプトは、市場における差別化が難しくなるリスクがあります。一方で、あまりにも独自なコンセプトは、受け入れがたいと感じられるかもしれません。
各HR事業者がそれぞれのビジョンや方針に基づいて、適切なコンセプトを決めることが不可欠です。
コンセプトを明確にしないまま適性検査の開発を進めると、その後の概念や項目の検討が難しくなります。コンセプトがなければ、何を基準に概念や項目の取捨選択をすれば良いか分かりません。コンセプトの明確化は、適性検査の全体的な一貫性を保つためにも必要です。
コンセプトを定める際には、当社もサポートを行います。具体的には、様々な案を出したり、議論をファシリテートすることで、企業ごとの最適なコンセプトの設定をお手伝いします。
概念の検討
適性検査の開発において、次のステップは「何を測定するのか」を決定することです。この「測定したいもの」を当社では「概念」と呼んでいます。
ここで特に重要なのは、最初から質問項目を作り始めるのではなく、先にどのような概念を測定したいのかを明確にする点です。質問項目の内容は、その後のステップで検討するものです。
概念を考えるとき、前段階で設定した適性検査の「コンセプト」が頼りになります。例えば、コンセプトとして「入社後に活躍すること」を設定した場合、具体的には「入社後に活躍するために、どのような性格が必要か」という観点で概念の候補を考えます。
概念を挙げる際には、適性検査の実施上の制約も考慮する必要があります。例えば、受験者が回答できる時間に基づいて、適切な数の概念を定めなければなりません。
事後的にデータをもとに概念を絞り込む方法もありますが、初期段階でコンセプトに基づき、またその中で最も関連が強いと想定される概念を選定することも求められます。概念の列挙や絞り込みの作業は、当社とHR事業者との間で議論しながら進めていきます。
それぞれの概念には名前をつける必要があります。当社からは名前の案を出しますが、当社はコピーライティングの専門家ではありません。したがって、当社の案をもとにHR事業者の中で概念名を決定していただきます。
アウトプットイメージの作成
次のステップとして「アウトプットイメージ」、つまり、適性検査の結果をどのように表示するかのイメージを作成します。
適性検査の結果は、受験者に見せるものと企業側に見せるものとで、同じものを表示する場合もあれば、異なる場合もあります。表示方法は、HR事業者の考え方や要望に基づいて決まります。
概念の候補が見えてきたら、それに基づいてアウトプットイメージを大まかに作成します。どの概念の得点をどの位置に、またどのような形式で表示させるかなどの点を考慮します。
ただし、この段階でのアウトプットイメージは完ぺきである必要はありません。大切なのは、全体の方向性について合意がとれることです。後のプロセスで修正を加えられるため、その前提で進めます。
なお、当社はアウトプットイメージの作成をサポートしますが、デザインの専門性を持っているわけではありません。最終的な商品としての適性検査のアウトプットデザインについては、専門家に依頼していただく形となります。
尺度の作成
概念およびアウトプットイメージができたら、それぞれの概念を測定するための尺度を作成します。「尺度」とは概念を測定してデータ化するための道具であり、質問項目、選択肢、そして教示文で構成されます。
適性検査を受験する人々が直接的に回答するのは、この尺度です。概念自体は、受験者に回答時点では見えず、アウトプットに表示することになります。
心理測定の考え方をベースに、1つの概念を測定するためには複数の質問項目を設けます。尺度の作成は、一見すると日本語での文章を書くだけで、簡単に作れると思う方もいるかもしれません。
しかし、尺度の作成は実際には非常に奥が深く、難易度の高い作業となります。尺度作成の際の注意点や詳細は、別のコラムにまとめているので[3]、興味のある方はご参照ください。
項目の作成には高度な技術と経験が求められるため、基本的には当社がその役割を担います。しかし、HR事業者に表現チェックを依頼することがあります。
項目を見ることによって、その背後の概念が明確に理解できることがあり、HR事業者が測定したい内容と異なっていると分かることもあるからです。もちろん、そのような場合は、概念あるいは項目の修正が必要となります。
概念と尺度を整理した資料を「概念項目表」と呼びます。概念項目表は、何をどのように測定するかをまとめたものとなり、適性検査の基盤となります。
調査の実施
ここまでのプロセスで概念と尺度を作成しましたが、それらはあくまで試作版であり、暫定的なものだと強調しておきたいと思います。要するに、まだ実際のデータで検証されていないものです。
想定している概念や尺度がうまく機能するかどうかを確認するためには、現実のデータを用いた検証が必要です。その結果、修正が必要になることも考えられます。
データ収集においては、適性検査のユーザー層と近い人々を対象にアンケート調査を行うことが多いです。アンケート調査を通じて、想定した対象が想定した傾向を示すかを検討します。
適性検査の品質を保証するためには、一定のボリュームの回答データ、つまりサンプルサイズが必要になります。サンプルサイズは、概念や項目の数、アウトプットイメージなどによって異なります。そのため、標準的なサンプルサイズを一律に出すことは困難です。
また、適性検査の受験状況に近い状態でデータを収集することが望ましいといえます。例えば、採用のプロセスで適性検査を行う場合、受験者は「自分が評価される」という特殊な状況下でテストを受けます。
このような状況では、受験者の心理が様々に作用します。特定の状況下でデータを収集することができれば、受験者の心理的反応を含んだ回答データが得られます。
ただ、このようなデータ収集には調査の倫理や受験者との契約、さらには他の考慮すべき要素が多く存在するため、強制的に行うことはできません。
分析と検証
調査を実施して回答データを得た後、そのデータを分析することになります。実際の分析手法については専門的な内容になるので、ここでの説明は割愛します。ただ、分析の中心的な目的の一つは、作成された概念や項目が適切に機能しているかを確認することです。
分析の際には、適性検査の品質を担保するための基本的な要件、例えば「信頼性」「妥当性」「公平性」などを検証する必要があります。これらの要件に関しては、先に紹介したコラムで詳しく説明されているので、興味がある方はそちらを参照してみると良いでしょう。
データ分析の結果、尺度の修正が必要だと判断されることもあります。そういった場合には、部分的な修正を進めます。
データ分析とそれに基づく修正案の検討は、当社が主導します。しかし、修正案については、HR事業者との間でしっかりと確認し、共同で議論を重ねます。
また、データ分析の結果を頼りに、測定すべき概念を絞り込むことも考えられます。適性検査には各種の制約が存在するため、これらの制約を考慮しながら概念の数を調整する努力が必要です。
ただし、データだけを元に機械的に絞り込むのは、おすすめできません。あくまで一つの検討材料と捉えるべきでしょう。
計算式の構築
データをもとに行う作業には、もう一つ大切なものがあります。それは、各概念の得点などを算出する式を組むことです。適性検査で使用する種々の計算式を構築するということです。
適性検査の計算式は、ただ数値を足したり、平均値を取ったりするだけのものではありません。例えば、各項目がその概念にどれだけ関連しているのかの強さが異なります。このような重み付けを正確に反映することで、適性検査の精度はさらに高められます。
さらに、人には大なり小なり、自分のことを良く見せたいという傾向があったり、正直に回答しない傾向があったりすることも考慮することが有効です。
これらを考慮に入れずに計算すると、正直に回答する人が報われない適性検査が出来上がってしまいます。計算式を工夫して、これらの要因を統御することで、精度を向上させることが求められます。
計算式の形式にもいろいろあります。具体的な数値を代入して解くことができるタイプもあれば、プログラムのように特定の手順を示すタイプもあります。どの形式を選ぶにせよ、目的は適性検査の品質を高めることです。そして、計算式の構築のためにアンケート調査のデータを使用する点は共通しています。
計算式は最終的に適性検査のシステムに組み込まれることになります。当社はシステム開発の専門性を持っていないため、HR事業者のシステム担当者に計算式やその背後にある考え方を伝え、システムの実装はお任せしています。
アウトプットイメージの修正
ここまで進むと、適性検査の中身、すなわち概念や尺度、計算式などがだいぶ具体化してきます。この段階で、最初に暫定的に考えていたアウトプットイメージを再度取り上げ、必要な修正を行います。
アウトプットイメージの修正を進める際に、当社だけで進めることはありません。HR事業者との議論を重ねながら取り組みます。具体的には、当社から修正の提案を出し、それを基にHR事業者と話し合います。
また、適性検査のアウトプットの中には、受験者の結果に応じてコメントを出すものが存在します。これらのコメントは、様々な結果に対応できるよう多くのバリエーションが求められます。
コメントの作成について、当社が行うのか、それともHR事業者が行うのかは、適性検査の開発を始める前に決めておくべきポイントの一つです。
所要期間とメンテナンス
以上が、適性検査の開発を支援する際の流れとなります。これらのプロセスを実施するには、半年以上の時間を要することが一般的です。
特に、プロジェクトの前半部分は時間の変動が起きやすいものです。当社のこれまでの経験をもとに考えると、適性検査のコンセプトや概念を検討する段階では、プロジェクトごとに必要となる期間が変わります。
しかし、これらのプロセスを経て出来上がったものは、いわゆる「ベータ版」であるという認識が必要です。
適性検査のシステムが完成し、市場にリリースされた後も、受験者からのデータをもとに内容を調整しなければなりません。特に、計算式の部分は調整が求められます。このようなメンテナンス活動を通じて、適性検査の精度を更に向上させることを目指します。
メンテナンスは適性検査の開発支援の契約には通常含まれておらず、別の新たなプロジェクトとして取り組みます。適性検査のリリース時期やデータの取得時期には不確実性が高いため、これらの活動を分けた方が進めやすいからです。
開発支援の納品物
適性検査の開発プロセスにおいて、当社からHR事業者へ納品する主要なものは、以下の3点を中心に構成されます。
- 概念項目表:概念や尺度の一覧をまとめた資料です。概念や尺度の検討を行った後、アンケート調査の結果をもとに修正を加えたものとなります。
- アウトプットイメージ:どの概念をどの位置に、そしてどのような形で表示させるかを示すものです。受験者向けや企業向けなど、複数のバージョンを提出することもあります。
- 計算式:項目の回答データから概念の得点を算出したり、アウトプットに表示するその他の指標の値を算出したりするための式を納品します。
- コメント:当社がアウトプットに表示させるコメントを作成することになった場合、コメントも納品物の一つになります。
適性検査は様々な目的で用いられます。目的に合わせて適切な適性検査を開発すれば、有効な結果を導き出すことが可能となります。
しかしながら、適性検査は万能ではありません。どれだけ丁寧に作成しても、例えば「性格」は人を形成する要素の一つに過ぎません。性格が個人のパフォーマンス発揮に関連していることは確かですが、環境などの他の要因も影響します。
したがって、適性検査の有効性を信じる一方で、その限界も理解した上で開発に取り組む姿勢が求められます。
脚注
[1] Thorndike, R. M. (1997). Measurement and evaluation in psychology and education (6th ed.). Merrill Publishing Co/Prentice-Hall.
[2] Allport, G. W., and Odbert, H. S. (1936). Trait-names: A psycho-lexical study. Psychological Monographs, 47(1), i-171.
[3] 心理尺度の作り方・考え方:組織サーベイの質問項目作成のポイント
執筆者
伊達 洋駆 株式会社ビジネスリサーチラボ 代表取締役
神戸大学大学院経営学研究科 博士前期課程修了。修士(経営学)。2009年にLLPビジネスリサーチラボ、2011年に株式会社ビジネスリサーチラボを創業。以降、組織・人事領域を中心に、民間企業を対象にした調査・コンサルティング事業を展開。研究知と実践知の両方を活用した「アカデミックリサーチ」をコンセプトに、組織サーベイや人事データ分析のサービスを提供している。著書に『60分でわかる!心理的安全性 超入門』(技術評論社)や『現場でよくある課題への処方箋 人と組織の行動科学』(すばる舎)、『越境学習入門 組織を強くする「冒険人材」の育て方』(共著;日本能率協会マネジメントセンター)などがある。2022年に「日本の人事部 HRアワード2022」書籍部門 最優秀賞を受賞。
能渡 真澄
株式会社ビジネスリサーチラボ フェロー。信州大学人文学部卒業、信州大学大学院人文科学研究科修士課程修了。修士(文学)。価値観の多様化が進む現代における個人のアイデンティティや自己意識の在り方を、他者との相互作用や対人関係の変容から明らかにする理論研究や実証研究を行っている。高いデータ解析技術を有しており、通常では捉えることが困難な、様々なデータの背後にある特徴や関係性を分析・可視化し、その実態を把握する支援を行っている。