2022年7月25日
パルスサーベイの科学：高頻度アンケートの分析、限界、対策（セミナーレポート）
ビジネスリサーチラボは、2022年5月26日に「パルスサーベイの科学：高頻度アンケートの分析、限界、対策」を開催しました。
リアルタイムに従業員や組織の状態を把握できる、即改善につなげることが出来るといった理由から、パルスサーベイを導入する企業が増加しています。パルスサーベイについて、本セミナーでは理論編と実践編の2部構成で解説しました。
理論編では、ビジネスリサーチラボ 代表取締役の伊達洋駆から、「そもそもパルスサーベイとは何か」「その魅力と限界」について解説しています。実践編では、ビジネスリサーチラボ フェローの能渡真澄から、「有効な分析手法」「有益な結果を得るためのポイント」について紹介しました。
本レポートはセミナーの内容を基に編集・再構成したものです。
登壇者
能渡真澄
株式会社ビジネスリサーチラボ フェロー。信州大学人文学部卒業，信州大学大学院人文科学研究科修士課程修了。修士（文学）。価値観の多様化が進む現代における個人のアイデンティティや自己意識の在り方を、他者との相互作用や対人関係の変容から明らかにする理論研究や実証研究を行っている。高いデータ解析技術を有しており、通常では捉えることが困難な、様々なデータの背後にある特徴や関係性を分析・可視化し、その実態を把握する支援を行っている。
伊達洋駆
株式会社ビジネスリサーチラボ 代表取締役。神戸大学大学院経営学研究科 博士前期課程修了。修士（経営学）。2009年にLLPビジネスリサーチラボ、2011年に株式会社ビジネスリサーチラボを創業。以降、組織・人事領域を中心に、民間企業を対象にした調査・コンサルティング事業を展開。研究知と実践知の両方を活用した「アカデミックリサーチ」をコンセプトに、組織サーベイや人事データ分析のサービスを提供している。著書に『現場でよくある課題への処方箋 人と組織の行動科学』（すばる舎）や『越境学習入門 組織を強くする「冒険人材」の育て方』（共著；日本能率協会マネジメントセンター）などがある。
１．理論編：パルスサーベイとは何か、その魅力と限界
パルスサーベイとは何か
伊達：
パルスサーベイとは、「月1回などの高頻度で、定期的に、10～20問程度の少ない質問数で実施するサーベイ」を指します（図1）。一般的な組織サーベイは、年1回、多い質問数で行います。しかし近年、高頻度で少質問のパルスサーベイが流行しているのです。
図 1：パルスサーベイとは
パルスサーベイが流行した理由の一つは、「短いスパンで実施することで、課題に対して迅速に手が打てる」ことでしょう。それにより、短いスパンで人事のPDCAを回していくことができます。環境変化が激しい現代においても、有効な手を打てることが、パルスサーベイが注目される背景にあります。
その他の理由として、HRテクノロジーが普及・進展していることから、パルスサーベイの実施・回収・集計が容易になった点も挙げられます。
学術的に、パルスサーベイは「経験サンプリング法」と呼ばれる手法の一つで、より細かくいえば「インターバル条件付きサンプリング」に当たります。インターバル条件付きサンプリングとは、たとえば月1回回答するなど、指定されたインターバルで実施するものです。
インターバル条件付きサンプリングを含む、経験サンプリング法について、様々な魅力と限界が学術的に検討されています。まずは、魅力についてお話ししましょう。
パルスサーベイの魅力（1）：個人内変動を捉えることができる
1つ目の魅力は、「個人内変動を捉えることができる」点です。「ある人の中での、ある指標の変化を測定できる」ということです。パルスサーベイで何度も回答していく中で、たとえばAさんのエンゲージメントが、4月に比べ5月はどうだったか、と個人のスコアの変化を捉えることができます。
パルスサーベイの魅力（2）：記憶バイアスが緩和される
2つ目の魅力は、「記憶バイアスが緩和される」点です。年1回の調査などで過去のことを尋ねられても、記憶が不確かです。それに対し、月1回のアンケートであれば、最近のことについて回答することになります。
完全にバイアスが無くなるわけではありませんが、年1回の調査に比べると、バイアスはいくらか緩和されます。たとえば、評価面談に対する意見を得たいとします。評価面談の半年後にサーベイを行う場合と、直後にサーベイを行う場合では、記憶の鮮度が変わります。
パルスサーベイの限界（1）：個人内変動が誤差である
続いて、経験サンプリング法の議論をもとに、パルスサーベイの限界と対策についてお話しします。
1つ目の限界は、「個人内変動が、誤差の可能性があること」です。パルスサーベイを実施していくと、個人の回答結果が変化します。ただ、その変化は誤差ではないのか、という指摘があるのです。
毎月の数値の変化が、本人の心理の変化ではなく、たとえば、少し気分が暗かった、上司から叱られた後だった、などの誤差に起因したものであるおそれがあります。
ある学術研究において、エンゲージメントを何度か測定したとき、個人内の変化が起きていました。しかし、長期間測定し続けると、その人が本来持っているベースラインの値に戻る傾向があることが判明しました。
パルスサーベイを行う際に重要な観点として、「パルスサーベイで測定する指標は、変化しやすいものでなければならない」ことが挙げられます。あまり変わらないものを毎月測定しても、点数の上下で一喜一憂することに意味はないのです。たとえば、安定性の高い性格特性を毎月測定する意味は薄いでしょう。
パルスサーベイの限界（2）：サンプルに偏りがある
二つ目の限界は、「サンプルに偏りがあること」です。パルスサーベイを行っている会社では、毎回、真面目に回答する従業員もいれば、次第に回答しなくなる従業員もいます。強制しない限り、脱落する回答者が出てきてしまうのです。
裏を返せば、脱落せずに毎回パルスサーベイに回答する人は、回答に対するモチベーションが高い人ということになります。たとえば、組織に対して愛着を持っていたり、真面目な性格であったりなど、サンプルが偏っている可能性があるのです。
組織に対して愛着を持っているから回答から脱落せず、毎度回答してくれる。そうした従業員に対して「組織への愛着」を測定していたら、どうでしょうか。愛着が低い従業員のデータを取れていないことになります。
パルスサーベイを通じて、どのような従業員から回答を得ることができているかをチェックする必要があります。分析結果を解釈したり、対策を検討したりする際にも、サンプルの特性を考慮する必要があります。
パルスサーベイの限界（3）：回答に手抜きが発生する
3つ目の限界は、「回答の手抜き」です。毎回、同じ質問を繰り返されると、自動的に同じ回答をしてしまいます。たとえば、「朝起きたら、仕事を頑張ろうと思える」という質問が毎日来たとします。この質問に、当てはまる・当てはまらないで回答するとしたらどうでしょうか。あまり考えずに同じ回答をし始めてしまいますよね。
同じ指標を測定しつつも、異なる質問項目を用いる、質問のタイミングを変えるといった工夫が求められます。
パルスサーベイの限界（4）：結果に基づいてタイムリーに改善できない
4つ目の限界は、「改善ができない」ことです。サーベイの結果に基づいて、タイムリーに行動が取れない場合が往々にしてあります。
たとえば、月1回のパルスサーベイを行うのであれば、すぐに手を打たないと、次のパルスサーベイがやってきます。ある研究では、どれだけ制度を整えている会社でも、サーベイを実施してから対策を打つまでの間に、2週間ほどの期間が必要なことが分かっています。制度が整っていない会社であれば、さらに対策が遅れる可能性があるのです。
対策を打たない間に次のパルスサーベイがやってきて、そしてまた次がやってくる…。そうなると、「このサーベイに答えて、何か変わるのだろうか」と従業員は思い始めます。
パルスサーベイを実施する際には、サーベイを活用する流れを構築することも重要です。年1回のサーベイと比較して、パルスサーベイは、活用の仕組み化がより一層必要になるのです。
２．実践編：パルスサーベイでの分析手法、有益な結果を出すために
パルスサーベイの活用で起きがちな課題
能渡：
パルスサーベイでの分析手法を解説する前に、パルスサーベイの一般的な運用についてご紹介します（図2）。
図 2：一般的なパルスサーベイの運用
たとえば、エンゲージメントを、月1回ほどの頻度で1点～5点で回答してもらうとします。すると、Bさんは、5月は5点だったのに、6月は2点ということで、得点が悪化したことが可視化されます。よって、Bさんに関して問題があることが把握できるのです。
しかし、問題が把握できたとしても、対策の実施は困難です。なぜなら、問題が把握できたとしても、「問題があることが分かる」というところで留まってしまうからです。結果として、どのような対策を取るべきかに関するヒントは、わからないままになってしまいます。
対策を実施するために必要なのは、「回答が変動した理由についての情報」です。先ほどのBさんのエンゲージメントが、なぜ低下したのか。その理由が分かれば、それに基づいて対策を考えていけます。
変動の理由を考える際、データ分析が活かせます。個人内変動のデータを分析することで、回答が変動した理由、そのヒントが得られるのです。
変動データの捉え方
パルスサーベイ、またそのデータの特徴は、「回答の変動を測定している」点です。たとえば、図1上部のようなデータであれば、5月から6月で上がった、6月から7月で下がったと、回答が変動していることを測定できています。回答データの変動を測定しているため、分析から、変動の理由を探ることができるのです。
図 3：変動データの様々な捉え方
変動データの捉え方には様々な方法があります。
1つ目は、図3（1）「サーベイ毎の回答の変化」を捉える方法です。パルスサーベイにおける一般的な変化の捉え方といえます。
2つ目は、図3（2）「パルスサーベイ全体の回答の推移」を捉える方法です。毎月の変化ではなく、半年、1年と長期間行った後、回答がどのように推移したかという捉え方です。毎月で見ると上下しつつも、全体で見ると次第に伸びていった、あるいは横ばいで伸び悩んだなどと捉えることになります。
3つ目は、図3（3）「各サーベイの回答のばらつき」を捉える方法です。
これらの捉え方から様々な分析を行い、データが変動した理由を検討できます。
パルスサーベイのデータ分析から分かること
次に、パルスサーベイのデータ分析で分かる、4つのことについてご紹介します。
（1）ある指標が変化する要因の絞り込み
1つ目は、「ある指標が変化する要因の絞り込み」です。これまでお話した通り、パルスサーベイでは、実施ごとの得点の変化を測定できます。この得点が変化する理由を、図4下部に記載されている分析で絞り込むことができます。
図 4：ある指標が変化する要因の絞り込み
この分析の結果、毎月の「上下（上司―部下）関係の変化」が、パフォーマンスの変化に特に影響していることが判明しました。このような結果が得られると、毎月ごとにパフォーマンスが変化する大きな理由は、上下関係が良くなったり悪くなったりという変化があるからかもしれない、と考えることができます。よって、上下関係の改善から着手することが良いと考えられます。
なお、この分析は『潜在差得点モデル』と呼ばれる手法です。
（2）得点が伸びた人・伸びなかった人の違い
2つ目に分かることは、パルスサーベイの全体的な推移として、「得点が伸びた人・伸びなかった人の違い」です。図5上部のように、全体を通してみたときに愛社精神が伸びた人、あるいは伸び悩んだ人がいたとして、その違いは何かを分析できます。
図 5：ある指標が伸びた人・伸びなかった人の違いの特定
分析としては、図5下部のような手法があります。ここでは、「元々の積極性が低い人と高い人で、愛社精神の伸び方が違う」という仮説を立てました。そこで、積極性が上がるごとに愛社精神はどの程度伸びるかを検証した結果、仮説が支持されたのです。
この分析手法は、『潜在成長モデル』と呼ばれています。
（3）得点が乱高下した人の確認
3つ目として、「得点が乱高下した人の確認」ができます。先ほど、パルスサーベイの一般的な運用として、「得点が悪化した人が見つかれば、問題があることが把握できる」とお話ししました。
パルスサーベイを実施しているのであれば、得点が悪化したことに加え、得点の乱高下にも注目すべきでしょう。たとえば、図6上部左側のグラフのように、初回のサーベイで得点が高かった人が、2回目で下がり、3回目にまた上がった…などといった形です。
図 6：乱高下した要注意従業員の確認
実際、突然やる気やエンゲージメントが高まったと思ったら、突然下がるような状況を想像してみると、恐ろしいものですよね。それゆえ、得点の乱高下は問題になります。
図6の表のように、データ分析によって、乱高下した人がいるか否か、乱高下の程度がどれほどかを確認することができます。表における「ばらつき」とは、個人の回答がどれだけ乱高下しているか、つまりばらついているかを、数値で示したものです。
そして、ばらつきの数値が高い人ほど、得点が乱高下していると捉えることができます。図6の表では、ID3番の人のばらつきが高い、つまり乱高下しているため、注意が必要といえます。
（4）乱高下の要因と影響
4つ目に分かることは、「得点が乱高下した要因や、乱高下による悪影響があるか」についです。
まず、得点が乱高下した要因の特定について、たとえば、図７下部のような分析を行ったとします。すると、公平感得点のばらつきに、特に「職場環境の問題認識」が影響していることが分かりました。つまり、職場環境に問題があるとより強く認識している人ほど、公平感が乱高下するということです。
図 7：乱高下の要因と影響
図7下部の分析では、公平感の乱高下の影響についても検証しています。結果として、公平感がばらつく、つまり乱高下するほど、パルスサーベイをするたびに、離職意思が次第に伸びていくことが分かりました。
このような要因や影響をまとめてひとつのモデルで解析する分析手法は、『構造方程式モデリング』と呼ばれています。
以上のように、パルスサーベイの回答の変動を分析することで、施策に向けた様々なヒントを得ることができます。各回での回答を確認するだけでは、結果の活用は難しいものです。分析手法を駆使することで、パルスサーベイをより活用できるようになります。
有益な結果を出すために注意すべき点
続いて、パルスサーベイで有益な結果を得るための注意点についてお話しします。
図8は、私が分析に関わったものの、少し困ってしまったパルスサーベイの質問例です。企業が特定されないよう内容は適宜改変しています。
図 8：分析に困ったパルスサーベイ例
分析で困ったのは、「回答データに変動が無い」という点です。毎回、4点か5点しか回答がありませんでした。パルスサーベイのデータを活用するためには、「データの変動」を分析する必要があります。データに変動が無いと、変動の分析ができないのです。
データに変動がない原因は、主に質問内容です。上述の質問例には、回答の変動を少なくしてしまう様々な問題があります（図9）。
図 9：質問項目の問題点
1つ目は、やる気の質問で「時期についての不要な言及がある」こと。この「普段」の一言があるだけで、データが変動しなくなる可能性があります。たとえば、「普段ということは、今ではなく、ここ1年くらいかな…」などと考え、自分の中での平均的な回答をしてしまうことが考えられます。
2つ目は、パルスサーベイならではの問題として、「1つの概念を1項目でしか測定しない」こと。1つの概念は複数項目で測定しないと、変動が生まれにくくなってしまいます。
3つ目は、「回答が一極集中しやすい」質問内容になっていること。サボりの質問「仕事を放置したり手抜きしていない」には、否定的な回答はしづらいですよね。つまり、肯定的な選択肢に回答が集まり、データが変動しにくくなってしまうのです。
「変動を捉える質問」を作成するポイント
続いて、「うまく変動を捉える質問」を作成する際のポイントを、3つご紹介します。
1つ目は、「回答時にイメージする時期を明示する」こと（図10）。月1回のパルスサーベイであれば、具体的な質問前の冒頭文に、「この1カ月間のあなたに」などと明記してください。これに連動して、具体的な質問内容には、「普段」「いつも」といった不要な時期表現を入れないようにしましょう。
図 10：回答時にイメージする時期を明示する
2つ目は、「１つの概念に、2、3項目入れる」こと（図11）。項目数を増やし、それらを合計することで、得点の幅が増え、サーベイ各回の回答に変動が生じるようになります（図12）。
図 11：1概念につき2,3項目入れる
図 12：項目数を増やした効果
３つ目は、「質問内容に緩急をつける」こと。複数の質問項目を用意したうえで、図13のように、内容にバリエーションをつけるのです。
図 13：質問内容に緩急をつける
たとえば、1番「この会社を気に入っている」は、そこまで愛社精神が高くない人でも、「当てはまる」を選びやすい質問です。一方、3番「この会社と運命をともにする覚悟である」は、かなり愛社精神が高い人でないと、肯定的な回答を選びにくい。
このように、質問内容に緩急をつけると、各項目の合計得点が一極集中しにくくなります。回答者の変化が得点に反映され、変動をよく捉えられるようになるのです。
なお、質問内容に緩急があるかどうかは、『項目反応理論』という手法を用いることで、統計学的に評価することもできます。
Q&A：参加者からの質問とそれらへの回答
Q1：ウィンセッションのような月1回のミーティングで、パルスサーベイに回答する時間を5分ほど設ける、という方法は良いでしょうか？
伊達：
「ウィンセッション（Win Session）」とは、OKRなどの文脈で、進捗を報告しつつ、互いに承認し合う場を指します。そのような定期的なミーティングで、アンケートに回答する時間を設けるということですね。これについては、メリットとデメリットの両面が考えられます。
メリットは、回答が確実に得られること。ミーティングで回答をする時間をとれば、たとえば、組織への愛着が低い人が回答しないといったことも生じにくくなるでしょう。
デメリットは、忖度した回答になるかもしれないこと。ミーティングで、周囲から見られている状態で回答すると、社会的な圧力が働く可能性があります。
ビジネスリサーチラボが実施した『組織サーベイ実態調査』でも、サーベイの回答時に忖度が発生することが明らかとなっています。周囲から見られているミーティングの場では、回答への忖度がなおさら高まる危険があります。
Q2：パルスサーベイを続けた結果、組織への愛着を持つサンプルに偏る。そのサンプルに愛着を聞いても意味がないことはわかりました。では、どのような指標を聞けば良いのでしょうか？
伊達：
まず重要なのは、「どのような人が回答しているかを把握する」ことです。自分たちはどのような従業員のデータを分析しようとしているかを明らかにします。回答者の傾向を把握しておくと、抑制的な解釈ができるはずです。
Q3：構造方程式モデリングなど、高度な統計分析を行う際、人事や経営者の方々に説明するうえで工夫されていることはありますか？
能渡：
私も普段、統計分析に関するコラムを書いています。その中で工夫している点として、「まず、他の分析コラムを参照すること」です。どのような表現をすれば読者にフィットするか。他方で、表現を変えることで誤った内容になっていないか。そのさじ加減を探ります。そのうえで、私が持っている分析知識から記載内容を絞り込んでいきます。
伊達：
他にも、説明する際の3つの工夫を紹介します。
1つ目は、「文章で説明する」こと。図表で表現することも大事ですが、文章を追いかければ内容が分かるようにすることで、理解を促せます。
2つ目は、「注目してほしい点を強調する」こと。図表などで情報量が多いと、どこを見ればいいのか分からなくなります。そこで、「ここに注目してください」と枠で囲うなどの工夫が効果的です。
3つ目は、「理解のために必要な知識を、事前にインプットできるコンテンツを用意する」こと。事前知識があると、説明は理解しやすくなるのです。ビジネスリサーチラボが統計解説のコラムを公開しているのは、この理由が一つあります。
Q4：エンゲージメントを把握する上で、パルスサーベイであることのメリットはありますか？
伊達：
エンゲージメントには、「特性エンゲージメント」と「状態エンゲージメント」の二つがあります。
特性エンゲージメントとは、ある程度安定した、仕事に対する活力・熱意・没頭の度合いです。状態エンゲージメントとは、今日は働きがいを感じるが、昨日はそうでもなかったなど、変動しやすいエンゲージメントです。
特性エンゲージメントと状態エンゲージメント、どちらを捉えたいかによって測定の方法が異なります。特性エンゲージメントであれば、年に1回の組織サーベイで十分測定できます。他方で、状態エンゲージメントであれば、パルスサーベイのように高頻度に実施するほうが合っています。
能渡：
エンゲージメントの別の分類として、「ワークエンゲージメント」「従業員エンゲージメント」というものがあります。ワークエンゲージメントとは、仕事に対して、没頭したり集中したりする度合いです。従業員エンゲージメントとは、それに加えて、組織に対する愛着など様々な側面も含みます。このどちらを測定したいかによっても、適切な測定方法は異なるでしょう。
伊達：
組織への愛着は、学術的には「組織コミットメント」と呼ばれます。組織コミットメントは安定的です。たとえば、コロナ禍などの大きな変化があっても、あまり変化しなかったという調査結果もあります。そのような指標の場合、パルスサーベイには向きませんね。
Q5：サーベイ結果から一定の課題を抽出した後に、特定課題に対してパネルデータを集めることは有益ですか？
伊達：
有益です。組織サーベイで多くの指標を測定し、どこに、どのような課題があるか見え、対策も実行した。その後、本当に課題が解決できたのかを検証する際には、フルパッケージの質問である必要はありません。
能渡：
データ分析や運用の理想型である、「見つかった課題を、繰り返し検証する」ということが実践できる方法ですね。
Q6：サーベイの質問において、望ましい選択肢の数はいくつでしょうか？
能渡：
いわゆる「件法」の問題ですね。
まず、選択肢が多すぎることは避けるべきです。よくあるパルスサーベイの形式で、0点を「全く当てはまらない」、10点を「完全に当てはまる」として、0～10点の中から選んでくださいというものがあります。これは避けるべきでしょう。
選択肢が多いと、回答者にとって負担です。また、回答者よって、6点の意味、7点の意味など、その得点を選択した意味が異なる可能性が、より高まります。そのような回答データだと、分析結果から変動が見えても、変動の意味が解釈できなくなるのです。
では、望ましい選択肢の数はどの程度かというと、5件法や7件法が有効だと考えられます。最も一般的で、かつ得点に幅が生まれます。選択肢の数については、実際に回答される従業員の方々に相談しながら決めるのが良いでしょう。
伊達：
ということで、定刻を過ぎて延長になりましたが、本日のセミナーを終了します。能渡さん、最後に一言お願いします。
能渡：
ありがとうございました。パルスサーベイの分析手法は、今回紹介した以外にも様々なものがあります。測定したデータを色んな角度から解釈し、有効活用することができるのです。ぜひ、様々な分析手法を勘案していただければと思います。
伊達：
パルスサーベイのデータは、蓄積されるほど、様々な分析が可能になります。うまい形で蓄積していきつつ、いろいろ分析をしていただければと思います。ビジネスリサーチラボでも分析を行っています。ご一考ください。ありがとうございました。
(了)
