システムデータの前に知りたかった_アンケートの科学で組織の傾向を掴む開発生産性指標へのアプローチ/登壇資料（井田 献一朗）

D-Plus Tokyo #25 改善の軌跡から学ぶ！開発生産性向上のこれまでの取り組みと次の一手
2026年6月23日（火）19:30〜21:30
https://d-plus.connpass.com/event/394479/

Transcript

1. Confidential システムデータの前に知りたかった、アンケー トの科学で組織の傾向を掴む開発生産性 指標へのアプローチ D-Plus Tokyo #25 2026年6月23日
2. Copyright Hacobu, Inc. 2 自己紹介 井田 献一朗 @rinatz3 組織開発 / 技術広報 けんにぃ フリーランスエンジニア Career 2011.02 株式会社ナビタイムジャパン バックエンドエンジニア、プロジェクトマネージャー 2022.11 株式会社Hacobu EM・組織開発 2022.04 フリーランス Hacobuで業務委託・技術広報に従事 #組織開発 #技術広報 #EM
3. Copyright Hacobu, Inc. 3 本日話すこと アンケート調査は思いの外、科学的である 「アンケート調査は信用できない」 と考える人が多い。 「システムデータは信用できる」 と考える人も多い。 しかし 「システムデータに問題があった経験がある」 という人もまた多い。 エンジニアだからこそ感じてしまう、アンケートのよくある誤解について発表します。
4. Copyright Hacobu, Inc. 4 システムデータこそ、信頼できる唯一の数値だという誤解 開発生産性を測るなら、システムデータこそが正義 アンケートなんて主観的で、信用できない アンケートはデータを取れない人の妥協案 かつての自分は、いきなりシステムデータを集めようとしていた
5. Copyright Hacobu, Inc. 5 『LeanとDevOpsの科学』 を読み直して システムデータは仕組みが分かるから信用できるし、不備も直せると信じやすい。 でも、アンケートは設計や分析に馴染みがないから疑ってしまう。 出典：『LeanとDevOpsの科学』 14.4「アンケート調査によるデータは信頼できる」 p.191 を要約 DORA が Four Keys を見出したきっかけは、 システムデータではなく 『アンケート調査』 だった DORA は 『計量心理学』 という アンケート設計のための専門分野を用いたことを知る
6. Copyright Hacobu, Inc. 6 計量心理学とは 主観やバイアスを排除して、正しくアンケートで測定するための手法 質問の設計 誤解や多義性を排 除し、正確に意図を 伝える 質問の順序 回答に影響を与える 順序効果を最小化 する 尺度と選択肢の設計 測定したい概念に 合った尺度・選択肢 を設計する 回答バイアスの低減 社会的望ましさや極 端回答などのバイアス を抑える工夫を行う アンケートの設計手法はとても専門的に研究されている！
7. Copyright Hacobu, Inc. 7 アンケートに対する偏見 アンケートは 「とりあえず平均値を計算して、活用されない」 ことが多い よくあるアンケート調査 アンケートを回収 平均値を計算 で、次に何すればいい？ • 平均値だけでは、深い示唆が見えない • でも、平均値以外の分析手法を知らない • 結局、具体的なアクションにつながらない 結果的にアンケートは 主観的で弱いもの システムデータが取れないときの妥協案 という印象を持たれる
8. Copyright Hacobu, Inc. 8 アンケートに対する偏見 組織の現在地を見る 認識のバラツキを見る 回答の偏りを見る 改善したか？を調べる 統計学でデータ分析を行えば、アンケートで見えるものはたくさんある Q. このチームでは情報共有がうまくいっている 1 まったくそう思わない 5 非常にそう思う 3.2 平均値 / 中央値 標準偏差 / IQR ヒストグラム / 箱ひげ図 t検定 / p値 / Cohen’s d 人 数 1 2 3 4 5 1 5 1.0 前回 今回 5.0 前回との平均値の比較 3.2 3.3 0.1の上昇は 改善と言えるのか？ 誤差なのか？ 見る統計値 認識が揃っている 認識が割れている
9. Copyright Hacobu, Inc. 9 組織サーベイで試してみた テックで取り組んでいる組織サーベイを統計学で分析してみたら 課題の輪郭がクリアになった！ アンケート実施 幅広いテーマを 調査 傾向を可視化 課題の傾向や組織の 強みを把握 アクションへ 次の一手を 考えやすくなった • 困っているメンバーを自然に助け合えている • 異なる意見も頭ごなしに否定されず建設的に議論できている • 試行錯誤から学びながら価値提供につなげている • etc...
10. Copyright Hacobu, Inc. 10 今後、気をつけたいこと ① アンケート実施 ② アンケート分析 から仮説を作る ③ 取るべきシステ ムデータを定める ④ 自社に最適な 指標へ ここを省略すると手探り状態が続き、納得感を得にくい
11. Copyright Hacobu, Inc. 11 まとめ • アンケートは妥協策ではない • 組織の傾向を掴む科学的なツールである • 傾向が掴めると、取るべきログが見えてくる 「システムデータ」 も 「アンケート」 も データ分析のスキルが必要というのが本質