回帰モデルを利用したチャーン (解約)の要因分析

2020/10/2(金) に開催したExploratory データサイエンス勉強会#15のサイボウズ株式会社様のご登壇資料です。

Transcript

1. 回帰モデルを利用したチャーン （解約）の要因分析 サイボウズ株式会社 戒田 大至
2. 1 . 自 己 紹 介 2 . E x p l o ra to r y と の 出 会 い 3 . k i n to n e に つ い て 4 . デ ー タ フ ロ ー 5 . 目 的 設 定 と 分 析 計 画 6 . デ ー タ 準 備 7 . ロ ジ ス テ ィ ッ ク 回 帰 分 析 の 進 め 方 8 . 考 察 ・ 今 後 の 課 題 Agenda
3. 1.自己紹介 • 戒 田 大 至 ( か い だ だ い し ) • サ イ ボ ウ ズ 株 式 会 社 • シ ス テ ム コ ン サ ル テ ィ ン グ 本 部 T E 部 兼 カ ス タ マ ー 本 部 C S 企 画 推 進 部 • 2 0 1 7 年 中 途 入 社 。 前 職 は S E で し た 。 • カ ス タ マ ー サ ク セ ス の た め の デ ー タ 集 約 ・ 抽 出 ・ 分 析 な ど の 活 動 を 行 っ て い ま す 。 • k i n t o n e と い う 製 品 を 主 に 担 当 し て い ま す 。
4. 2.Exploratoryとの出会い ・ 2 0 1 9 年 7 月 の デ ー タ サ イ エ ン ス ブ ー ト キ ャ ン プ に 参 加 ・ E x p l o ra t o r y に よ っ て 、 ” デ ー タ サ イ エ ン ス 力 ” を 強 化 https://www.ipa.go.jp/files/000083733.pdf より E x p l o r a t o r y で カ バ ー 前 職 の S E の 経 験 で カ バ ー 前 職 の S E 経 験 + 現 職 で の 業 務 で カ バ ー
5. 3.kintoneについて ・ ド ラ ッ グ & ド ロ ッ プ で ア プ リ が 作 れ る プ ラ ッ ト フ ォ ー ム ・ I T の 知 識 が な く て も 簡 単 に ア プ リ が 作 成 で き る https://kintone.cybozu.co.jp/
6. 4.データフロー ◆ オ ン ボ ー デ ィ ン グ 支 援 活 動 の デ ー タ フ ロ ー ( 1 ) 社 内 の 情 報 を デ ー タ ベ ー ス に 集 約 ( 2 ) 集 約 し た デ ー タ の 中 か ら 、 初 回 契 約 更 新 前 の お 客 様 を 抽 出 ( 3 ) I D を キ ー に 使 用 し 、 各 情 報 を 結 合 し 、 ア プ ロ ー チ リ ス ト を 作 成 → カ ス タ マ ー サ ク セ ス の メ ン バ ー が リ ス ト の お 客 様 に 対 し ア プ ロ ー チ 問 い 合 わ せ 情 報 契 約 情 報 サ ー ビ ス 利 用 情 報 ( 1 ) ア プ ロ ー チ リ ス ト 問 診 票 ア プ リ ( * ) デ ー タ ベ ー ス ( * ) 問 診 票 ア プ リ ： 契 約 情 報 、 問 い 合 わ せ 情 報 、 サ ー ビ ス の 利 用 情 報 を 一 画 面 で 確 認 で き る ア プ リ カ ス タ マ ー サ ク セ ス メ ン バ ー ( 3 ) ( 2 )
7. 5.目的設定と分析計画 ◆ [ 目 的 設 定 ] 達 成 し た い こ と 顧 客 の オ ン ボ ー デ ィ ン グ を 成 功 / 改 善 し た い 。 そ の た め に 、 オ ン ボ ー デ ィ ン グ に 成 功 す る お 客 様 と 失 敗 す る お 客 様 の 違 い を 理 解 し た い ◆ [ 分 析 計 画 ] 何 を 対 象 に 、 ど の よ う に 分 析 す る か ？ ( A ) オ ン ボ ー デ ィ ン グ に 成 功 し た お 客 様 ： 1 年 以 上 利 用 頂 い て い る お 客 様 ( B ) オ ン ボ ー デ ィ ン グ を 失 敗 さ せ て し ま っ た お 客 様 ： 1 ヶ 月 で 解 約 し た お 客 様 の ( 1 ) 顧 客 属 性 情 報 ( 2 ) 契 約 後 １ ヶ 月 間 の サ ー ビ ス 利 用 状 況 を ロ ジ ス テ ィ ッ ク 回 帰 分 析 を 使 用 し 、 理 解 し よ う と 考 え た 。 ◆ 補 足 ： 分 析 手 法 の 選 定 に つ い て 顧 客 の サ ー ビ ス 継 続 時 間 に 影 響 が あ る 変 数 の 分 析 に は 、 コ ッ ク ス 回 帰 分 析 が 一 般 的 だ が 、 今 回 は 1 か 月 目 の 解 約 の 回 避 が 目 的 で あ っ た た め 、 ロ ジ ス テ ィ ッ ク 回 帰 分 析 を 用 い た
8. 6.ロジスティック回帰を行うためのデータ準備 ◆ [ デ ー タ の 前 処 理 ] ( A ) オ ン ボ ー デ ィ ン グ に 成 功 し た お 客 様 ： 1 年 以 上 利 用 頂 い て い る お 客 様 ( B ) オ ン ボ ー デ ィ ン グ に 失 敗 し た お 客 様 ： 1 ヶ 月 で 解 約 し た お 客 様 の ( 1 ) 顧 客 属 性 情 報 ( 2 ) 契 約 後 １ ヶ 月 間 の サ ー ビ ス 利 用 状 況 ( 3 ) 解 約 情 報 を 1 契 約 1 行 に な る よ う に 結 合 ID, ---, ---, ---, --- ... , ---, ---, ---, True ID, ---, ---, ---, --- ... , ---, ---, ---, False ID, ---, ---, ---, --- ... , ---, ---, ---, False ID, ---, ---, ---, --- ... , ---, ---, ---, True ID, ---, ---, ---, --- ... , ---, ---, ---, True : 顧 客 属 性 情 報 サ ー ビ ス 利 用 状 況 解 約 フ ラ グ 結 合 後 の デ ー タ の イ メ ー ジ
9. 7.ロジスティック回帰分析の進め方 1. ロジスティック回帰 モデルの構築 2-1. 多重共線性の 確認 2-2. VIF < 10 2-3. 説明変数の 見直し 3. 相関値の 計算 4. 変数重要度の確認 (P値 < 0.05 のもの) 5. 予測結果の確認 (4 にて確認した変数) Y e s N o ◆ 作 業 フ ロ ー ロジスティック回帰 にて実施した作業 相関 にて実施した作業 色分けの補足 変数選択 フェーズ 解釈 フェーズ 各 項 目 の 詳 細 は 後 続 の ス ラ イ ド 参 照 。
10. 7.ロジスティック回帰分析-変数選択 1. ロジスティック回帰 モデルの構築 2-1. 多重共線性の 確認 2-2. VIF < 10 2-3. 説明変数の 見直し 3. 相関値の 計算 4. 変数重要度の確認 (P値 < 0.05 のもの) 5. 予測結果の確認 (4 にて確認した変数) Y e s N o ◆ 作 業 フ ロ ー ロジスティック回帰 にて実施した作業 相関 にて実施した作業 色分けの補足 変数選択 フェーズ 解釈 フェーズ ①
11. 7.ロジスティック回帰分析-変数選択 ３５ VIF ◆ 実 施 し た こ と - 用 意 し た す べ て の 変 数 を 使 用 し 、 ロ ジ ス テ ィ ッ ク 回 帰 分 析 を 実 施 。 多 重 共 線 性 を 確 認 。 ◆ 結 果 - V I F > 1 0 で あ り 、 予 測 変 数 の 中 に 相 関 が 強 い 変 数 が 存 在 し て い る こ と が 分 か っ た 。 ◆ 考 察 - 顧 客 属 性 情 報 や サ ー ビ ス 利 用 状 況 の デ ー タ の 中 に は 、 階 層 関 係 に あ る デ ー タ を 持 つ こ と が 多 い こ と に 起 因 し て い る と 考 え ら れ る 。 ( e x . 契 約 数 → ロ グ イ ン 数 な ど ) ◆ 補 足 - 変 数 間 の 関 係 性 の 理 解 に は ” 業 務 知 識 ( ド メ イ ン 知 識 ) ” が 必 要 。 - ど う い っ た 変 数 が 階 層 関 係 に な っ て お り 、 相 関 が 強 い 変 数 と な っ て い る か が 理 解 で き 、 外 す べ き 変 数 が 何 か を 判 断 す る 際 の 判 断 材 料 と な る 。 変数名についてはマスクしております
12. 7.ロジスティック回帰分析-相関 1. ロジスティック回帰 モデルの構築 2-1. 多重共線性の 確認 2-2. VIF < 10 2-3. 説明変数の 見直し 3. 相関値の 計算 4. 変数重要度の確認 (P値 < 0.05 のもの) 5. 予測結果の確認 (4 にて確認した変数) Y e s N o ◆ 作 業 フ ロ ー ロジスティック回帰 にて実施した作業 相関 にて実施した作業 色分けの補足 変数選択 フェーズ 解釈 フェーズ ②
13. 7.ロジスティック回帰分析-相関 ◆ 実 施 し た こ と - 用 意 し た す べ て の 変 数 を 使 用 し 、 相 関 の 計 算 を 実 施 。 相 関 値 の 高 い 変 数 の 組 み 合 わ せ を 確 認 。 ◆ 結 果 - ド メ イ ン 知 識 だ け で は 気 づ か な い 強 い 相 関 関 係 が あ る 変 数 を 把 握 す る こ と が で き る 。 - ド メ イ ン 知 識 か ら 相 関 関 係 が あ り そ う と 推 測 し た 変 数 の 組 み 合 わ せ の 裏 付 け が 取 れ る 。 ◆ ネ ク ス ト ア ク シ ョ ン - 相 関 値 の 高 い 変 数 を 除 外 し 、 ロ ジ ス テ ィ ッ ク 回 帰 分 析 を 実 施 し 、 再 度 、 多 重 共 線 性 の V I F を 確 認 す る 。 - V I F < 1 0 と な る ま で 、 説 明 変 数 の 選 択 を 繰 り 返 す 。 変数名についてはマスクしております
14. 7.ロジスティック回帰分析-変数選択2 1. ロジスティック回帰 モデルの構築 2-1. 多重共線性の 確認 2-2. VIF < 10 2-3. 説明変数の 見直し 3. 相関値の 計算 4. 変数重要度の確認 (P値 < 0.05 のもの) 5. 予測結果の確認 (4 にて確認した変数) Y e s N o ◆ 作 業 フ ロ ー ロジスティック回帰 にて実施した作業 相関 にて実施した作業 色分けの補足 変数選択 フェーズ 解釈 フェーズ ③
15. 7.ロジスティック回帰分析-変数選択2 １０ VIF ◆ 実 施 し た こ と - 相 関 値 の 高 い 変 数 を 除 外 し 、 ロ ジ ス テ ィ ッ ク 回 帰 分 析 を 再 度 実 施 。 多 重 共 線 性 を 確 認 。 ◆ 結 果 - V I F < 1 0 で あ り 、 予 測 変 数 の 中 に 相 関 関 係 が 強 い 変 数 が 存 在 し な い こ と が 分 か っ た 。 - 分 析 の 結 果 の 信 頼 性 が 向 上 し た と 言 え る 。 ◆ ネ ク ス ト ア ク シ ョ ン - 解 釈 フ ェ ー ズ へ 進 む 。 変数名についてはマスクしております
16. 7.ロジスティック回帰分析-解釈1 1. ロジスティック回帰 モデルの構築 2-1. 多重共線性の 確認 2-2. VIF < 10 2-3. 説明変数の 見直し 3. 相関値の 計算 4. 変数重要度の確認 (P値 < 0.05 のもの) 5. 予測結果の確認 (4 にて確認した変数) Y e s N o ◆ 作 業 フ ロ ー ロジスティック回帰 にて実施した作業 相関 にて実施した作業 色分けの補足 変数選択 フェーズ 解釈 フェーズ ④
17. 7.ロジスティック回帰分析-解釈1 ◆ 実 施 し た こ と - ロ ジ ス テ ィ ッ ク 回 帰 分 析 の 結 果 の 変 数 重 要 度 を 確 認 。 - P 値 < 0 . 0 5 ( * 1 ) の 値 を 確 認 し た う え で 、 変 数 重 要 度 高 い 変 数 を 理 解 す る 。 ◆ 結 果 - 解 約 に 関 係 が あ る と 考 え ら れ る 変 数 ( * 2 ) が 見 つ か っ た 。 ◆ 補 足 ( * 1 ) 右 記 の 青 い グ ラ フ の 変 数 帰 無 仮 説 が 成 立 し て い る か ど う か の 判 断 の 基 準 と な る し き い 値 を 0 . 0 5 と す る 。 今 回 の 帰 無 仮 説 は ” 変 数 〇 〇 と 解 約 の 発 生 は 独 立 ” 。 P 値 < 0 . 0 5 の 変 数 に つ い て は 、 帰 無 仮 説 が 成 立 し て い な い と 言 え る の で 、 ” 変 数 〇 〇 と 解 約 に は 関 係 が あ る ” と 言 え る 。 ( * 2 ) 変 数 重 要 度 で は 、 影 響 の 度 合 い の 強 弱 は 確 認 で き る が 、 そ の 変 数 が 目 的 変 数 に 対 し 、 P o s i t i v e に 働 い て い る の か 、 N e g a t i v e に 働 い て い る の か は 分 か ら な い 。 → 次 の “ 5 . 予 測 結 果 の 確 認 ” に て 確 認 す る 。 変数名についてはマスクしております Importance
18. 7.ロジスティック回帰分析-解釈2 1. ロジスティック回帰 モデルの構築 2-1. 多重共線性の 確認 2-2. VIF < 10 2-3. 説明変数の 見直し 3. 相関値の 計算 4. 変数重要度の確認 (P値 < 0.05 のもの) 5. 予測結果の確認 (4 にて確認した変数) Y e s N o ◆ 作 業 フ ロ ー ロジスティック回帰 にて実施した作業 相関 にて実施した作業 色分けの補足 変数選択 フェーズ 解釈 フェーズ ⑤
19. 値が高いと解約する傾向 値が高いと解約しない傾向 値が高いと解約しない傾向 値が高いと解約しない傾向 ベースラインに比べ解約 しにくいカテゴリがある ベースラインに比べ解約 しにくいカテゴリがある P値 < 0.05 を満たさない変数 P値 < 0.05 を 満たさない変数 7.ロジスティック回帰分析-解釈2 ◆ 実 施 し た こ と - ロ ジ ス テ ィ ッ ク 回 帰 分 析 の 結 果 の 予 測 を 確 認 。 - 変 数 重 要 度 に て P 値 < 0 . 0 5 で あ っ た 変 数 の 表 示 を 確 認 す る 。 ◆ 結 果 - 解 約 に 対 し P o s i t i v e に 働 く 変 数 、 N e g a t i v e に 働 く 変 数 が 確 認 で き た 。
20. 8.考察、今後の取り組み ◆ 考 察 - 結 果 に は 事 前 予 想 と 反 対 の 結 果 ( 変 数 の 値 が 高 く な る と 、 n e g a t i v e に 働 く と 予 想 し て い た が 、 p o s i t i v e に 働 く 結 果 と な っ た ) と な っ た も の が あ っ た 。 - 今 回 分 析 の 対 象 と し た サ ー ビ ス 利 用 状 況 の デ ー タ は ” 契 約 後 １ ヶ 月 間 ” と し て い た が 、 契 約 以 前 の お 試 し 期 間 で の 利 用 状 況 に つ い て も 、 検 証 す る 必 要 性 を 感 じ た 。 ◆ 今 後 の 取 り 組 み - ロ グ の 対 象 期 間 を お 試 し 期 間 も 含 め て 、 再 検 証 す る 。 - 各 指 標 を ア プ ロ ー チ リ ス ト や 問 診 票 ア プ リ に 載 せ て 、 運 用 に 載 せ る 。 ◆ 分 析 サ イ ク ル と 運 用 化 ここも大事！
21. ご清聴ありがとうございました！
22. Appendix
23. • E x p l o r a t o r y で K i n t o n e デ ー タ を 連 携 す る 方 法 h t t p s : / / w w w . c d a t a . c o m / j p / k b / t e c h / k i n t o n e - o d b c - e x p l o r a t o r y . r s t Tips