解約予測で更新リスクを管理｜Datamix エグゼクティブフェロー 江崎敦士

／
✨生成AI x データサイエンス サンフランシスコ最前線 powered by EXE✨
＼

Open AIやMetaのLlamaなど、LLMの発展や画像生成AIの急速な進化が注目を浴びる中、AIの最前線 サンフランシスコでは、革新的な技術が次々と生まれ、未来のAIの可能性が広がっています。
今回のEXEは、最新の現地調査から得た情報をもとに、未来のAIの発展を徹底的に考察します！

<タイムテーブル>
19:00~19:05：オープニング
19:05~19:15：生成AIxデータサイエンスサンフランシスコ動向（クーガー CEO 石井）
19:15~19:30：大規模言語モデルによる次世代レコメンドシステムの構築と戦略（クーガー CEO 石井）
19:30~19:45：病院におけるAIと機械学習の活用（datamix エグゼクティブフェロー 江崎）
19:45~20:00：解約予測で更新リスクを管理（datamix エグゼクティブフェロー 江崎）
20:00~20:20：パネルディスカッション : datamix ceo 堅田 / 博報堂ブロックチェーンイニシアチブ 伊藤 / 石井 / 江崎
20:20~20:50：懇親会

https://peatix.com/event/3821971/view

Transcript

1. ©2024 Datamix Co., Ltd. All rights reserved. Predictive Insights: Mastering Renewal Risk with Churn Prediction 現代の競争激化したビジネス環境において、持続的な 成長と収益性を確保するためには、顧客の維持が不可 欠です。 この講演では、予測分析を活用して解約リスクのある顧 客を特定するという重要な課題に焦点を当てます。具体 的には、利用動向、顧客感情分析、エンゲージメント指 標、財務指標などを統合し、リスクの高い顧客をピンポイ ントで特定するための、 Zoom社が取り組んだ強固なフ レームワークについて解説します。これらの洞察を活用 することで、Zoom社はCSM（カスタマーサクセスチーム） に対してリスクの高い顧客の優先順位付けされたリスト を提供し、リソースをより効果的に割り当て、最も重要な 箇所に介入できるようになりました。 プレゼンテーションでは説明可能性フレームワークも説 明します。このフレームワークは、単なる特定に留まら ず、なぜ顧客がリスクにさらされているのかを理解しよう とするものであり、顧客離反の根本原因に関する実用的 な洞察を提供します。この包括的なアプローチは、リスク の高い顧客を特定するだけでなく、積極的に顧客維持戦 略を強化し、競争激しい市場において持続可能な成長を 促進するのに役立ちます。 DHIVYA RAJPRASAD MANAGER, CORE PRODUCTS INTELLIGENCE MIRELLA RODRIGUEZ DATA SCIENTIST ZOOM 発表内容 ～解約予測で更新リスクを管理する～ • データからターゲティングまで、 B2Bビジネスの 独自性 • MLモデルの導入 • 反復的デザインシンキング • 解約予測のためのMLとフューチャーエンジニ アリング • 説明可能性フレームワーク • 成功の計測化
2. ©2024 Datamix Co., Ltd. All rights reserved. Predictive Insights: Mastering Renewal Risk with Churn Prediction Zoom : To a complete UCAAS (United Communications as a Service) Solution 【図1】
3. ©2024 Datamix Co., Ltd. All rights reserved. Predictive Insights: Mastering Renewal Risk with Churn Prediction データからターゲティングまで、 B2Bビジネスの独自性 B2B Subscription Process 【図２】
4. ©2024 Datamix Co., Ltd. All rights reserved. Predictive Insights: Mastering Renewal Risk with Churn Prediction MLモデルの導入 ZoomのB2Bセグメントには数十ものプロダクトがあり、 200人以上のCSM（カスタマーサクセスマネジャー）が 数百万のクライアントをサポートしています。このプロ ジェクトの主な目的は、解約数を低減し、アクティブアカ ウント数を増やすことです。 CSMチームはこれまでも解約予防に努めてきました。 各CSMメンバーは与えられた様々な情報をもとにメン バーが独自に推測し、解約の可能性が高い顧客にア プローチしていました。 従来のやり方を改善して、より成果を上げる為に解約 予測にMLモデルを導入しました。まず着手したのは、 解約リスクを高・中・低で判断しその情報を CSMチーム に与え、コンタクトの優先順位を決めることです【図 3】。 限られたCSMチームのリソースをより効率的に活用 し、ストレスなく成果を上げるために、 最終的にはFull Fledge Data Productの構築を目指し ました。 【図3】
5. ©2024 Datamix Co., Ltd. All rights reserved. Predictive Insights: Mastering Renewal Risk with Churn Prediction MLモデルの導入 Full-Fledged Data Productの構築において以下の構 成を採用しました。 1.リスクアカウントの特定 : • 従来型の機械学習では、リスクアカウントの特定 がメインでした。 • 従来はこの情報提供だけで、この後情報がどのよ うに活用されたかまでフォローしていませんでし た。 2.ユーザーエンゲージメント＆ CSM継続サポート: • データプロダクトを導入し、ユーザーエンゲージメン トとCSMにおける継続的なサポートを確立する事 でデータがどのように活用されるかまで補足しまし た。 • 反復的デザイン思考を採用して、ユーザーフィード バックを収集し、プロダクトの改善を進めました。 • この統合的なアプローチにより、データ製品の全体 的なパフォーマンスが向上し、ビジネスの成果や 利用者の満足度を向上させることが期待されま す。 【図4】
6. ©2024 Datamix Co., Ltd. All rights reserved. Predictive Insights: Mastering Renewal Risk with Churn Prediction MLモデルと反復的デザイン思考の導入 このプロジェクトが、短期間で導入でき、全てのプロセ スがシームレスにできたのは、デザイン思考の手法に 基づいたからです【図 5】 。 これまでは無駄で複雑な手順が増える事で、この種 のプロダクトが本来の機能を活かしきれないまま廃止 に追い込まれていました。 このプロジェクトを始めた時、注意すべき点が多数あ りましたが、まずCSMチームの共感を得ることに注力 しました。 原則これまでのCSMチームのワークフローに沿う形 で、機会学習に基づく予測が行えるデータプロダクト を準備し、UI専門家が直感で使える APPをデザインし 既存のフローにはめ込みました。データサイエンティ ストの予測結果がCSMチームにも理解しやすいもの したことでエンゲージメントを高めました。 【図5】
7. ©2024 Datamix Co., Ltd. All rights reserved. Predictive Insights: Mastering Renewal Risk with Churn Prediction 解約予測のためのMLとフューチャーエンジニアリング 解約予測のための機械学習モデルの構築と実装は、 以下の４つの段階で進めました。 1. 第1段階: 製品コホート分析とルールベースのリス ク評価【図6】 1. コホート分析手法を使用して製品群を ABCの３ つに分類し、リスクを大・中・小に区分けしまし た。 2. ルールベースでリスクに基づいて各顧客にラベ ルを付与しました。 まずこの段階から始めたことで、 CSMチームもこの プロジェクトのもつ可能性をよく理解してもらえまし た。 2. 第2段階: CSMダッシュボードへの実装と通知機能 【図7】 1. 第1段階で得られたリスクレベルをダッシュボー ドに実装し、CSMチームに情報提供しました。 2. 新規に解約リスクが高まった顧客に関しては、 週次で担当者にeMail通知が行われました。こ のメール配信機能は既存の仕組みを利用しま した。 【図6】 【図7】
8. ©2024 Datamix Co., Ltd. All rights reserved. Predictive Insights: Mastering Renewal Risk with Churn Prediction 解約予測のためのMLとフューチャーエンジニアリング 3. 第3段階: XG Boostモデルと特徴量エンジニアリングの導入【図 8】 1. この段階で、ルールベースでの分析から機械学習を応用したリスク予測分析に着手しました。 2. XG Boostモデルを使用して分類を行い、外部要因などを取り入れて特徴量を増やしました。 3. 解約については完全な解約だけでなく、ライセンスの減少等売上削減もシナリオとして検討しました が、まずは完全な解約のみを対象としています。 4. 顧客ごとの解約リスクの要因や、予測に基づいた行動提案などの説明要素をダッシュボードに追加し ました。 これにより、より効果的な解約予測が可能となり CSMチームは的確なアクションを起こす際に強力な情報を 得ることができるようになりました。 【図8】
9. ©2024 Datamix Co., Ltd. All rights reserved. Predictive Insights: Mastering Renewal Risk with Churn Prediction 解約予測のためのMLとフューチャーエンジニアリング 4. 最終段階（現在）: CSMプラットフォームとの連携【図 9】 • ダッシュボードとCSMプラットフォームをAPI連携し、ワンストップ化しました。 • CSMはリスクに対して「同意」または「同意しない」の判断を下しその理由とともに CSMがどのように 最終判断したかの情報収集を行うための APPも開発しました【図8】。 • API連携を実現し、結果情報も含めてシームレスなメタ情報収集を可能にしました。 【図9】 【図8】
10. ©2024 Datamix Co., Ltd. All rights reserved. Predictive Insights: Mastering Renewal Risk with Churn Prediction 解約予測のためのMLとフューチャーエンジニアリング 訓練と予測のスキーマ データは特徴量生成に利用 データは目的変数生成に 利用：直近４か月分 将来の解約予測に モデルを利用 訓練モデルの特徴量と目的変数 【図10】
11. ©2024 Datamix Co., Ltd. All rights reserved. Predictive Insights: Mastering Renewal Risk with Churn Prediction 解約予測のためのMLとフューチャーエンジニア リング • 解約予測モデルの特徴量には以下項目を含 んでモデル構築しました【図 11】。 • 契約期間 • 企業セグメント • リジョン • 従業員規模 • サービス利用状況 • アサイメント率 • 利用プロダクト　　等々 • 又解約予測モデルの結果説明の枠組みは以 下の構成です【図12】。 • リスクの中身 • 契約の解除 • ミーティングなし（使われていない） • ロンリーミーティング • ラインセンスのダウンサイズ • 利用率の急減な低下 • 社内での低い配布率 • ライセンス利用の低下 • 対象サービス • リスクの大きさ • 金額 • 平均との比較 【図12】 【図11】
12. ©2024 Datamix Co., Ltd. All rights reserved. Predictive Insights: Mastering Renewal Risk with Churn Prediction 【図13】 成功の計測化 計測されるKPI指標【図13】 • 特定されたリスクアカウント数 • MLの精度：Precision（適合率）、Recall（再現率）、 F1数値でのモデルの性能評価。 • ビジネス指標：CSM一人当たりの対応数＆リスク金 額 • Actionalbility APP利用数＆解約回避金額 • ユーザーエンゲージメント • eMail送付数とその後のダッシュボード閲覧数 • APP利用数 • 継続中のCSMサポート • チャットチャンネル質問数／回答数 • 機能強化数 • アンケート回答数 これらのKPIや指標の計測は、プロジェクトの進捗と成功 の評価に寄与し、CSMチームの行動計画や戦略の最適 化に役立ちます。