[AWS Startup.fm] Amazon SageMaker を使って サブスクリプションビジネスでの チャーン予測を行う方法 / SageMaker Churn Prediction on Your Subscription Business

サブスクリプション型のビジネスモデルでは、ユーザーの獲得とともに、いかに離脱 (チャーン) を防ぐかというのがサービス成長の上で重要な指標になります。本セッションでは、チャーン予測のための具体的な方法を紹介し、それを AWS の機械学習サービスである Amazon SageMaker を使って実装する方法について案内します。ビジネスの成長に悩みを持たれているスタートアップの方にご活用頂けると幸いです。

https://pages.awscloud.com/JAPAN-startup-OE-aws-startup-fm-amazon-sagemaker-2021-reg-event.html

Transcript

1. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker を使って サブスクリプションビジネスでの チャーン予測を行う方法 Yoshitaka Haribara, Ph.D. AWS Startup Solutions Architect 2021-07-07 @_hariby, #startupfm
2. Yoshitaka Haribara, Ph.D. AWS Startup Solutions Architect Tokyo, Japan 2018年 AWS Japan 入社。 ソリューションアーキテクトとして日本の スタートアップに対する AWS 導入支援を行っており、 特に機械学習基盤の設計・構築や、 開発体制の整備にまつわる相談を手掛ける。 趣味はドラム。最近気になっているドラマーは 星野源「不思議」にも参加している石若駿。
3. 8月号 AWS テクノロジー講座 第4回 機械学習の導入やサービス選定 にあたっての考え方 9月号 AWS テクノロジー講座 第5回 継続的にモデルを改善し続ける ための機械学習基盤 10月号 AWS テクノロジー講座 最終回 機械学習のパフォーマンス向上 のための技術 Software Design に記事を書いたりしました 「スタートアップのための AWS テクノロジー講座」 (2020年)
4. 1. サブスクリプションビジネスの KPI と 16 Startup Metrics 2. チャーンレートとチャーン予測 3. AWS でチャーン予測を行う方法 Agenda
5. サブスクリプション ビジネスの KPI
6. サブスクリプションビジネスの例 • 電話・通信会社 (有線、携帯、インターネット, etc.) • サブスクリプション型のメディア (ニュース、ブログ, etc.) • 音楽・動画ストリーミング • 各種 Software as a Service (SaaS) プロバイダー (e-コマース、CRM, Marketing/Mar-Tech, クラウドコンピューティング、ビデオ会議、データ分析・可視化ツール, etc.)
7. サブスクリプションビジネスで重要な KPI • Monthly Recurring Revenue (MRR) • MRR Compounded Monthly Growth Rate (CMGR) • Gross User Churn • Paid Customer Acquisition Cost (CAC) by Any Hariharan, Y Combinator Startup School https://review.foundx.jp/entry/nine-business-models-and-the-metrics https://twitter.com/tumada/status/1194574326718062594?s=20
8. 16 Startup Metrics by Jeff Jordan, Anu Hariharan, Frank Chen, and Preethi Kasireddy, a16z https://a16z.com/2015/08/21/16-metrics/
9. (part 1/3) Business and Financial Metrics • #1 Bookings (受注額) vs. Revenue (収益) • #2 Recurring Revenue vs. Total Revenue − ARR (Annual Recurring Revenue), MRR (Monthly Recurring Revenue) • #3 Gross Profit (粗利) • #4 Total Contract Value (TCV, 合計契約金額) vs. Annual Contract Value (ACV, 年間〃) • #5 LTV (Life Time Value) − LTV = (Contribution margin from customer) x (the average lifespan of customer). § Avg. life span of customer (in months) = 1 / (your monthly churn). • #6 Gross Merchandise Value (GMV, 流通取引総額) vs. Revenue • #7 Unearned or Deferred Revenue (前受収益) … and Billings (請求額) • #8 CAC (Customer Acquisition Cost) … Blended vs. Paid, Organic vs. Inorganic
10. (part 2/3) Product and Engagement Metrics • #9 Active Users • #10 Month-on-month (MoM) growth − Compounded Monthly Growth Rate (CMGR) = (Latest Month/First Month)^(1/# of Months) -1 • #11 Churn (チャーン、離脱) − Churn にも色々あるので後述 • #12 Burn Rate • #13 Downloads − アプリのダウンロード数のような単純な指標ではなく Engagement を見るべき § Engagement: DAU (daily active users), MAU (monthly active users), photos shared, photos viewed, etc.
11. (part 3/3) Presenting Metrics Generally • #14 Cumulative Charts (vs. Growth Metrics) − 累積ではなく monthly GMV, monthly revenue, or new users/customers per month を見るべき • #15 Chart Tricks − 変な図 (3D, y軸のスケール, 割合だけ出す) でごまかさない • #16 Order of Operations − ビジネスの規模感 (GMV, revenue, bookings) → 成長率の順に説明するといい
12. チャーンレートと チャーン予測
13. Churn にも色々あるが、大きく分けると2つ • ユーザー数で測る Churn − Gross user churn: [(Total lost customers) in a given period]/(prior period total customers) § ある時期の利用者数と、失ったユーザー数の比 − Monthly unit churn = (lost customers)/(prior month total) § 上記を月単位で見たもの − Retention by cohort § 初月から残ったユーザーの割合を見る § Month 1 = 100% of installed base § Latest Month = % of original installed base that are still transacting • 金額ベースで測る Churn − Gross churn: (MRR lost in a given month)/(MRR at the beginning of the month) § その月に失った MRR の割合 − Net revenue churn: [(MRR lost - MRR from upsells) in a given month]/(MRR at the beginning of the month) § Upsell の影響を考慮
14. Gross user churn • Gross user churn = L/U − U = A + L 失ったユーザー (L: Lost) ある期間の ユーザー (U: User) 継続利用 (A: Active)
15. 個別の User Churn • ある特定のユーザーは離脱 (Churn) するか？サブスクリプションを解消するか？ • このユーザーは下位グレードのプランに移行するか？ 失ったユーザー (L: Lost) ある期間の ユーザー (U: User) 継続利用 (A: Active)
16. 機械学習としての定式化 • 「このーザーは Churn (離脱) するか？ 」 − 離脱する・しないの2値分類問題として解く − 離脱しそうなユーザーを発見し、対策を打つことができると良い User2 Churn: False User1 Churn: True User3 Churn: False
17. Churn 予測 on AWS
18. VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD CONTACT CENTERS Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Trainium Inferentia FPGA DeepGraphLibrary Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Lex Amazon Personalize Amazon Forecast Amazon Comprehend +Medical Amazon Textract Amazon Kendra Amazon CodeGuru Amazon Fraud Detector Amazon Translate INDUSTRIAL AI CODE AND DEVOPS NEW Amazon DevOps Guru Voice ID For Amazon Connect Contact Lens NEW Amazon Monitron NEW AWS Panorama + Appliance NEW Amazon Lookout for Vision NEW Amazon Lookout for Equipment AWS AI/ML サービス全体像 NEW Amazon HealthLake HEALTH AI NEW Amazon Lookout for Metrics ANOMALY DETECTION Amazon Transcribe Medical Amazon Comprehend Medical Amazon SageMaker Label data NEW Aggregate & prepare data NEW Store & share features Auto ML Spark/R NEW Detect bias Visualize in notebooks Pick algorithm Train models Tune parameters NEW Debug & profile Deploy and predict in production Manage & monitor NEW CI/CD Human review NEW: Model management for edge devices NEW: SageMaker JumpStart SAGEMAKER STUDIO IDE AI サービス: 機械学習の深い知識なしに利⽤可能 ML サービス: 機械学習のプロセス全体を効率化するマネージドサービス ML フレームワークとインフラストラクチャ: 機械学習の環境を⾃在に構築して利⽤
19. Amazon SageMaker overview PREPARE SageMaker Ground Truth Label training data for machine learning SageMaker Data Wrangler NEW Aggregate and prepare data for machine learning SageMaker Processing Built-in Python, BYO R/Spark SageMaker Feature Store NEW Store, update, retrieve, and share features SageMaker Clarify NEW Detect bias and understand model predictions BUILD SageMaker Studio Notebooks Jupyter notebooks with elastic compute and sharing Built-in and Bring your-own Algorithms Dozens of optimized algorithms or bring your own Local Mode Test and prototype on your local machine SageMaker Autopilot Automatically create machine learning models with full visibility SageMaker JumpStart NEW Pre-built solutions for common use cases TRAIN & TUNE Managed Training Distributed infrastructure management SageMaker Experiments Capture, organize, and compare every step Automatic Model Tuning Hyperparameter optimization Distributed Training NEW Training for large datasets and models SageMaker Debugger NEW Debug and profile training runs Managed Spot Training Reduce training cost by 90% DEPLOY & MANAGE Managed Deployment Fully managed, ultra low latency, high throughput Kubernetes & Kubeflow Integration Simplify Kubernetes-based machine learning Multi-Model Endpoints Reduce cost by hosting multiple models per instance SageMaker Model Monitor Maintain accuracy of deployed models SageMaker Edge Manager NEW Manage and monitor models on edge devices SageMaker Pipelines NEW Workflow orchestration and automation Amazon SageMaker SageMaker Studio Integrated development environment (IDE) for ML
20. Amazon SageMaker Studio • Amazon SageMaker Studio は 機械学習のための統合開発環境 (IDE) − サーバレスノートブック − ノートブックのシェアによる共同開発 • SageMaker Python SDK で学習・推論の実行 − TensorFlow, PyTroch など深層学習用イメージが 用意されており、コンテナ持ち込みも可能 − 実験管理・モデルレジストリ − 推論時の定常的なモデル監視と分析 • 東京リージョンでも利用可能
21. Amazon SageMaker Data Wrangler • 迅速かつ容易に機械学習のためのデータを準備 • SageMaker Studio IDE の UI で利用可能 − S3, Athena, Redshift, SageMaker Feature Store など複数データソースから SageMaker にデータを直接インポート − 1クリックでデータ選択、クエリ、データ変換、可視化等を行う • 300以上の組み込み変換処理を利用してコード記述なしに処理
22. SageMaker Autopilot • モデルの自動生成を、可視性と制御性を保ちながら可能にする AutoML ツール クイックスタート 表形式のデータを与えて 予測したい列を指定 モデルの⾃動⽣成 特徴量エンジニアリングと モデルチューニングを ⾃動的に完了 可視性と制御性 モデルとソースコードを ノートブックの形で提供 最適化 モデルの継続的な更新
23. Amazon SageMaker Autopilot で回帰・分類モデルの生成 複数トレーニング ジョブを実⾏し モデルのチューニング 完了したジョブと メトリクス データ分析 特徴量 エンジニアリング モデル チューニング モデル完成 エンドポイント
24. Amazon SageMaker JumpStart • 機械学習アプリケーションを簡単かつ迅速に市場投入 • Solutions: − 15以上の一般的なユースケースに対し、 カスタム可能な構築済みソリューションを提供 • Model Zoo (Text/Vision models): − 150を超える有名 OSS モデルを ワンクリックでデプロイ。転移学習も可能 • Built-in Algorithm (SageMaker Algorithm): − SageMaker で利用可能な ビルトインアルゴリズムを即座に利用可能 • その他サンプル Notebook やチュートリアルに簡単アクセス
25. Demo (Examples)
26. Music Streaming Service: Customer Churn Detection • https://sagemaker-examples.readthedocs.io/en/latest/use-cases/index.html • 音楽ストリーミングサービスでの Churn を予測するという問題設定。 • 人工的に生成したデータを利用 (実際のユーザーデータは含まない)。
27. XGBoost による顧客離反分析 (Churn Analysis) • https://github.com/aws-samples/amazon-sagemaker-examples- jp/blob/master/xgboost_customer_churn/xgboost_customer_churn.ipynb
28. Churn Prediction with Text • SageMaker JumpStart > Solutions
29. まとめ • User Churn はスタートアップ、特にサブスクリプションビジネスにとって重要な指標 • Gross User Churn と個別のユーザーに対する Churn 予測について紹介 • SageMaker で前処理、モデル作成、AutoML などが簡単に利用できる − SageMaker Studio, SageMaker Data Wrangler, SageMaker Autopilot
30. Thank you © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. @_hariby