Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[AWS Startup.fm] Amazon SageMaker を使って サブスクリプションビジネスでの チャーン予測を行う方法 / SageMaker Churn Prediction on Your Subscription Business

[AWS Startup.fm] Amazon SageMaker を使って サブスクリプションビジネスでの チャーン予測を行う方法 / SageMaker Churn Prediction on Your Subscription Business

サブスクリプション型のビジネスモデルでは、ユーザーの獲得とともに、いかに離脱 (チャーン) を防ぐかというのがサービス成長の上で重要な指標になります。本セッションでは、チャーン予測のための具体的な方法を紹介し、それを AWS の機械学習サービスである Amazon SageMaker を使って実装する方法について案内します。ビジネスの成長に悩みを持たれているスタートアップの方にご活用頂けると幸いです。

https://pages.awscloud.com/JAPAN-startup-OE-aws-startup-fm-amazon-sagemaker-2021-reg-event.html

Yoshitaka Haribara

July 07, 2021
Tweet

More Decks by Yoshitaka Haribara

Other Decks in Technology

Transcript

  1. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    Amazon SageMaker を使って
    サブスクリプションビジネスでの
    チャーン予測を行う方法
    Yoshitaka Haribara, Ph.D.
    AWS Startup Solutions Architect
    2021-07-07
    @_hariby, #startupfm

    View full-size slide

  2. Yoshitaka Haribara, Ph.D.
    AWS Startup Solutions Architect
    Tokyo, Japan
    2018年 AWS Japan 入社。
    ソリューションアーキテクトとして日本の
    スタートアップに対する AWS 導入支援を行っており、
    特に機械学習基盤の設計・構築や、
    開発体制の整備にまつわる相談を手掛ける。
    趣味はドラム。最近気になっているドラマーは
    星野源「不思議」にも参加している石若駿。

    View full-size slide

  3. 8月号
    AWS テクノロジー講座 第4回
    機械学習の導入やサービス選定
    にあたっての考え方
    9月号
    AWS テクノロジー講座 第5回
    継続的にモデルを改善し続ける
    ための機械学習基盤
    10月号
    AWS テクノロジー講座 最終回
    機械学習のパフォーマンス向上
    のための技術
    Software Design に記事を書いたりしました
    「スタートアップのための AWS テクノロジー講座」 (2020年)

    View full-size slide

  4. 1. サブスクリプションビジネスの KPI と
    16 Startup Metrics
    2. チャーンレートとチャーン予測
    3. AWS でチャーン予測を行う方法
    Agenda

    View full-size slide

  5. サブスクリプション
    ビジネスの KPI

    View full-size slide

  6. サブスクリプションビジネスの例
    • 電話・通信会社 (有線、携帯、インターネット, etc.)
    • サブスクリプション型のメディア (ニュース、ブログ, etc.)
    • 音楽・動画ストリーミング
    • 各種 Software as a Service (SaaS) プロバイダー (e-コマース、CRM, Marketing/Mar-Tech,
    クラウドコンピューティング、ビデオ会議、データ分析・可視化ツール, etc.)

    View full-size slide

  7. サブスクリプションビジネスで重要な KPI
    • Monthly Recurring Revenue (MRR)
    • MRR Compounded Monthly Growth Rate (CMGR)
    • Gross User Churn
    • Paid Customer Acquisition Cost (CAC)
    by Any Hariharan, Y Combinator Startup School
    https://review.foundx.jp/entry/nine-business-models-and-the-metrics
    https://twitter.com/tumada/status/1194574326718062594?s=20

    View full-size slide

  8. 16 Startup Metrics
    by Jeff Jordan, Anu Hariharan, Frank Chen, and Preethi Kasireddy, a16z
    https://a16z.com/2015/08/21/16-metrics/

    View full-size slide

  9. (part 1/3) Business and Financial Metrics
    • #1 Bookings (受注額) vs. Revenue (収益)
    • #2 Recurring Revenue vs. Total Revenue
    − ARR (Annual Recurring Revenue), MRR (Monthly Recurring Revenue)
    • #3 Gross Profit (粗利)
    • #4 Total Contract Value (TCV, 合計契約金額) vs. Annual Contract Value (ACV, 年間〃)
    • #5 LTV (Life Time Value)
    − LTV = (Contribution margin from customer) x (the average lifespan of customer).
    § Avg. life span of customer (in months) = 1 / (your monthly churn).
    • #6 Gross Merchandise Value (GMV, 流通取引総額) vs. Revenue
    • #7 Unearned or Deferred Revenue (前受収益) … and Billings (請求額)
    • #8 CAC (Customer Acquisition Cost) … Blended vs. Paid, Organic vs. Inorganic

    View full-size slide

  10. (part 2/3) Product and Engagement Metrics
    • #9 Active Users
    • #10 Month-on-month (MoM) growth
    − Compounded Monthly Growth Rate (CMGR) = (Latest Month/First Month)^(1/# of Months) -1
    • #11 Churn (チャーン、離脱)
    − Churn にも色々あるので後述
    • #12 Burn Rate
    • #13 Downloads
    − アプリのダウンロード数のような単純な指標ではなく Engagement を見るべき
    § Engagement: DAU (daily active users), MAU (monthly active users), photos shared, photos viewed, etc.

    View full-size slide

  11. (part 3/3) Presenting Metrics Generally
    • #14 Cumulative Charts (vs. Growth Metrics)
    − 累積ではなく monthly GMV, monthly revenue, or new users/customers per month を見るべき
    • #15 Chart Tricks
    − 変な図 (3D, y軸のスケール, 割合だけ出す) でごまかさない
    • #16 Order of Operations
    − ビジネスの規模感 (GMV, revenue, bookings) → 成長率の順に説明するといい

    View full-size slide

  12. チャーンレートと
    チャーン予測

    View full-size slide

  13. Churn にも色々あるが、大きく分けると2つ
    • ユーザー数で測る Churn
    − Gross user churn: [(Total lost customers) in a given period]/(prior period total customers)
    § ある時期の利用者数と、失ったユーザー数の比
    − Monthly unit churn = (lost customers)/(prior month total)
    § 上記を月単位で見たもの
    − Retention by cohort
    § 初月から残ったユーザーの割合を見る
    § Month 1 = 100% of installed base
    § Latest Month = % of original installed base that are still transacting
    • 金額ベースで測る Churn
    − Gross churn: (MRR lost in a given month)/(MRR at the beginning of the month)
    § その月に失った MRR の割合
    − Net revenue churn: [(MRR lost - MRR from upsells) in a given month]/(MRR at the beginning of the
    month)
    § Upsell の影響を考慮

    View full-size slide

  14. Gross user churn
    • Gross user churn = L/U
    − U = A + L
    失ったユーザー
    (L: Lost)
    ある期間の
    ユーザー
    (U: User) 継続利用
    (A: Active)

    View full-size slide

  15. 個別の User Churn
    • ある特定のユーザーは離脱 (Churn) するか?サブスクリプションを解消するか?
    • このユーザーは下位グレードのプランに移行するか?
    失ったユーザー
    (L: Lost)
    ある期間の
    ユーザー
    (U: User) 継続利用
    (A: Active)

    View full-size slide

  16. 機械学習としての定式化
    • 「このーザーは Churn (離脱) するか? 」
    − 離脱する・しないの2値分類問題として解く
    − 離脱しそうなユーザーを発見し、対策を打つことができると良い
    User2
    Churn: False
    User1
    Churn: True
    User3
    Churn: False

    View full-size slide

  17. Churn 予測 on AWS

    View full-size slide

  18. VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD CONTACT CENTERS
    Deep
    Learning
    AMIs &
    Containers
    GPUs &
    CPUs
    Elastic
    Inference
    Trainium Inferentia FPGA
    DeepGraphLibrary
    Amazon
    Rekognition
    Amazon
    Polly
    Amazon
    Transcribe
    +Medical
    Amazon
    Lex
    Amazon
    Personalize
    Amazon
    Forecast
    Amazon
    Comprehend
    +Medical
    Amazon
    Textract
    Amazon
    Kendra
    Amazon
    CodeGuru
    Amazon
    Fraud Detector
    Amazon
    Translate
    INDUSTRIAL AI CODE AND DEVOPS
    NEW
    Amazon
    DevOps Guru
    Voice ID
    For Amazon Connect
    Contact Lens
    NEW
    Amazon
    Monitron
    NEW
    AWS Panorama
    + Appliance
    NEW
    Amazon Lookout
    for Vision
    NEW
    Amazon Lookout
    for Equipment
    AWS AI/ML サービス全体像
    NEW
    Amazon
    HealthLake
    HEALTH AI
    NEW
    Amazon Lookout
    for Metrics
    ANOMALY DETECTION
    Amazon
    Transcribe
    Medical
    Amazon
    Comprehend
    Medical
    Amazon
    SageMaker
    Label
    data
    NEW
    Aggregate &
    prepare data
    NEW
    Store & share
    features
    Auto ML Spark/R
    NEW
    Detect
    bias
    Visualize in
    notebooks
    Pick
    algorithm
    Train
    models
    Tune
    parameters
    NEW
    Debug &
    profile
    Deploy and
    predict in
    production
    Manage
    & monitor
    NEW
    CI/CD
    Human
    review
    NEW: Model management for edge devices
    NEW: SageMaker JumpStart
    SAGEMAKER STUDIO IDE
    AI サービス: 機械学習の深い知識なしに利⽤可能
    ML サービス: 機械学習のプロセス全体を効率化するマネージドサービス
    ML フレームワークとインフラストラクチャ: 機械学習の環境を⾃在に構築して利⽤

    View full-size slide

  19. Amazon SageMaker overview
    PREPARE
    SageMaker Ground Truth
    Label training data for machine learning
    SageMaker Data Wrangler NEW
    Aggregate and prepare data for
    machine learning
    SageMaker Processing
    Built-in Python, BYO R/Spark
    SageMaker Feature Store NEW
    Store, update, retrieve, and share features
    SageMaker Clarify NEW
    Detect bias and understand
    model predictions
    BUILD
    SageMaker Studio Notebooks
    Jupyter notebooks with elastic compute and
    sharing
    Built-in and Bring
    your-own Algorithms
    Dozens of optimized algorithms or bring your
    own
    Local Mode
    Test and prototype on your local machine
    SageMaker Autopilot
    Automatically create machine learning models
    with full visibility
    SageMaker JumpStart NEW
    Pre-built solutions for common use cases
    TRAIN & TUNE
    Managed Training
    Distributed infrastructure management
    SageMaker Experiments
    Capture, organize, and compare
    every step
    Automatic
    Model Tuning
    Hyperparameter optimization
    Distributed Training NEW
    Training for large datasets
    and models
    SageMaker Debugger NEW
    Debug and profile training runs
    Managed Spot Training
    Reduce training cost by 90%
    DEPLOY & MANAGE
    Managed Deployment
    Fully managed, ultra low latency,
    high throughput
    Kubernetes & Kubeflow
    Integration
    Simplify Kubernetes-based
    machine learning
    Multi-Model Endpoints
    Reduce cost by hosting multiple models
    per instance
    SageMaker Model Monitor
    Maintain accuracy of deployed models
    SageMaker Edge Manager NEW
    Manage and monitor models on
    edge devices
    SageMaker Pipelines NEW
    Workflow orchestration and automation
    Amazon SageMaker
    SageMaker Studio
    Integrated development environment (IDE) for ML

    View full-size slide

  20. Amazon SageMaker Studio
    • Amazon SageMaker Studio は
    機械学習のための統合開発環境 (IDE)
    − サーバレスノートブック
    − ノートブックのシェアによる共同開発
    • SageMaker Python SDK で学習・推論の実行
    − TensorFlow, PyTroch など深層学習用イメージが
    用意されており、コンテナ持ち込みも可能
    − 実験管理・モデルレジストリ
    − 推論時の定常的なモデル監視と分析
    • 東京リージョンでも利用可能

    View full-size slide

  21. Amazon SageMaker Data Wrangler
    • 迅速かつ容易に機械学習のためのデータを準備
    • SageMaker Studio IDE の UI で利用可能
    − S3, Athena, Redshift, SageMaker Feature Store など複数データソースから SageMaker にデータを直接インポート
    − 1クリックでデータ選択、クエリ、データ変換、可視化等を行う
    • 300以上の組み込み変換処理を利用してコード記述なしに処理

    View full-size slide

  22. SageMaker Autopilot
    • モデルの自動生成を、可視性と制御性を保ちながら可能にする AutoML ツール
    クイックスタート
    表形式のデータを与えて
    予測したい列を指定
    モデルの⾃動⽣成
    特徴量エンジニアリングと
    モデルチューニングを
    ⾃動的に完了
    可視性と制御性
    モデルとソースコードを
    ノートブックの形で提供
    最適化
    モデルの継続的な更新

    View full-size slide

  23. Amazon SageMaker Autopilot で回帰・分類モデルの生成
    複数トレーニング
    ジョブを実⾏し
    モデルのチューニング
    完了したジョブと
    メトリクス
    データ分析
    特徴量
    エンジニアリング
    モデル
    チューニング
    モデル完成
    エンドポイント

    View full-size slide

  24. Amazon SageMaker JumpStart
    • 機械学習アプリケーションを簡単かつ迅速に市場投入
    • Solutions:
    − 15以上の一般的なユースケースに対し、
    カスタム可能な構築済みソリューションを提供
    • Model Zoo (Text/Vision models):
    − 150を超える有名 OSS モデルを
    ワンクリックでデプロイ。転移学習も可能
    • Built-in Algorithm (SageMaker Algorithm):
    − SageMaker で利用可能な
    ビルトインアルゴリズムを即座に利用可能
    • その他サンプル Notebook やチュートリアルに簡単アクセス

    View full-size slide

  25. Demo (Examples)

    View full-size slide

  26. Music Streaming Service: Customer Churn Detection
    • https://sagemaker-examples.readthedocs.io/en/latest/use-cases/index.html
    • 音楽ストリーミングサービスでの Churn を予測するという問題設定。
    • 人工的に生成したデータを利用 (実際のユーザーデータは含まない)。

    View full-size slide

  27. XGBoost による顧客離反分析 (Churn Analysis)
    • https://github.com/aws-samples/amazon-sagemaker-examples-
    jp/blob/master/xgboost_customer_churn/xgboost_customer_churn.ipynb

    View full-size slide

  28. Churn Prediction with Text
    • SageMaker JumpStart > Solutions

    View full-size slide

  29. まとめ
    • User Churn はスタートアップ、特にサブスクリプションビジネスにとって重要な指標
    • Gross User Churn と個別のユーザーに対する Churn 予測について紹介
    • SageMaker で前処理、モデル作成、AutoML などが簡単に利用できる
    − SageMaker Studio, SageMaker Data Wrangler, SageMaker Autopilot

    View full-size slide

  30. Thank you
    © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    @_hariby

    View full-size slide