Upgrade to Pro — share decks privately, control downloads, hide ads and more …

創業期のスタートアップが押さえるべき技術課題 (応用編) / Startup CTO Dojo

創業期のスタートアップが押さえるべき技術課題 (応用編) / Startup CTO Dojo

Yoshitaka Haribara

July 27, 2022
Tweet

More Decks by Yoshitaka Haribara

Other Decks in Technology

Transcript

  1. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    創業期のスタートアップが
    押さえるべき技術課題 (応用編)
    Sr. ML/Quantum Startup Solutions Architect, AWS Japan
    Yoshitaka Haribara, Ph.D. @_hariby
    Startup CTO Dojo, 2022-07-27 at AWS Startup Loft Tokyo

    View full-size slide

  2. Yoshitaka Haribara, Ph.D. @_hariby
    Sr. ML/Quantum Startup Solutions Architect
    Tokyo, Japan 🇯🇵‍
    大阪府出身
    → 東大 情報理工 博士課程
    量子コンピュータと組合せ最適化
    アクセラレータプログラムで音声認識スタートアップ
    → AWS スタートアップ担当 Solutions Architect (SA)
    機械学習や量子コンピューティングにフォーカス
    好きな AWS サービスは
    Amazon Braket

    View full-size slide

  3. 問い:
    自分たちのプロダクトに
    機械学習は必要か?
    (機械学習は題材なので、必要に応じて読み替え)

    View full-size slide

  4. 8月号
    AWS テクノロジー講座 第4回
    機械学習の導入やサービス選定
    にあたっての考え方
    9月号
    AWS テクノロジー講座 第5回
    継続的にモデルを改善し続ける
    ための機械学習基盤
    10月号
    AWS テクノロジー講座 最終回
    機械学習のパフォーマンス向上
    のための技術
    Software Design の連載記事
    「スタートアップのための AWS テクノロジー講座」 (2020年)

    View full-size slide

  5. 1. Working Backwards
    2. Data-driven Decision
    3. Trusted Advisor: AWS Startup SA
    本セッションのメッセージ

    View full-size slide

  6. 1. Working Backwards

    View full-size slide

  7. Hama さんセッションでの Key Messages
    • Undifferentiated Heavy Lifting を避ける
    • One-way/Two-way Door を意識する
    • Design for Failure で設計する
    → これがサービス構築の基本となる考え方
    • 次に出てくる疑問
    「どういう方向でサービスを成長させていけばいいか?」

    View full-size slide

  8. 「どういう方向でサービスを成長させていけばいいか!?」
    • 例: Amazon が提供する中核的な価値
    − 料金 (安い)・利便性 (速い)・選択肢 (豊富な品揃え)
    • 参考: Amazon/AWS のやり方は、顧客中心のイノベーション
    https://aws.amazon.com/jp/executive-insights/content/the-imperatives-of-customer-
    centric-innovation/
    − “Working Backwards”

    View full-size slide

  9. Working Backwards: 5つの問いかけ
    1. 対象となるお客様は誰ですか?
    2. お客様が抱える課題や改善点は明確ですか?
    3. お客様が受けるメリットは明確ですか?
    4. お客様のニーズをどのように把握しますか?
    5. ユーザー体験はどのようなものになりますか?

    View full-size slide

  10. 14
    機械学習を利⽤し、
    チャネルやデバイスを
    またいで、洗練された
    ユニークな体験を顧客
    に提供
    2021
    最初にリリースされた「おすすめ」機能
    Amazon における先駆的なパーソナライゼーション
    20年以上にわたる進化の過程
    1998

    View full-size slide

  11. 63%
    消費者は「パーソナライゼーション」を
    サービスの標準レベルと⾒なしています
    の消費者は、その人に合わせた
    ユーザー体験を期待しています
    *ソース: https://www.business2community.com/marketing/30-amazing-personalization-statistics-02289044

    View full-size slide

  12. Amazon Personalize
    機械学習の専門知識を必要とせず、
    パーソナライズされたユーザーエクスペリエンスを創出
    パーソナライズされた
    ユーザ体験をすばやく提供
    リアルタイムのリコメンデーション
    機能を使って、ユーザーインテントの
    変更に素早く対応
    リコメンデーションをデプロ
    イするまでの⼿順は⾃動化
    既存のシステムとの統合が容易
    マネージド ML サービスは
    市場投⼊までの時間を短縮

    View full-size slide

  13. 部屋のレイアウトや⼤型家具、
    ⼩物・雑貨など 500 万枚以上
    の写真を掲載する⽇本最⼤の部
    屋のインテリア実例共有サイ
    ト ”RoomClip” 内でおすすめの
    投稿をユーザーに表⽰する機能
    を実現するために、Amazon
    Personalize を導⼊
    コーディネートや⼝コミから
    アイテムを簡単に探せる・買
    えるショッピング SNS ”PARTE”
    でおすすめのアイテムやユー
    ザーを表⽰するために、
    Amazon Personalize を使⽤し
    てレコメンド
    グルメコミュニティアプリ
    “SARAH” のユーザーにおすす
    めの投稿を表⽰するために、
    Amazon Personalize を使⽤し
    てレコメンド
    スタートアップの Amazon Personalize 事例
    機能のリリース後にユーザーの反応が⼤きく改善。アプリのホーム画⾯に
    表⽰された投稿のクリック率 (CTR) が、導⼊前後で最⼤ 3.78 倍ほど増加

    View full-size slide

  14. 冒頭の問いに対する回答
    • 問い: 自分たちのプロダクトに機械学習は必要か?
    − 回答: (創業期のスタートアップであれば、)
    プロダクトのコアな価値として既に利用していないなら今はまだ必要ない。
    ただし、機能追加は 2-way door な意思決定なので、必要そうな時がきたら試してみるのがオススメ。
    • 背景: 機械学習プロジェクトは ROI (投資対効果) の見積もりが難しい
    − 特に、機能開発前に予め ROI を知ることは難しい
    − そして、「試しに導入してみたけど、やっぱりやめました」となるケースが多い
    − これは新規技術の導入全般で見られる傾向で、カルチャーだけでなく戦略が必要
    • そもそもプロダクトのコアな価値として機械学習を位置付けているなら、既に取り入れているはず
    − その場合、利用価値も検討済みなので、 (Amazon SageMaker などを利用して) 機能開発に専念
    − 新規で機能開発するなら、ROI の評価以前に、効果測定ができる環境が整っているか?
    • 精度のよい見積もりのために、ビジネスメトリクスとの紐付けが必要

    View full-size slide

  15. 2. Data-driven Decision

    View full-size slide

  16. 結局何を測れば良いか?
    • メトリクスはビジネスモデルに依存する
    1. 大企業向け
    2. (B-to-B) SaaS
    3. 従量課金
    4. (B-to-C) サブスクリプション
    5. トランザクション型
    6. マーケットプレイス型
    7. EC
    8. 広告
    9. ハードウェア
    Reference: Any Hariharan, Y Combinator Startup School https://review.foundx.jp/entry/nine-business-models-and-the-metrics

    View full-size slide

  17. 例: B-to-B SaaS ビジネス
    • B-to-B SaaS の例
    − Business EC, CRM, Marketing/Mar-Tech, クラウドコンピューティング、ビデオ会議、データ分
    析・可視化ツール, etc.
    • B-to-B SaaS ビジネスで重要な KPI
    − Monthly Recurring Revenue (MRR)
    − Annual Recurring Revenue (ARR)
    − Gross MRR Churn
    − Paid Customer Acquisition Cost (CAC)
    Reference: Any Hariharan, Y Combinator Startup School https://review.foundx.jp/entry/nine-business-models-and-the-metrics

    View full-size slide

  18. 例: B-to-C サブスクリプションビジネス
    • サブスクリプションビジネスの例
    − 電話・通信会社 (有線、携帯、インターネット, etc.)
    − サブスクリプション型のメディア (ニュース、ブログ, etc.)
    − 音楽・動画ストリーミング
    • サブスクリプションビジネスで重要な KPI
    − Monthly Recurring Revenue (MRR)
    − MRR Compounded Monthly Growth Rate (CMGR)
    − Gross User Churn
    − Paid Customer Acquisition Cost (CAC)
    Reference: Any Hariharan, Y Combinator Startup School https://review.foundx.jp/entry/nine-business-models-and-the-metrics

    View full-size slide

  19. 16 Startup Metrics
    by Jeff Jordan, Anu Hariharan, Frank Chen, and Preethi Kasireddy, a16z
    https://a16z.com/2015/08/21/16-metrics/

    View full-size slide

  20. (part 1/3) Business and Financial Metrics
    • #1 Bookings (受注額) vs. Revenue (収益)
    • #2 Recurring Revenue vs. Total Revenue
    − e.g. ARR (Annual Recurring Revenue), MRR (Monthly Recurring Revenue)
    • #3 Gross Profit (粗利)
    • #4 Total Contract Value (TCV, 合計契約金額) vs. Annual Contract Value (ACV, 年間〃)
    • #5 LTV (Life Time Value)
    − LTV = (Contribution margin per customer) x (the avg. life span of customer).
    § avg. life span of customer (in months) = 1 / (your monthly churn).
    • #6 Gross Merchandise Value (GMV, 流通取引総額) vs. Revenue
    • #7 Unearned or Deferred Revenue (前受収益) … and Billings (請求額)
    • #8 CAC (Customer Acquisition Cost) … Blended vs. Paid, Organic vs. Inorganic

    View full-size slide

  21. (part 2/3) Product and Engagement Metrics
    • #9 Active Users
    • #10 Month-on-Month (MoM) growth
    − Compounded Monthly Growth Rate (CMGR) = (Latest Month/First Month)^(1/# of Months) -1
    • #11 Churn (チャーン、離脱)
    − Churn にも色々あるので後述
    • #12 Burn Rate
    • #13 Downloads
    − アプリのダウンロード数のような単純な指標ではなく Engagement を見るべき
    § Engagement 例: DAU (daily active users), MAU (monthly active users), photos shared, photos viewed, etc.

    View full-size slide

  22. (part 3/3) Presenting Metrics Generally
    • #14 Cumulative Charts (vs. Growth Metrics)
    − 累積ではなく monthly GMV, monthly revenue, or new users/customers per month を見るべき
    • #15 Chart Tricks
    − 変な図 (3D, y軸のスケール, 割合だけ出す) でごまかさない
    • #16 Order of Operations
    − ビジネスの規模感 (GMV, revenue, bookings) → 成長率の順に説明するといい

    View full-size slide

  23. クラウド時代の BI サービス Amazon QuickSight

    View full-size slide

  24. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
    Amazon
    OpenSearch
    Service
    Amazon
    Aurora
    Amazon
    EMR
    Amazon
    SageMaker
    Amazon
    DynamoDB
    Amazon
    Redshift
    AWSでの
    Amazon S3

    View full-size slide

  25. チャーン予測 on AWS

    View full-size slide

  26. チャーンにも色々あるが、大きく分けると2つ
    • ユーザー数で測るチャーン
    − Gross user churn: [(Total lost customers) in a given period]/(prior period total customers)
    § ある時期の利用者数と、失ったユーザー数の比
    − Monthly unit churn = (lost customers)/(prior month total)
    § 上記を月単位で見たもの
    − Retention by cohort
    § 初月から残ったユーザーの割合を見る
    § Month 1 = 100% of installed base
    § Latest Month = % of original installed base that are still transacting
    • 金額ベースで測るチャーン
    − Gross churn: (MRR lost in a given month)/(MRR at the beginning of the month)
    § その月に失った MRR の割合
    − Net revenue churn: [(MRR lost - MRR from upsells) in a given month]/(MRR at the beginning of the
    month)
    § Upsell の影響を考慮

    View full-size slide

  27. Gross user churn
    • Gross user churn = L/U
    − U = A + L
    失ったユーザー
    (L: Lost)
    ある期間の
    ユーザー
    (U: User) 継続利用
    (A: Active)

    View full-size slide

  28. 個別の User Churn
    • ある特定のユーザーはチャーン (離脱) するか?サブスクリプションを解消するか?
    • このユーザーは下位グレードのプランに移行するか?
    失ったユーザー
    (L: Lost)
    ある期間の
    ユーザー
    (U: User) 継続利用
    (A: Active)

    View full-size slide

  29. 機械学習としての定式化
    • 「このーザーはチャーン (離脱) するか? 」
    − 離脱する・しないの2値分類問題として解く
    − 離脱しそうなユーザーを発見し、対策を打つことができると良い
    User2
    Churn: False
    User1
    Churn: True
    User3
    Churn: False

    View full-size slide

  30. AWS ML スタック
    最も広範な機械学習の機能群
    36
    AI SERVICES
    Code + DevOps
    Amazon CodeGuru
    Amazon DevOps Guru
    Amazon CodeWhisperer
    Business processes
    Amazon Personalize
    Amazon Forecast
    Amazon Fraud Detector
    Amazon Lookout for Metrics
    Search
    Amazon Kendra
    Industrial
    Amazon Monitron
    Amazon Lookout for Equipment
    Amazon Lookout for Vision
    Healthcare
    Amazon HealthLake
    Amazon Comprehend Medical
    Amazon Transcribe Medical
    SPECIALIZED
    Chatbots
    Amazon Lex
    Text & Documents
    Amazon Translate
    Amazon Comprehend
    Amazon Textract
    Speech
    Amazon Polly
    Amazon Transcribe
    Amazon Transcribe Call Analytics
    Vision
    Amazon Rekognition
    AWS Panorama
    CORE
    ML SERVICES Manage
    edge devices
    Learn
    ML
    No-code ML
    for business
    analysts
    Prepare
    data
    Store
    features
    Detect
    bias
    Build with
    notebooks
    Manage
    & monitor
    Train
    models
    Deploy in
    production
    Tune
    parameters
    Explain
    predictions
    CI/CD
    Label
    data
    SAGEMAKER
    CANVAS
    SAGEMAKER
    STUDIO LAB
    AMAZON SAGEMAKER STUDIO IDE
    ML FRAMEWORKS
    & INFRASTRUCTURE
    PyTorch, Apache
    MXNet, TensorFlow
    Amazon EC2 CPUs GPUs AWS Trainium
    Elastic
    inference
    AWS Inferentia FPGA
    Habana
    Gaudi

    View full-size slide

  31. SageMaker Autopilot
    モデルの自動生成を、可視性と制御性を保ちながら可能にする AutoML ツール
    クイックスタート
    表形式のデータを与えて
    予測したい列を指定
    モデルの⾃動⽣成
    特徴量エンジニアリングと
    モデルチューニングを
    ⾃動的に完了
    可視性と制御性
    モデルとソースコードを
    ノートブックの形で提供
    最適化
    モデルの継続的な更新

    View full-size slide

  32. Amazon SageMaker Autopilot で回帰・分類モデルの生成
    複数トレーニング
    ジョブを実⾏し
    モデルのチューニング
    完了したジョブと
    メトリクス
    データ分析
    特徴量
    エンジニアリング
    モデル
    チューニング
    モデル完成
    エンドポイント

    View full-size slide

  33. Music Streaming Service: Customer Churn Detection
    • https://sagemaker-examples.readthedocs.io/en/latest/use-cases/index.html
    • 音楽ストリーミングサービスでのチャーンを予測するという問題設定。
    • 人工的に生成したデータを利用 (実際のユーザーデータは含まない)。

    View full-size slide

  34. XGBoost による顧客離反分析 (Churn Analysis)
    • https://github.com/aws-samples/amazon-sagemaker-examples-
    jp/blob/master/xgboost_customer_churn/xgboost_customer_churn.ipynb
    • 携帯電話会社の契約データを利用した、顧客離反分析

    View full-size slide

  35. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
    A M A Z O N
    A T H E N A M L
    データベース ビジネス・インテリジ
    ェンス・ツール
    データウェアハウス
    + データレイク
    AWSは機械学習をよりデータに近づける
    A M A Z O N
    R E D S H I F T M L
    A M A Z O N
    N E P T U N E M L
    A M A Z O N
    A U R O R A M L
    A M A Z O N
    Q U I C K S I G H T M L

    View full-size slide

  36. AWS ML スタック
    最も広範な機械学習の機能群
    43
    AI SERVICES
    Code + DevOps
    Amazon CodeGuru
    Amazon DevOps Guru
    Amazon CodeWhisperer
    Business processes
    Amazon Personalize
    Amazon Forecast
    Amazon Fraud Detector
    Amazon Lookout for Metrics
    Search
    Amazon Kendra
    Industrial
    Amazon Monitron
    Amazon Lookout for Equipment
    Amazon Lookout for Vision
    Healthcare
    Amazon HealthLake
    Amazon Comprehend Medical
    Amazon Transcribe Medical
    SPECIALIZED
    Chatbots
    Amazon Lex
    Text & Documents
    Amazon Translate
    Amazon Comprehend
    Amazon Textract
    Speech
    Amazon Polly
    Amazon Transcribe
    Amazon Transcribe Call Analytics
    Vision
    Amazon Rekognition
    AWS Panorama
    CORE
    ML SERVICES Manage
    edge devices
    Learn
    ML
    No-code ML
    for business
    analysts
    Prepare
    data
    Store
    features
    Detect
    bias
    Build with
    notebooks
    Manage
    & monitor
    Train
    models
    Deploy in
    production
    Tune
    parameters
    Explain
    predictions
    CI/CD
    Label
    data
    SAGEMAKER
    CANVAS
    SAGEMAKER
    STUDIO LAB
    AMAZON SAGEMAKER STUDIO IDE
    ML FRAMEWORKS
    & INFRASTRUCTURE
    PyTorch, Apache
    MXNet, TensorFlow
    Amazon EC2 CPUs GPUs AWS Trainium
    Elastic
    inference
    AWS Inferentia FPGA
    Habana
    Gaudi

    View full-size slide

  37. Amazon SageMaker Studio Lab (CPU/GPU 無料の機械学習環境)

    View full-size slide

  38. • Solutions Architect (SA) は、皆さんのビジネス的な問題をヒアリングし、技術的な課題に
    落とし込む手伝いや、(AWS サービスだけに限らず) アーキテクチャとして解決するための
    ディスカッションができる相手です。
    • もちろん、適切な AWS サービスの組み合わせた AWS の使い方なども提案しますし、とき
    にはサービスに対するフィードバックを取り入れるための窓口になります。
    • 皆さんの信頼できるビジネスパートナー・エンジニア仲間になることを目指しています。
    気軽に会場や Twitter などで話しかけて下さい!
    AWS Startup SA

    View full-size slide

  39. Thank you
    © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
    @_hariby

    View full-size slide