© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 創業期のスタートアップが 押さえるべき技術課題 (応用編) Sr. ML/Quantum Startup Solutions Architect, AWS Japan Yoshitaka Haribara, Ph.D. @_hariby Startup CTO Dojo, 2022-07-27 at AWS Startup Loft Tokyo

Yoshitaka Haribara, Ph.D. @_hariby Sr. ML/Quantum Startup Solutions Architect Tokyo, Japan 🇯🇵‍ 大阪府出身 → 東大 情報理工 博士課程 量子コンピュータと組合せ最適化 アクセラレータプログラムで音声認識スタートアップ → AWS スタートアップ担当 Solutions Architect (SA) 機械学習や量子コンピューティングにフォーカス 好きな AWS サービスは Amazon Braket

問い: 自分たちのプロダクトに 機械学習は必要か？ (機械学習は題材なので、必要に応じて読み替え)

8月号 AWS テクノロジー講座 第4回 機械学習の導入やサービス選定 にあたっての考え方 9月号 AWS テクノロジー講座 第5回 継続的にモデルを改善し続ける ための機械学習基盤 10月号 AWS テクノロジー講座 最終回 機械学習のパフォーマンス向上 のための技術 Software Design の連載記事 「スタートアップのための AWS テクノロジー講座」 (2020年)

1. Working Backwards 2. Data-driven Decision 3. Trusted Advisor: AWS Startup SA 本セッションのメッセージ

1. Working Backwards

Hama さんセッションでの Key Messages • Undifferentiated Heavy Lifting を避ける • One-way/Two-way Door を意識する • Design for Failure で設計する → これがサービス構築の基本となる考え方 • 次に出てくる疑問 「どういう方向でサービスを成長させていけばいいか？」

「どういう方向でサービスを成長させていけばいいか！？」 • 例: Amazon が提供する中核的な価値 − 料金 (安い)・利便性 (速い)・選択肢 (豊富な品揃え) • 参考: Amazon/AWS のやり方は、顧客中心のイノベーション https://aws.amazon.com/jp/executive-insights/content/the-imperatives-of-customer- centric-innovation/ − “Working Backwards”

Working Backwards: 5つの問いかけ 1. 対象となるお客様は誰ですか？ 2. お客様が抱える課題や改善点は明確ですか？ 3. お客様が受けるメリットは明確ですか？ 4. お客様のニーズをどのように把握しますか？ 5. ユーザー体験はどのようなものになりますか？

14 機械学習を利⽤し、 チャネルやデバイスを またいで、洗練された ユニークな体験を顧客 に提供 2021 最初にリリースされた「おすすめ」機能 Amazon における先駆的なパーソナライゼーション 20年以上にわたる進化の過程 1998

63% 消費者は「パーソナライゼーション」を サービスの標準レベルと⾒なしています の消費者は、その人に合わせた ユーザー体験を期待しています *ソース: https://www.business2community.com/marketing/30-amazing-personalization-statistics-02289044

Amazon Personalize 機械学習の専門知識を必要とせず、 パーソナライズされたユーザーエクスペリエンスを創出 パーソナライズされた ユーザ体験をすばやく提供 リアルタイムのリコメンデーション 機能を使って、ユーザーインテントの 変更に素早く対応 リコメンデーションをデプロ イするまでの⼿順は⾃動化 既存のシステムとの統合が容易 マネージド ML サービスは 市場投⼊までの時間を短縮

部屋のレイアウトや⼤型家具、 ⼩物・雑貨など 500 万枚以上 の写真を掲載する⽇本最⼤の部 屋のインテリア実例共有サイ ト ”RoomClip” 内でおすすめの 投稿をユーザーに表⽰する機能 を実現するために、Amazon Personalize を導⼊ コーディネートや⼝コミから アイテムを簡単に探せる・買 えるショッピング SNS ”PARTE” でおすすめのアイテムやユー ザーを表⽰するために、 Amazon Personalize を使⽤し てレコメンド グルメコミュニティアプリ “SARAH” のユーザーにおすす めの投稿を表⽰するために、 Amazon Personalize を使⽤し てレコメンド スタートアップの Amazon Personalize 事例 機能のリリース後にユーザーの反応が⼤きく改善。アプリのホーム画⾯に 表⽰された投稿のクリック率 (CTR) が、導⼊前後で最⼤ 3.78 倍ほど増加

冒頭の問いに対する回答 • 問い: 自分たちのプロダクトに機械学習は必要か？ − 回答: (創業期のスタートアップであれば、) プロダクトのコアな価値として既に利用していないなら今はまだ必要ない。 ただし、機能追加は 2-way door な意思決定なので、必要そうな時がきたら試してみるのがオススメ。 • 背景: 機械学習プロジェクトは ROI (投資対効果) の見積もりが難しい − 特に、機能開発前に予め ROI を知ることは難しい − そして、「試しに導入してみたけど、やっぱりやめました」となるケースが多い − これは新規技術の導入全般で見られる傾向で、カルチャーだけでなく戦略が必要 • そもそもプロダクトのコアな価値として機械学習を位置付けているなら、既に取り入れているはず − その場合、利用価値も検討済みなので、 (Amazon SageMaker などを利用して) 機能開発に専念 − 新規で機能開発するなら、ROI の評価以前に、効果測定ができる環境が整っているか？ • 精度のよい見積もりのために、ビジネスメトリクスとの紐付けが必要

2. Data-driven Decision

結局何を測れば良いか？ • メトリクスはビジネスモデルに依存する 1. 大企業向け 2. (B-to-B) SaaS 3. 従量課金 4. (B-to-C) サブスクリプション 5. トランザクション型 6. マーケットプレイス型 7. EC 8. 広告 9. ハードウェア Reference: Any Hariharan, Y Combinator Startup School https://review.foundx.jp/entry/nine-business-models-and-the-metrics

例: B-to-B SaaS ビジネス • B-to-B SaaS の例 − Business EC, CRM, Marketing/Mar-Tech, クラウドコンピューティング、ビデオ会議、データ分 析・可視化ツール, etc. • B-to-B SaaS ビジネスで重要な KPI − Monthly Recurring Revenue (MRR) − Annual Recurring Revenue (ARR) − Gross MRR Churn − Paid Customer Acquisition Cost (CAC) Reference: Any Hariharan, Y Combinator Startup School https://review.foundx.jp/entry/nine-business-models-and-the-metrics

例: B-to-C サブスクリプションビジネス • サブスクリプションビジネスの例 − 電話・通信会社 (有線、携帯、インターネット, etc.) − サブスクリプション型のメディア (ニュース、ブログ, etc.) − 音楽・動画ストリーミング • サブスクリプションビジネスで重要な KPI − Monthly Recurring Revenue (MRR) − MRR Compounded Monthly Growth Rate (CMGR) − Gross User Churn − Paid Customer Acquisition Cost (CAC) Reference: Any Hariharan, Y Combinator Startup School https://review.foundx.jp/entry/nine-business-models-and-the-metrics

16 Startup Metrics by Jeff Jordan, Anu Hariharan, Frank Chen, and Preethi Kasireddy, a16z https://a16z.com/2015/08/21/16-metrics/

(part 1/3) Business and Financial Metrics • #1 Bookings (受注額) vs. Revenue (収益) • #2 Recurring Revenue vs. Total Revenue − e.g. ARR (Annual Recurring Revenue), MRR (Monthly Recurring Revenue) • #3 Gross Profit (粗利) • #4 Total Contract Value (TCV, 合計契約金額) vs. Annual Contract Value (ACV, 年間〃) • #5 LTV (Life Time Value) − LTV = (Contribution margin per customer) x (the avg. life span of customer). § avg. life span of customer (in months) = 1 / (your monthly churn). • #6 Gross Merchandise Value (GMV, 流通取引総額) vs. Revenue • #7 Unearned or Deferred Revenue (前受収益) … and Billings (請求額) • #8 CAC (Customer Acquisition Cost) … Blended vs. Paid, Organic vs. Inorganic

(part 2/3) Product and Engagement Metrics • #9 Active Users • #10 Month-on-Month (MoM) growth − Compounded Monthly Growth Rate (CMGR) = (Latest Month/First Month)^(1/# of Months) -1 • #11 Churn (チャーン、離脱) − Churn にも色々あるので後述 • #12 Burn Rate • #13 Downloads − アプリのダウンロード数のような単純な指標ではなく Engagement を見るべき § Engagement 例: DAU (daily active users), MAU (monthly active users), photos shared, photos viewed, etc.

(part 3/3) Presenting Metrics Generally • #14 Cumulative Charts (vs. Growth Metrics) − 累積ではなく monthly GMV, monthly revenue, or new users/customers per month を見るべき • #15 Chart Tricks − 変な図 (3D, y軸のスケール, 割合だけ出す) でごまかさない • #16 Order of Operations − ビジネスの規模感 (GMV, revenue, bookings) → 成長率の順に説明するといい

クラウド時代の BI サービス Amazon QuickSight

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon OpenSearch Service Amazon Aurora Amazon EMR Amazon SageMaker Amazon DynamoDB Amazon Redshift AWSでの Amazon S3

チャーン予測 on AWS

チャーンにも色々あるが、大きく分けると2つ • ユーザー数で測るチャーン − Gross user churn: [(Total lost customers) in a given period]/(prior period total customers) § ある時期の利用者数と、失ったユーザー数の比 − Monthly unit churn = (lost customers)/(prior month total) § 上記を月単位で見たもの − Retention by cohort § 初月から残ったユーザーの割合を見る § Month 1 = 100% of installed base § Latest Month = % of original installed base that are still transacting • 金額ベースで測るチャーン − Gross churn: (MRR lost in a given month)/(MRR at the beginning of the month) § その月に失った MRR の割合 − Net revenue churn: [(MRR lost - MRR from upsells) in a given month]/(MRR at the beginning of the month) § Upsell の影響を考慮

Gross user churn • Gross user churn = L/U − U = A + L 失ったユーザー (L: Lost) ある期間の ユーザー (U: User) 継続利用 (A: Active)

個別の User Churn • ある特定のユーザーはチャーン (離脱) するか？サブスクリプションを解消するか？ • このユーザーは下位グレードのプランに移行するか？ 失ったユーザー (L: Lost) ある期間の ユーザー (U: User) 継続利用 (A: Active)

機械学習としての定式化 • 「このーザーはチャーン (離脱) するか？ 」 − 離脱する・しないの2値分類問題として解く − 離脱しそうなユーザーを発見し、対策を打つことができると良い User2 Churn: False User1 Churn: True User3 Churn: False

AWS ML スタック 最も広範な機械学習の機能群 36 AI SERVICES Code + DevOps Amazon CodeGuru Amazon DevOps Guru Amazon CodeWhisperer Business processes Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon Lookout for Metrics Search Amazon Kendra Industrial Amazon Monitron Amazon Lookout for Equipment Amazon Lookout for Vision Healthcare Amazon HealthLake Amazon Comprehend Medical Amazon Transcribe Medical SPECIALIZED Chatbots Amazon Lex Text & Documents Amazon Translate Amazon Comprehend Amazon Textract Speech Amazon Polly Amazon Transcribe Amazon Transcribe Call Analytics Vision Amazon Rekognition AWS Panorama CORE ML SERVICES Manage edge devices Learn ML No-code ML for business analysts Prepare data Store features Detect bias Build with notebooks Manage & monitor Train models Deploy in production Tune parameters Explain predictions CI/CD Label data SAGEMAKER CANVAS SAGEMAKER STUDIO LAB AMAZON SAGEMAKER STUDIO IDE ML FRAMEWORKS & INFRASTRUCTURE PyTorch, Apache MXNet, TensorFlow Amazon EC2 CPUs GPUs AWS Trainium Elastic inference AWS Inferentia FPGA Habana Gaudi

SageMaker Autopilot モデルの自動生成を、可視性と制御性を保ちながら可能にする AutoML ツール クイックスタート 表形式のデータを与えて 予測したい列を指定 モデルの⾃動⽣成 特徴量エンジニアリングと モデルチューニングを ⾃動的に完了 可視性と制御性 モデルとソースコードを ノートブックの形で提供 最適化 モデルの継続的な更新

Amazon SageMaker Autopilot で回帰・分類モデルの生成 複数トレーニング ジョブを実⾏し モデルのチューニング 完了したジョブと メトリクス データ分析 特徴量 エンジニアリング モデル チューニング モデル完成 エンドポイント

Music Streaming Service: Customer Churn Detection • https://sagemaker-examples.readthedocs.io/en/latest/use-cases/index.html • 音楽ストリーミングサービスでのチャーンを予測するという問題設定。 • 人工的に生成したデータを利用 (実際のユーザーデータは含まない)。

XGBoost による顧客離反分析 (Churn Analysis) • https://github.com/aws-samples/amazon-sagemaker-examples- jp/blob/master/xgboost_customer_churn/xgboost_customer_churn.ipynb • 携帯電話会社の契約データを利用した、顧客離反分析

© 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. A M A Z O N A T H E N A M L データベース ビジネス・インテリジ ェンス・ツール データウェアハウス + データレイク AWSは機械学習をよりデータに近づける A M A Z O N R E D S H I F T M L A M A Z O N N E P T U N E M L A M A Z O N A U R O R A M L A M A Z O N Q U I C K S I G H T M L

AWS ML スタック 最も広範な機械学習の機能群 43 AI SERVICES Code + DevOps Amazon CodeGuru Amazon DevOps Guru Amazon CodeWhisperer Business processes Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon Lookout for Metrics Search Amazon Kendra Industrial Amazon Monitron Amazon Lookout for Equipment Amazon Lookout for Vision Healthcare Amazon HealthLake Amazon Comprehend Medical Amazon Transcribe Medical SPECIALIZED Chatbots Amazon Lex Text & Documents Amazon Translate Amazon Comprehend Amazon Textract Speech Amazon Polly Amazon Transcribe Amazon Transcribe Call Analytics Vision Amazon Rekognition AWS Panorama CORE ML SERVICES Manage edge devices Learn ML No-code ML for business analysts Prepare data Store features Detect bias Build with notebooks Manage & monitor Train models Deploy in production Tune parameters Explain predictions CI/CD Label data SAGEMAKER CANVAS SAGEMAKER STUDIO LAB AMAZON SAGEMAKER STUDIO IDE ML FRAMEWORKS & INFRASTRUCTURE PyTorch, Apache MXNet, TensorFlow Amazon EC2 CPUs GPUs AWS Trainium Elastic inference AWS Inferentia FPGA Habana Gaudi

Amazon SageMaker Studio Lab (CPU/GPU 無料の機械学習環境)

No content

• Solutions Architect (SA) は、皆さんのビジネス的な問題をヒアリングし、技術的な課題に 落とし込む手伝いや、(AWS サービスだけに限らず) アーキテクチャとして解決するための ディスカッションができる相手です。 • もちろん、適切な AWS サービスの組み合わせた AWS の使い方なども提案しますし、とき にはサービスに対するフィードバックを取り入れるための窓口になります。 • 皆さんの信頼できるビジネスパートナー・エンジニア仲間になることを目指しています。 気軽に会場や Twitter などで話しかけて下さい！ AWS Startup SA

Q&A

Thank you © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. @_hariby