© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. re:Cap for startups - AI/ML Yoshitaka Haribara, Ph.D. Startup Solutions Architect, AWS

Yoshitaka Haribara Startup Solutions Architect Tokyo, Japan 2018年 AWS Japan 入社。ソリューション アーキテクトとして日本のスタートアップ に対する AWS 導入支援を行っており、特に 機械学習基盤の設計・構築や、開発体制の 整備にまつわる相談を手掛ける。

8月号 AWS テクノロジー講座 第4回 機械学習の導入やサービス選定 にあたっての考え方 9月号 AWS テクノロジー講座 第5回 継続的にモデルを改善し続ける ための機械学習基盤 10月号 AWS テクノロジー講座 最終回 機械学習のパフォーマンス向上 のための技術 Software Design スタートアップのための AWS テクノロジー講座

1. 機械学習の始め方 2. AWS AI/ML サービス全体像 3. AWS re:Invent 2020 以降で発表されたアップデート Agenda

z ビジネスへのインパクト レコメンデーションによる CTR/CVR 向上や、 画像認識・音声認識を用いた作業自動化によるコスト削減。 競争力のあるエンジニア組織の構築 仮説検証を繰り返し、試行錯誤を受け入れる組織づくり。 ビジネスのドメイン知識と掛け合わせ、エンジニアの市場価値を高める。 機械学習を始めるモチベーション

機械学習導入の3ステップ ビジネス課題の特定 既存 AI/ML 技術との摺合せ 継続的な運用 • あくまでもビジネス的に インパクトのある課題、 価値が説明できる課題を選ぶ • 既存の取り組みの延長線上 でもよい。 その場合比較・評価のための 定量的な指標を決めておく • AWS AI サービスのように、 特定の応用に特化した技術を 検討し現実性を評価 • 初めから野心的すぎる目標を 立てるのは危険。できる限り 既存技術を組み合わせる ところから始める • 機械学習パイプライン構築な ど継続的な運用に耐える基盤 を整える • これら基盤を運用する期間は ML モデルの寿命よりも長い

AWS AI サービスの例 Amazon Personalize Amazon Rekognition Amazon Comprehend Amazon Polly/Transcribe Amazon.com で 使われているよ うなレコメンデ ーションの機能 を簡単に導入 物体認識、顔認証 など画像分析の サービスを API で 簡単に利用 テキストから言語、 キーワードや センチメントを分析 多言語・様々な声での 音声読み上げと、 リアルタイム・バッチ の書き起こし

VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD CONTACT CENTERS Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Trainium Inferentia FPGA DeepGraphLibrary Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Lex Amazon Personalize Amazon Forecast Amazon Comprehend +Medical Amazon Textract Amazon Kendra Amazon CodeGuru Amazon Fraud Detector Amazon Translate INDUSTRIAL AI CODE AND DEVOPS NEW Amazon DevOps Guru Voice ID For Amazon Connect Contact Lens NEW Amazon Monitron NEW AWS Panorama + Appliance NEW Amazon Lookout for Vision NEW Amazon Lookout for Equipment AWS AI/ML サービス全体像 NEW Amazon HealthLake HEALTH AI NEW Amazon Lookout for Metrics ANOMALY DETECTION Amazon Transcribe Medical Amazon Comprehend Medical Amazon SageMaker Label data NEW Aggregate & prepare data NEW Store & share features Auto ML Spark/R NEW Detect bias Visualize in notebooks Pick algorithm Train models Tune parameters NEW Debug & profile Deploy in production Manage & monitor NEW CI/CD Human review NEW: Model management for edge devices NEW: SageMaker JumpStart SAGEMAKER STUDIO IDE AI サービス: 機械学習の深い知識なしに利⽤可能 ML サービス: 機械学習のプロセス全体を効率化するマネージドサービス ML フレームワークとインフラストラクチャ: 機械学習の環境を⾃在に構築して利⽤

Amazon Lookout for Metrics • Amazon が利用するものと同じ機械学習の技術を利用し、 ビジネス上のメトリクスにおける異常値を検知 • 機械学習を利用した高精度な異常検知。 機械学習の知識なく利用可能 • 季節性のあるメトリクスにも対応し、 ビジネスの健全性チェックや 問題・改善点の抽出を高精度に実現 • S3 や RDS, Redshift, CloudWatch をはじめ SaaS からのデータも利用可能。 自動的に最も正確な予測モデルが構成される

Amazon DevOps Guru • 機械学習によりアプリケーション運用上の問題点や 改善ポイントを指摘し、可用性の向上を容易に • Amazon の経験に基づいた機械学習モデルを利用し、 通常と異なるパターンを検知。 問題の概要と根本原因の推定、時期と箇所を提示。 可能であれば修正のための推奨事項をガイド • セットアップの手間や機械学習の知識なしに 問題解決と可用性・信頼性の向上に必要な時間を削減 • 東京、バージニア、オハイオ、オレゴン、アイルランド リージョンでプレビュー利用可能

Amazon CodeGuru • Amazon CodeGuru Reviewer と Profiler が 従来のJava に加えて Python をサポート。 プレビューとして利用可能 • CodeGuru Reviewer : Python コードを解析し、 AWS がトレーニングしたモデルを用いて コードの問題や改善点を指摘 • Code Guru Profiler agent : パフォーマンス問題 を調査し解決するために利用できる エージェントで Python 3.6-3.9 をサポート。 EC2 やコンテナ、Lambda で利用可能

Amazon SageMaker に関するアップデート AWS re:Invent 2020 より抜粋

Amazon SageMaker overview PREPARE SageMaker Ground Truth Label training data for machine learning SageMaker Data Wrangler NEW Aggregate and prepare data for machine learning SageMaker Processing Built-in Python, BYO R/Spark SageMaker Feature Store NEW Store, update, retrieve, and share features SageMaker Clarify NEW Detect bias and understand model predictions BUILD SageMaker Studio Notebooks Jupyter notebooks with elastic compute and sharing Built-in and Bring your-own Algorithms Dozens of optimized algorithms or bring your own Local Mode Test and prototype on your local machine SageMaker Autopilot Automatically create machine learning models with full visibility SageMaker JumpStart NEW Pre-built solutions for common use cases TRAIN & TUNE Managed Training Distributed infrastructure management SageMaker Experiments Capture, organize, and compare every step Automatic Model Tuning Hyperparameter optimization Distributed Training NEW Training for large datasets and models SageMaker Debugger NEW Debug and profile training runs Managed Spot Training Reduce training cost by 90% DEPLOY & MANAGE Managed Deployment Fully managed, ultra low latency, high throughput Kubernetes & Kubeflow Integration Simplify Kubernetes-based machine learning Multi-Model Endpoints Reduce cost by hosting multiple models per instance SageMaker Model Monitor Maintain accuracy of deployed models SageMaker Edge Manager NEW Manage and monitor models on edge devices SageMaker Pipelines NEW Workflow orchestration and automation Amazon SageMaker SageMaker Studio Integrated development environment (IDE) for ML

Amazon SageMaker Studio • Amazon SageMaker Studio は 機械学習のための統合開発環境 (IDE) − サーバレスノートブック − ノートブックのシェアによる共同開発 • SageMaker Python SDK で学習・推論の実行 − TensorFlow, PyTroch など深層学習用イメージが 用意されており、コンテナ持ち込みも可能 − 実験管理・モデルレジストリ − 推論時の定常的なモデル監視と分析 • 東京リージョンでも利用可能

Amazon SageMaker Data Wrangler • 迅速かつ容易に機械学習のためのデータを準備 • SageMaker Studio IDE の UI で利用可能 − S3, Athena, Redshift, SageMaker Feature Store など複数データソースから SageMaker にデータを直接インポート − 1クリックでデータ選択、クエリ、データ変換、可視化等を行う • 300以上の組み込み変換処理を利用してコード記述なしに処理

SageMaker Feature Store • 機械学習の学習・推論に必要な Feature を保存、更新、取 得、共有等を可能にする専用リポジトリ • 格納された特徴データは、グループごとに整理され、メタ データを使用しタグ付け • 特徴データの共有および再利用が複数チームで簡単に行え るため、開発コストを削減しながらイノベーションを加速 • 学習中の Feature とリアルタイムの推論のためFeature の 統合ストアを提供。Feature の一貫性を保つために、追加 コードを記述等は不要 • Amazon SageMaker, Amazon SageMaker Pipelines と統合し て自動化された機械学習ワークフローを作成可能

Amazon SageMaker Clarify • 機械学習のバイアスを理解するために、 MLの各プロセスにおける データ・モデルの不均衡の検出を行う − データ準備時のバイアスの検出 − 学習されたモデルのバイアスを検出 − モデルの全体的な動作を説明 − 個別の推論結果の説明 − 時間経過によるバイアスとモデル挙動のドリフトを検出 • 監査人にレポートを提供

Amazon SageMaker Pipelines • 機械学習ワークロードの CI/CD を実現 • 機械学習ワークフローのデータロードや学習処理、 モデルの最適化などの一連の処理ステップを 任意のタイミングや所定の時間に実行 • 本番環境にデプロイするのに最適なモデルを選択したり、 モデルの自動追跡が可能。 • 各ステップの処理結果は SageMaker Experiments で記録 され、モデルの出来映えや学習パラメータなどを視覚化 • 定義されたワークフローは再利用や共有が容易なので、 モデルの再生成や改善の際にも有益

深層学習向けアクセラレータ on AWS • NVIDIA GPU − 学習: A100 (P4d), V100 32 GB (P3dn) / 16 GB (P3) − 推論: T4 (G4dn) • Intel − 学習: Habana Gaudi − 推論: (CPU instances) • AWS − 学習: Trainium − 推論: Inferentia (Inf1) Accelerator (Instance Family)

その他アップデート • SageMaker Debugger − 学習時のハードウェアリソース有効活用のため、プロファイリング機能を追加 • SageMaker Distributed Training − データ並列・モデル並列での分散学習が容易に • SageMaker Edge Manager − ML モデルをコインパイル (SageMaker Neo)、エッジデバイスにデプロイ、メンテナンス • EKS が EFA と P4d インスタンスをサポート − Kubernetes での大規模な分散深層学習 • P4d インスタンスが東京リージョンでも利用可能に

Amazon SageMaker JumpStart • 機械学習アプリケーションを簡単かつ迅速に市場投入 • Solutions: − 15以上の一般的なユースケースに対し、 カスタム可能な構築済みソリューションを提供 • Model Zoo (Text/Vision models): − 150を超える有名 OSS モデルを ワンクリックでデプロイ。転移学習も可能 • Built-in Algorithm (SageMaker Algorithm): − SageMaker で利用可能な ビルトインアルゴリズムを即座に利用可能 • その他サンプル Notebook やチュートリアルに簡単アクセス

JumpStart の SageMaker ハンズオンコンテンツ

JumpStart デモ

ご案内 • AWS Startup ブログ − 他のスタートアップは AWS 使ってどんな感じで機械学習やってるの？ と聞かれるのでSageMaker と Personalize の事例まとめブログを書きました § https://aws.amazon.com/jp/blogs/startup/tech-case-study-jp-startup-ai-ml/ • JAWS-UG AI/ML 支部 − ユーザーグループが復活しました。 スタートアップのお客様も中心メンバーにいます § https://jawsug-ai.connpass.com/

まとめ • 簡単に始めたい場合は、AWS AI サービスをチェック • SageMaker を試してみたい場合は JumpStart がオススメ

Thank you © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. @_hariby