Upgrade to Pro — share decks privately, control downloads, hide ads and more …

2020 MLaaS 產業介紹

SJ Chou
June 02, 2020

2020 MLaaS 產業介紹

* AI / ML SaaS 市場規模
* 四巨頭 MLaaS
* 市面 AI SaaS 相關產品

SJ Chou

June 02, 2020
Tweet

More Decks by SJ Chou

Other Decks in Business

Transcript

  1. MLaaS 產業介紹
    Machine Learning as a Service
    [email protected]
    http://blog.toright.com

    View Slide

  2. AI / ML SaaS 市場規模
    ● AI software and platforms will reach $97.9 billion in 2023.
    ● The compound annual growth rate (CAGR) for the 2018-2023 forecast period
    will be 28.4%.
    ○ 資料來源 https://www.idc.com/getdoc.jsp?containerId=prUS45481219

    View Slide

  3. MLaaS market is expected to post a CAGR of over 38%
    The global machine
    learning-as-a-service
    (MLaaS) market is expected
    to post a CAGR of over 38%
    during the period
    2019-2023, according to
    the latest market research
    report by Technavio.
    ○ 資料來源 https://www.technavio.com/report/global-machine-learning-as-a-service-mlaas-market-industry-analysis

    View Slide

  4. AI / ML SaaS 市場規模
    ● 台灣公有雲服務支出則預計於2023年達到11.22億美元,預計五年複合成長率達
    11.83%。
    ● 亞太市場
    ○ IaaS 佔 50.2%、SaaS 佔 39.03%、PaaS 佔 10.7%
    ○ 中國、澳洲及印度將是亞太區公有雲發展主要市場
    ● 台灣市場
    ○ IaaS 佔 46.4%、SaaS 佔 46.7%、PaaS 佔 7.0%
    ○ 離散製造,專業服務和銀行業是台灣公有雲市場主要三大應用 產業
    ○ 資料來源 https://www.idc.com/getdoc.jsp?containerId=prAP45576519

    View Slide

  5. 四巨頭 MLaaS
    ● Google Cloud AI
    ● Amazon SageMaker
    ● IBM Watson
    ● Microsoft Azure AI

    View Slide

  6. Google Trend「品牌 + 產品關鍵字」搜尋熱度比較
    https://trends.google.com.tw/trends/explore?date=today%205-y&q=Amazon%20SageMaker,Google%20AutoML,Azure%20Machin
    e%20Learning,IBM%20Watson

    View Slide

  7. Google Trend 「產品關鍵字」搜尋熱度比較
    https://trends.google.com.tw/trends/explore?date=today%205-y&q=SageMaker,Google%20Machine%20Learning,Azure%20Mac
    hine%20Learning,IBM%20Watson

    View Slide

  8. Google Cloud AI
    by Shime

    View Slide

  9. Google Cloud AI
    ● AI Hub
    ○ 隨插即用 AI 元件的託管存放區
    ○ 端對端 AI 管道、立即可用的演算法、 kubeflow工作管線、Jupyter Notebooks以及TensorFlow模

    ○ 重用人工智慧資源
    ● AI Building Blocks
    ○ 可讓開發人員輕鬆地將 視覺內容、語言、對話和結構化資料加入應用程 式中。
    ○ 建構模塊有兩種:AutoML 用於自訂模型,API 用於預先訓練的模型。
    ● AI Platform
    ○ 是以程式碼為基礎的數據資料學開發環境,可協助機器學習開發人員和數據資料學家,縮短從
    構思專案到投入部署的時程。
    ○ 一個端到端的開發平臺,團隊可以使用共享介面,準備、建置、執行以及管理機器學習專案,各
    種角色都能參與其中。

    View Slide

  10. AI Building Blocks
    ● 視覺
    ○ Vision AI
    ■ AutoML Vision
    ■ Vision API
    ○ Video AI
    ■ AutoML Video Intelligence
    ■ Video Intelligence API
    ● 對話
    ○ Dialogflow
    ■ 打造對話體驗
    ○ Cloud Text-to-Speech API
    ■ 採用機器學習,將文字轉換成語音
    ○ Cloud Speech-to-Text API
    ■ 採用機器學習,將語音轉換為文字
    ● 語言
    ○ 翻譯
    ■ AutoML Translation
    ■ Translation API
    ○ Natural Language
    ■ AutoML Natural Language
    ■ Natural Language API
    ● 結構化資料
    ○ AutoML Tables
    ■ 利用機器學習,快速處理大量的結構
    化資料
    ○ Recommendations AI
    ■ 為客戶提供更多他們感興趣的內容
    ○ Cloud Inference API
    ■ 針對已分類的時間序列資料集,快速
    執行大規模的關聯性運算。

    View Slide

  11. Vision AI

    View Slide

  12. Vision AI

    View Slide

  13. Vision AI - API

    View Slide

  14. Video AI

    View Slide

  15. Video AI - API

    View Slide

  16. AutoML Translation

    View Slide

  17. Natural Language API

    View Slide

  18. AutoML Tables
    ● 輕鬆將結構化資料建模與佈署
    ● 利用機器學習,快速處理大量的結構化資料

    View Slide

  19. Amazon SageMaker
    by SJ

    View Slide

  20. Amazon SageMaker 四項產品主線
    標籤
    ● Amazon SageMaker Ground Truth
    建立
    ● Amazon SageMaker Studio
    ● Amazon SageMaker Notebook
    ● Amazon SageMaker Autopilot
    訓練與調整
    ● Amazon SageMaker Experiments
    ● Amazon SageMaker Debugger
    佈署與管理
    ● Amazon SageMaker Model Monitor
    ● Amazon Augmented AI
    ● Amazon Elastic Inference
    ● Kubernetes - Kubeflow
    Amazon 透過自家的 AWS 搭建 Machine Learning 服務,功能完整橫跨的 AI 產品發展生命週期,這一類型
    的產品服務 TA 為有資料科學背景的使用者、企業與 AI 產品開發相關市場。Amazon 提供的產品服務主要區
    分以下四項:

    View Slide

  21. 標籤 - Amazon SageMaker Ground Truth
    ● 透過 AI 輔助標記,減少標記資料 70%
    ● 整合 Amazon Mechanical Turk 提供 500,000 名標籤人員
    ● 標記人員計分機制,確保品質

    View Slide

  22. 建立機器學習模型 - Amazon SageMaker Studio
    ● Web IDE 整合 Machine Learn 開發工具
    ● 上傳資料,創建新的筆記本、訓練和調整模型、模型部署

    View Slide

  23. 建立機器學習模型 - Amazon SageMaker Notebook
    ● 等同 Jupyter 筆記本、提供協作編輯功能
    ● 可在 AWS Marketplace 中獲得數百種可用的演算法和經過預先訓練的模型

    View Slide

  24. 註:Machine learning solutions in AWS Marketplace
    https://aws.amazon.com/marketplace

    View Slide

  25. 建立機器學習模型 - Amazon SageMaker Autopilot
    ● SageMaker Autopilot 與 Amazon SageMaker Studio 整合
    ● 多達 50 種由 SageMaker Autopilot 自動產生的不同模型

    View Slide

  26. 訓練機器學習模型 - Amazon SageMaker Experiments
    ● 協助您組織和追蹤機器學習模型的反覆執行
    ● 自動擷取輸入參數、組態和結果,以視覺化方式比較實驗結果。

    View Slide

  27. 訓練機器學習模型 - Amazon SageMaker Debugger
    ● 訓練過程中自動擷取即時指標,例如訓練和驗證、混淆矩陣和學習梯度,來協助
    提高模型準確性。
    ● 對異常情況進行分析和偵錯。例如,若確定梯度消失,訓練將會停止。可識別逐
    漸消失的梯度,因此您可以在影響培訓之前進行補救。

    View Slide

  28. 部署機器學習模型 - Amazon SageMaker Model Monitor
    ● Amazon SageMaker 一鍵佈署,自動建立 HTTPS API,自動拓展
    ● 自動偵測部署模型中的概念漂移,並提供詳細的提醒,以協助確定問題的根源

    View Slide

  29. 部署機器學習模型
    ● Amazon Augmented AI
    ○ 建立機器學習預測人工審 查所需的工作流程,可以在模型無法做出高信賴度預測時,允許人工審 查
    者介入。
    ● Amazon Elastic Inference
    ○ 推斷加速,可讓您在任何 Amazon EC2、Amazon SageMaker 執行個體類型或 Amazon ECS 任務上
    附加適當的 GPU 支援推斷加速數量。
    ● Kubernetes - Kubeflow
    ○ 使用 Kubernetes 運算子和管道,在 SageMaker 中訓練和部署模型。 Kubernetes 使用者可透過
    Kubeflow,在本機存取 SageMaker 的所有功能。

    View Slide

  30. IBM Watson
    by JJ

    View Slide

  31. Watson 服務 - AI管理工具
    ● Watson Studio
    ○ 建置與訓練 AI 模型,並在單一整合環境中準備與分析資料
    ● Watson Machine Learning
    ○ 使用自動化協同作業工作流程來建立、訓練與部署自學模型
    ● Watson OpenScale
    ○ 追蹤及測量 AI 的成果,並調整及控管 AI 以因應變化的商業狀況
    ● Watson Knowledge Catalog
    ○ 運用智慧型資料和分析資 產探索、編目與控管,來推動 AI 應用程式

    View Slide

  32. AI管理工具 - Watson Studio
    ● 建置、部署、測試、重新訓練和監視預測性機器學習模型

    View Slide

  33. AI管理工具 - Watson Studio
    ● 資料準備
    ○ 利用「資料精製」工具(提供 內建資料清理及轉換)來發掘資料當中的隱藏洞察。存取表格化的資
    料檢視,包括視覺化和描述統計,以協助您藉由向資料提出正確的商業問題來發掘隱藏的洞察。

    View Slide

  34. AI管理工具 - Watson Studio
    ● 資料探索
    ○ 使用內含的儀表板服務,即時直接從您的資料 產生驚人的視覺化。這可為您 啟發先前不明的模
    式、關係或其他可據以採取行動的發現結果,並輕鬆地與您的團隊共享。

    View Slide

  35. AI管理工具 - Watson Studio
    ● 模型開發
    ○ 使用可隨工作流程增減的自訂運算環境來測試與部署模型。從 Anaconda、Apache Spark 及
    GPU 環境的各種容量選項進行挑選。

    View Slide

  36. AI管理工具 - Watson Studio
    ● 模型部署
    ○ 一旦您的模型準備就緒,即可使用 Watson™ Machine Learning 服務來進行部署與評分。
    ● 模型管理
    ○ 運用深度學習實驗,輕鬆比較執行作業與執行模型超參數優化。

    View Slide

  37. AI管理工具 - Watson Studio
    ● 模型評估
    ○ 透過使用 IBM SPSS® Modeler 的模型視覺化功能,將模型與資料之間的適配性視覺化,藉此改
    善您的模型效能。

    View Slide

  38. AI管理工具 - Watson Knowledge Catalog
    ● 可協助商業使用者快速探索、策劃、分類與共用資料資產、資料集、分析模型,以
    及他們與組織當中其他成員的關係。

    View Slide

  39. Watson 服務 - Watson 應用程序
    ● Watson Assistant
    ○ 建置與部署會談機器人及虛擬助理。
    ● Watson Discovery
    ○ 結合自動化汲取和進階 AI 功能來發現資料當中的連結。
    ● Watson Speech to Text
    ○ 輕鬆將影音轉換成文字。
    ● Watson Natural Language Understanding
    ○ 分析文字以從內容(例如概念、實體和觀感)擷取 meta 資料。

    View Slide

  40. Watson 服務 - Watson APIs
    ● Watson Visual Recognition
    ○ 使用深度學習演算法來分析場景、物件、臉部及其他 內容的影像。
    ● Watson Text to Speech
    ○ 從文字產生類似人聲的音訊,使用多國語言和各種聲調與使用者互動。
    ● Watson Language Translator
    ○ 語言翻譯程式會將一種語言的文字轉換成另一種語言。
    ● Watson Natural Language Classifier
    ○ 瞭解文字背後的意圖,並傳回對應分類以及填入信任評分,再根據分類結果更新訓練資料,並使
    用更新的訓練資料來建立及訓練分類器。
    ● Watson Personality Insights
    ○ 透過文字來預測人格特徵、需求和價 值。大規模瞭解客戶個別層面的習慣和喜好。
    ● Watson Tone Analyzer
    ○ 使用語言分析來偵測文字中的情緒和語氣。

    View Slide

  41. Microsoft Azure
    Machine Learning
    by JJ

    View Slide

  42. AI + 機器學習服務
    ● 機器學習
    ○ Azure Machine Learning
    ○ Azure Databricks
    ● 知識發掘
    ○ Azure 認知搜尋
    ● AI 應用程式和代理程式
    ○ 認知服務
    ○ Azure Bot Service

    View Slide

  43. 機器學習 - Azure Machine Learning
    ● 使用自動機器學習可簡單地建立模型,輕鬆擴展調整模型
    ● 可使用任何的python open source frameworks & tools
    ● 使用MLOps (DevOps for ML) 管理工作流程
    ● 輕鬆在雲端和邊緣部署和管理

    View Slide

  44. 機器學習 - Azure Machine Learning
    ● 以 Python 或 R 建置 ML 模型
    ○ Azure Machine Learning Python SDK 或 R SDK,開始訓練您的本機電腦。 然後可以
    擴充至雲端
    ● 使用無程式碼的工具建置 ML 模型
    ○ Azure Machine Learning 設計工具
    ○ 自動化機器學習 UI

    View Slide

  45. 機器學習 - Azure Machine Learning
    MLOps (DevOps for ML):模型管理、部署和監視
    ● 建立可重現的 ML 管線 (ML pipelines)
    ○ 管線可讓您針對資料準備、定型和評分程式,定義可重複且可重複使用的步驟。
    ● 從任何地方註冊、封裝和部署模型
    ○ 追蹤使用模型所需的相關中繼資料。
    ● 捕捉捕獲端對端 ML 生命週期所需的治理資料
    ○ 包括正在發佈模型的物件、變更的原因,以及模型部署或用於生 產環境中的時間。
    ● 通知和警示 ML 生命週期中的事件
    ○ 例如實驗完成、模型註冊、模型部署和資料漂移偵測。
    ● 監視 ml 應用程式的操作和 ml 相關問題。
    ○ 比較定型和推斷之間的模型輸入、探索模型特定計量,以及提供 ML 基礎結構的監視和警示。
    ● 使用 Azure Machine Learning 和 Azure DevOps 自動化端對端 ML 生命週期
    ○ 以便經常更新模型、測試新模型,以及持續推出新的 ml 模型以及其他應用程式和服務。

    View Slide

  46. 機器學習 - Azure Machine Learning
    ● ML pipelines
    ○ 定義可重複使用的機器學習服務工作流程,以作為您機器學習服務案例的範本
    ○ 自動執行、異構計算、再使用性、追蹤和版本控制、模組、共同作業
    ○ Python SDK、Azure Machine Learning 設計工具

    View Slide

  47. 機器學習 - Azure Machine Learning
    ● 建置介紹
    ○ Azure Machine Learning 設計工具
    ○ Python SDK

    View Slide

  48. 機器學習 - Azure Databricks
    針對 Microsoft Azure 雲端服務平台進行最佳化的 Apache Spark 分析平台

    View Slide

  49. 知識發掘 - Azure 認知搜尋
    ● Azure 認知搜尋是一個搜尋即服務雲端解決方案
    ○ 內建 AI 功能的雲端搜尋服務,來發掘您 內容中的模式和關係、了解情感、擷取關鍵片語等等

    View Slide

  50. AI 應用程式和代理程式 - 認知服務
    ● 決策
    ○ Anomaly Detector
    ○ 內容仲裁
    ○ 個人化工具
    ● 語言
    ○ 沈浸式閱讀程式
    ○ 語言理解
    ○ 製作問與答的人員
    ○ 文字分析
    ○ Translator Text
    ● 語音
    ○ 語音轉換文字
    ○ 文字轉換語音
    ○ 語音翻譯
    ○ 說話者辨識
    ● 辨識
    ○ Computer Vision
    ○ 自訂視覺
    ○ 臉部
    ○ 表單辨識器
    ○ 筆跡辨識器
    ○ 影片索引器
    ● 網路內容搜尋
    ○ Bing Web 搜尋
    ○ Bing 自訂搜尋
    ○ Bing 自動建議
    ○ Bing 拼字檢查
    ○ Bing 新聞搜尋
    ○ Bing 圖像式搜尋
    ○ Bing 實體搜尋
    ○ Bing 影片搜尋
    ○ Bing 影像搜尋

    View Slide

  51. AI 應用程式和代理程式 - Azure Bot Service
    ● 專門建置的 Bot 開發環境,包含現成可用的範本,可供您快速開始使用
    ○ Bot Framework SDK

    View Slide

  52. 市面 AI SaaS 相關產品

    View Slide

  53. AI 四個領域 SaaS 工具
    1. 資料:已標記資料提供者 (平台)
    2. 標記:標記工具 / 媒合標記工作
    3. 訓練:提供 GPU / 訓練工具
    4. 推論:API / 應用
    MLaaS 相關文章
    ● 機器學習即服務(MLaaS):Google、Azure和AWS如何使AI民主化
    ● 2019年AI趨勢:MLaaS,人工智慧機器人過程自動化和大數據預測
    ● 谷歌、微軟與亞馬遜搶奪企業AI的商機

    View Slide

  54. 資料集 SaaS
    ● Kaggle Dataset
    ○ 可以在 Kaggle 內建的 Web Notebook 直接新增 Kaggle 上公開的資料疾病進行訓練
    ● Labelme (有標記工具與Dataset)
    ○ A large dataset created by the MIT Computer Science and Artificial Intelligence Laboratory
    (CSAIL) containing 187,240 images, 62,197 annotated images, and 658,992 labeled objects.
    ● Google: Youtube-8M
    ○ 資料集包含 8,000,000 萬個 YouTube 視訊連結,這些視訊集進行了 video-level(視訊層級) 的標
    註,標註為 4800 種 Knowledge Graph entities(知識圖譜實體)。
    ● CelebFaces
    ○ Face dataset with more than 200,000 celebrity images, each with 40 attribute annotations.
    ● Google Dataset Search
    ○ 提供免費資料集下載與搜尋

    View Slide

  55. 資料集 SaaS
    ● Places
    ○ Scene-centric database with 205 scene categories and 2.5 million images with a category label.
    ● Stanford Dogs Dataset
    ○ Contains 20,580 images and 120 different dog breed categories, with about 150 images per
    class.
    ● Visual Genome
    ○ Visual Genome is a dataset and knowledge base created in an effort to connect structured
    image concepts to language. The database features detailed visual knowledge base with
    captioning of 108,077 images.
    ● DensePose
    ○ Dense human pose estimation aims at mapping all human pixels of an RGB image to the 3D
    surface of the human body.

    View Slide

  56. 標記 SaaS
    ● LabelMe, the open annotation tool.
    ○ The goal of LabelMe is to provide an online annotation tool to build image databases for
    computer vision research. You can contribute to the database by visiting the annotation tool.
    ● 魁達智慧 - ezLabel
    ○ 影片連續標記工具
    ● Annotorious
    ○ Open Source Web 標記工具
    ● Handl
    ○ AI 輔助標記服務,80% AI 標 + 20% 人工標
    ● LabelBox
    ○ 線上標記, 協同標記,目前看到最好用的線上標記工具

    View Slide

  57. 訓練 SaaS
    ● Kaggle - Notebook
    ○ 功能近似 Jupyter Notebook,免費版速度慢常常開不起來,可以直接掛載 Kaggle 線上訓練
    ● Google - Colab
    ○ 功能近似 Jupyter Notebook,免費
    ○ 可以選擇 GPU/TPU 進行訓練加速, 提供 Ram 12G, Disk 68 GB
    ● Imagga: Custom Model Training
    ○ 圖片模型自動訓練, Analyze specific visual data by building custom models.
    ● MonkeyLearn
    ○ 文字分類與模型訓練服務,提供 API, Email, Chatbot, Phone 進行整合
    ● floydhub
    ○ 提供 Jupyter Notebook 與 CLI,直接在雲端的機器執行運算 Job 來訓練模型
    ● Nvidia AI Clara
    ○ 醫療影像相關的 Machine Learning 服務,提供 Docker SDK 來 Train Model 與推論,功能相當精

    View Slide

  58. 推論 SaaS
    ● KKBOX-AI 自動優化影片
    ○ BlendVision 首先將推出「BlendVision Video Streaming」,結合「按主題編碼技術( Per-Title
    Encoding, PTE)」,利用 AI 自動辨別不同位元速率( Bitrate)進行影片壓縮轉檔,大幅減少傳輸頻
    寬、節省儲存空間,有效降低 OTT 平台業者的營運成本。
    ● 日本德勤用AI雲端推新創支援媒合服務
    ○ 新創企業只要在這套系統上輸入公司的事業範疇以及商業型態,而大型企業則是輸入公司所遭
    遇的難題,在經由 AI 人工智慧進行分析比對後,就會將適合進行合作的新創企業,介紹給利用
    該服務的大型企業用 戶。
    ● Imagga: Image Tagging API
    ○ Automate Your Image Tagging Process.
    ● AI Clare 語音助理
    ○ 提供多種語系的 AI 語音助理,沒有看到相關 SaaS 服務,算是提供 AI 技術服務的商業模式
    ● AI Market
    ○ 包含各種 API 與應用程式

    View Slide

  59. The End
    [email protected]
    http://blog.toright.com

    View Slide