Upgrade to Pro — share decks privately, control downloads, hide ads and more …

2020 MLaaS 產業介紹

SJ Chou
June 02, 2020

2020 MLaaS 產業介紹

* AI / ML SaaS 市場規模
* 四巨頭 MLaaS
* 市面 AI SaaS 相關產品

SJ Chou

June 02, 2020
Tweet

More Decks by SJ Chou

Other Decks in Business

Transcript

  1. AI / ML SaaS 市場規模 • AI software and platforms

    will reach $97.9 billion in 2023. • The compound annual growth rate (CAGR) for the 2018-2023 forecast period will be 28.4%. ◦ 資料來源 https://www.idc.com/getdoc.jsp?containerId=prUS45481219
  2. MLaaS market is expected to post a CAGR of over

    38% The global machine learning-as-a-service (MLaaS) market is expected to post a CAGR of over 38% during the period 2019-2023, according to the latest market research report by Technavio. ◦ 資料來源 https://www.technavio.com/report/global-machine-learning-as-a-service-mlaas-market-industry-analysis
  3. AI / ML SaaS 市場規模 • 台灣公有雲服務支出則預計於2023年達到11.22億美元,預計五年複合成長率達 11.83%。 • 亞太市場

    ◦ IaaS 佔 50.2%、SaaS 佔 39.03%、PaaS 佔 10.7% ◦ 中國、澳洲及印度將是亞太區公有雲發展主要市場 • 台灣市場 ◦ IaaS 佔 46.4%、SaaS 佔 46.7%、PaaS 佔 7.0% ◦ 離散製造,專業服務和銀行業是台灣公有雲市場主要三大應用 產業 ◦ 資料來源 https://www.idc.com/getdoc.jsp?containerId=prAP45576519
  4. Google Cloud AI • AI Hub ◦ 隨插即用 AI 元件的託管存放區

    ◦ 端對端 AI 管道、立即可用的演算法、 kubeflow工作管線、Jupyter Notebooks以及TensorFlow模 組 ◦ 重用人工智慧資源 • AI Building Blocks ◦ 可讓開發人員輕鬆地將 視覺內容、語言、對話和結構化資料加入應用程 式中。 ◦ 建構模塊有兩種:AutoML 用於自訂模型,API 用於預先訓練的模型。 • AI Platform ◦ 是以程式碼為基礎的數據資料學開發環境,可協助機器學習開發人員和數據資料學家,縮短從 構思專案到投入部署的時程。 ◦ 一個端到端的開發平臺,團隊可以使用共享介面,準備、建置、執行以及管理機器學習專案,各 種角色都能參與其中。
  5. AI Building Blocks • 視覺 ◦ Vision AI ▪ AutoML

    Vision ▪ Vision API ◦ Video AI ▪ AutoML Video Intelligence ▪ Video Intelligence API • 對話 ◦ Dialogflow ▪ 打造對話體驗 ◦ Cloud Text-to-Speech API ▪ 採用機器學習,將文字轉換成語音 ◦ Cloud Speech-to-Text API ▪ 採用機器學習,將語音轉換為文字 • 語言 ◦ 翻譯 ▪ AutoML Translation ▪ Translation API ◦ Natural Language ▪ AutoML Natural Language ▪ Natural Language API • 結構化資料 ◦ AutoML Tables ▪ 利用機器學習,快速處理大量的結構 化資料 ◦ Recommendations AI ▪ 為客戶提供更多他們感興趣的內容 ◦ Cloud Inference API ▪ 針對已分類的時間序列資料集,快速 執行大規模的關聯性運算。
  6. Amazon SageMaker 四項產品主線 標籤 • Amazon SageMaker Ground Truth 建立

    • Amazon SageMaker Studio • Amazon SageMaker Notebook • Amazon SageMaker Autopilot 訓練與調整 • Amazon SageMaker Experiments • Amazon SageMaker Debugger 佈署與管理 • Amazon SageMaker Model Monitor • Amazon Augmented AI • Amazon Elastic Inference • Kubernetes - Kubeflow Amazon 透過自家的 AWS 搭建 Machine Learning 服務,功能完整橫跨的 AI 產品發展生命週期,這一類型 的產品服務 TA 為有資料科學背景的使用者、企業與 AI 產品開發相關市場。Amazon 提供的產品服務主要區 分以下四項:
  7. 標籤 - Amazon SageMaker Ground Truth • 透過 AI 輔助標記,減少標記資料

    70% • 整合 Amazon Mechanical Turk 提供 500,000 名標籤人員 • 標記人員計分機制,確保品質
  8. 建立機器學習模型 - Amazon SageMaker Studio • Web IDE 整合 Machine

    Learn 開發工具 • 上傳資料,創建新的筆記本、訓練和調整模型、模型部署
  9. 建立機器學習模型 - Amazon SageMaker Notebook • 等同 Jupyter 筆記本、提供協作編輯功能 •

    可在 AWS Marketplace 中獲得數百種可用的演算法和經過預先訓練的模型
  10. 建立機器學習模型 - Amazon SageMaker Autopilot • SageMaker Autopilot 與 Amazon

    SageMaker Studio 整合 • 多達 50 種由 SageMaker Autopilot 自動產生的不同模型
  11. 部署機器學習模型 - Amazon SageMaker Model Monitor • Amazon SageMaker 一鍵佈署,自動建立

    HTTPS API,自動拓展 • 自動偵測部署模型中的概念漂移,並提供詳細的提醒,以協助確定問題的根源
  12. 部署機器學習模型 • Amazon Augmented AI ◦ 建立機器學習預測人工審 查所需的工作流程,可以在模型無法做出高信賴度預測時,允許人工審 查 者介入。

    • Amazon Elastic Inference ◦ 推斷加速,可讓您在任何 Amazon EC2、Amazon SageMaker 執行個體類型或 Amazon ECS 任務上 附加適當的 GPU 支援推斷加速數量。 • Kubernetes - Kubeflow ◦ 使用 Kubernetes 運算子和管道,在 SageMaker 中訓練和部署模型。 Kubernetes 使用者可透過 Kubeflow,在本機存取 SageMaker 的所有功能。
  13. Watson 服務 - AI管理工具 • Watson Studio ◦ 建置與訓練 AI

    模型,並在單一整合環境中準備與分析資料 • Watson Machine Learning ◦ 使用自動化協同作業工作流程來建立、訓練與部署自學模型 • Watson OpenScale ◦ 追蹤及測量 AI 的成果,並調整及控管 AI 以因應變化的商業狀況 • Watson Knowledge Catalog ◦ 運用智慧型資料和分析資 產探索、編目與控管,來推動 AI 應用程式
  14. AI管理工具 - Watson Studio • 模型部署 ◦ 一旦您的模型準備就緒,即可使用 Watson™ Machine

    Learning 服務來進行部署與評分。 • 模型管理 ◦ 運用深度學習實驗,輕鬆比較執行作業與執行模型超參數優化。
  15. AI管理工具 - Watson Studio • 模型評估 ◦ 透過使用 IBM SPSS®

    Modeler 的模型視覺化功能,將模型與資料之間的適配性視覺化,藉此改 善您的模型效能。
  16. Watson 服務 - Watson 應用程序 • Watson Assistant ◦ 建置與部署會談機器人及虛擬助理。

    • Watson Discovery ◦ 結合自動化汲取和進階 AI 功能來發現資料當中的連結。 • Watson Speech to Text ◦ 輕鬆將影音轉換成文字。 • Watson Natural Language Understanding ◦ 分析文字以從內容(例如概念、實體和觀感)擷取 meta 資料。
  17. Watson 服務 - Watson APIs • Watson Visual Recognition ◦

    使用深度學習演算法來分析場景、物件、臉部及其他 內容的影像。 • Watson Text to Speech ◦ 從文字產生類似人聲的音訊,使用多國語言和各種聲調與使用者互動。 • Watson Language Translator ◦ 語言翻譯程式會將一種語言的文字轉換成另一種語言。 • Watson Natural Language Classifier ◦ 瞭解文字背後的意圖,並傳回對應分類以及填入信任評分,再根據分類結果更新訓練資料,並使 用更新的訓練資料來建立及訓練分類器。 • Watson Personality Insights ◦ 透過文字來預測人格特徵、需求和價 值。大規模瞭解客戶個別層面的習慣和喜好。 • Watson Tone Analyzer ◦ 使用語言分析來偵測文字中的情緒和語氣。
  18. AI + 機器學習服務 • 機器學習 ◦ Azure Machine Learning ◦

    Azure Databricks • 知識發掘 ◦ Azure 認知搜尋 • AI 應用程式和代理程式 ◦ 認知服務 ◦ Azure Bot Service
  19. 機器學習 - Azure Machine Learning • 使用自動機器學習可簡單地建立模型,輕鬆擴展調整模型 • 可使用任何的python open

    source frameworks & tools • 使用MLOps (DevOps for ML) 管理工作流程 • 輕鬆在雲端和邊緣部署和管理
  20. 機器學習 - Azure Machine Learning • 以 Python 或 R

    建置 ML 模型 ◦ Azure Machine Learning Python SDK 或 R SDK,開始訓練您的本機電腦。 然後可以 擴充至雲端 • 使用無程式碼的工具建置 ML 模型 ◦ Azure Machine Learning 設計工具 ◦ 自動化機器學習 UI
  21. 機器學習 - Azure Machine Learning MLOps (DevOps for ML):模型管理、部署和監視 •

    建立可重現的 ML 管線 (ML pipelines) ◦ 管線可讓您針對資料準備、定型和評分程式,定義可重複且可重複使用的步驟。 • 從任何地方註冊、封裝和部署模型 ◦ 追蹤使用模型所需的相關中繼資料。 • 捕捉捕獲端對端 ML 生命週期所需的治理資料 ◦ 包括正在發佈模型的物件、變更的原因,以及模型部署或用於生 產環境中的時間。 • 通知和警示 ML 生命週期中的事件 ◦ 例如實驗完成、模型註冊、模型部署和資料漂移偵測。 • 監視 ml 應用程式的操作和 ml 相關問題。 ◦ 比較定型和推斷之間的模型輸入、探索模型特定計量,以及提供 ML 基礎結構的監視和警示。 • 使用 Azure Machine Learning 和 Azure DevOps 自動化端對端 ML 生命週期 ◦ 以便經常更新模型、測試新模型,以及持續推出新的 ml 模型以及其他應用程式和服務。
  22. 機器學習 - Azure Machine Learning • ML pipelines ◦ 定義可重複使用的機器學習服務工作流程,以作為您機器學習服務案例的範本

    ◦ 自動執行、異構計算、再使用性、追蹤和版本控制、模組、共同作業 ◦ Python SDK、Azure Machine Learning 設計工具
  23. 知識發掘 - Azure 認知搜尋 • Azure 認知搜尋是一個搜尋即服務雲端解決方案 ◦ 內建 AI

    功能的雲端搜尋服務,來發掘您 內容中的模式和關係、了解情感、擷取關鍵片語等等
  24. AI 應用程式和代理程式 - 認知服務 • 決策 ◦ Anomaly Detector ◦

    內容仲裁 ◦ 個人化工具 • 語言 ◦ 沈浸式閱讀程式 ◦ 語言理解 ◦ 製作問與答的人員 ◦ 文字分析 ◦ Translator Text • 語音 ◦ 語音轉換文字 ◦ 文字轉換語音 ◦ 語音翻譯 ◦ 說話者辨識 • 辨識 ◦ Computer Vision ◦ 自訂視覺 ◦ 臉部 ◦ 表單辨識器 ◦ 筆跡辨識器 ◦ 影片索引器 • 網路內容搜尋 ◦ Bing Web 搜尋 ◦ Bing 自訂搜尋 ◦ Bing 自動建議 ◦ Bing 拼字檢查 ◦ Bing 新聞搜尋 ◦ Bing 圖像式搜尋 ◦ Bing 實體搜尋 ◦ Bing 影片搜尋 ◦ Bing 影像搜尋
  25. AI 四個領域 SaaS 工具 1. 資料:已標記資料提供者 (平台) 2. 標記:標記工具 /

    媒合標記工作 3. 訓練:提供 GPU / 訓練工具 4. 推論:API / 應用 MLaaS 相關文章 • 機器學習即服務(MLaaS):Google、Azure和AWS如何使AI民主化 • 2019年AI趨勢:MLaaS,人工智慧機器人過程自動化和大數據預測 • 谷歌、微軟與亞馬遜搶奪企業AI的商機
  26. 資料集 SaaS • Kaggle Dataset ◦ 可以在 Kaggle 內建的 Web

    Notebook 直接新增 Kaggle 上公開的資料疾病進行訓練 • Labelme (有標記工具與Dataset) ◦ A large dataset created by the MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) containing 187,240 images, 62,197 annotated images, and 658,992 labeled objects. • Google: Youtube-8M ◦ 資料集包含 8,000,000 萬個 YouTube 視訊連結,這些視訊集進行了 video-level(視訊層級) 的標 註,標註為 4800 種 Knowledge Graph entities(知識圖譜實體)。 • CelebFaces ◦ Face dataset with more than 200,000 celebrity images, each with 40 attribute annotations. • Google Dataset Search ◦ 提供免費資料集下載與搜尋
  27. 資料集 SaaS • Places ◦ Scene-centric database with 205 scene

    categories and 2.5 million images with a category label. • Stanford Dogs Dataset ◦ Contains 20,580 images and 120 different dog breed categories, with about 150 images per class. • Visual Genome ◦ Visual Genome is a dataset and knowledge base created in an effort to connect structured image concepts to language. The database features detailed visual knowledge base with captioning of 108,077 images. • DensePose ◦ Dense human pose estimation aims at mapping all human pixels of an RGB image to the 3D surface of the human body.
  28. 標記 SaaS • LabelMe, the open annotation tool. ◦ The

    goal of LabelMe is to provide an online annotation tool to build image databases for computer vision research. You can contribute to the database by visiting the annotation tool. • 魁達智慧 - ezLabel ◦ 影片連續標記工具 • Annotorious ◦ Open Source Web 標記工具 • Handl ◦ AI 輔助標記服務,80% AI 標 + 20% 人工標 • LabelBox ◦ 線上標記, 協同標記,目前看到最好用的線上標記工具
  29. 訓練 SaaS • Kaggle - Notebook ◦ 功能近似 Jupyter Notebook,免費版速度慢常常開不起來,可以直接掛載

    Kaggle 線上訓練 • Google - Colab ◦ 功能近似 Jupyter Notebook,免費 ◦ 可以選擇 GPU/TPU 進行訓練加速, 提供 Ram 12G, Disk 68 GB • Imagga: Custom Model Training ◦ 圖片模型自動訓練, Analyze specific visual data by building custom models. • MonkeyLearn ◦ 文字分類與模型訓練服務,提供 API, Email, Chatbot, Phone 進行整合 • floydhub ◦ 提供 Jupyter Notebook 與 CLI,直接在雲端的機器執行運算 Job 來訓練模型 • Nvidia AI Clara ◦ 醫療影像相關的 Machine Learning 服務,提供 Docker SDK 來 Train Model 與推論,功能相當精 簡
  30. 推論 SaaS • KKBOX-AI 自動優化影片 ◦ BlendVision 首先將推出「BlendVision Video Streaming」,結合「按主題編碼技術(

    Per-Title Encoding, PTE)」,利用 AI 自動辨別不同位元速率( Bitrate)進行影片壓縮轉檔,大幅減少傳輸頻 寬、節省儲存空間,有效降低 OTT 平台業者的營運成本。 • 日本德勤用AI雲端推新創支援媒合服務 ◦ 新創企業只要在這套系統上輸入公司的事業範疇以及商業型態,而大型企業則是輸入公司所遭 遇的難題,在經由 AI 人工智慧進行分析比對後,就會將適合進行合作的新創企業,介紹給利用 該服務的大型企業用 戶。 • Imagga: Image Tagging API ◦ Automate Your Image Tagging Process. • AI Clare 語音助理 ◦ 提供多種語系的 AI 語音助理,沒有看到相關 SaaS 服務,算是提供 AI 技術服務的商業模式 • AI Market ◦ 包含各種 API 與應用程式