2020 MLaaS 產業介紹

* AI / ML SaaS 市場規模
* 四巨頭 MLaaS
* 市面 AI SaaS 相關產品

Transcript

1. MLaaS 產業介紹 Machine Learning as a Service sj@toright.com http://blog.toright.com
2. AI / ML SaaS 市場規模 • AI software and platforms will reach $97.9 billion in 2023. • The compound annual growth rate (CAGR) for the 2018-2023 forecast period will be 28.4%. ◦ 資料來源 https://www.idc.com/getdoc.jsp?containerId=prUS45481219
3. MLaaS market is expected to post a CAGR of over 38% The global machine learning-as-a-service (MLaaS) market is expected to post a CAGR of over 38% during the period 2019-2023, according to the latest market research report by Technavio. ◦ 資料來源 https://www.technavio.com/report/global-machine-learning-as-a-service-mlaas-market-industry-analysis
4. AI / ML SaaS 市場規模 • 台灣公有雲服務支出則預計於2023年達到11.22億美元，預計五年複合成長率達 11.83%。 • 亞太市場 ◦ IaaS 佔 50.2％、SaaS 佔 39.03％、PaaS 佔 10.7％ ◦ 中國、澳洲及印度將是亞太區公有雲發展主要市場 • 台灣市場 ◦ IaaS 佔 46.4％、SaaS 佔 46.7％、PaaS 佔 7.0％ ◦ 離散製造，專業服務和銀行業是台灣公有雲市場主要三大應用 產業 ◦ 資料來源 https://www.idc.com/getdoc.jsp?containerId=prAP45576519
5. 四巨頭 MLaaS • Google Cloud AI • Amazon SageMaker • IBM Watson • Microsoft Azure AI
6. Google Trend「品牌 + 產品關鍵字」搜尋熱度比較 https://trends.google.com.tw/trends/explore?date=today%205-y&q=Amazon%20SageMaker,Google%20AutoML,Azure%20Machin e%20Learning,IBM%20Watson
7. Google Trend 「產品關鍵字」搜尋熱度比較 https://trends.google.com.tw/trends/explore?date=today%205-y&q=SageMaker,Google%20Machine%20Learning,Azure%20Mac hine%20Learning,IBM%20Watson
8. Google Cloud AI by Shime
9. Google Cloud AI • AI Hub ◦ 隨插即用 AI 元件的託管存放區 ◦ 端對端 AI 管道、立即可用的演算法、 kubeflow工作管線、Jupyter Notebooks以及TensorFlow模 組 ◦ 重用人工智慧資源 • AI Building Blocks ◦ 可讓開發人員輕鬆地將 視覺內容、語言、對話和結構化資料加入應用程 式中。 ◦ 建構模塊有兩種：AutoML 用於自訂模型，API 用於預先訓練的模型。 • AI Platform ◦ 是以程式碼為基礎的數據資料學開發環境，可協助機器學習開發人員和數據資料學家，縮短從 構思專案到投入部署的時程。 ◦ 一個端到端的開發平臺，團隊可以使用共享介面，準備、建置、執行以及管理機器學習專案，各 種角色都能參與其中。
10. AI Building Blocks • 視覺 ◦ Vision AI ▪ AutoML Vision ▪ Vision API ◦ Video AI ▪ AutoML Video Intelligence ▪ Video Intelligence API • 對話 ◦ Dialogflow ▪ 打造對話體驗 ◦ Cloud Text-to-Speech API ▪ 採用機器學習，將文字轉換成語音 ◦ Cloud Speech-to-Text API ▪ 採用機器學習，將語音轉換為文字 • 語言 ◦ 翻譯 ▪ AutoML Translation ▪ Translation API ◦ Natural Language ▪ AutoML Natural Language ▪ Natural Language API • 結構化資料 ◦ AutoML Tables ▪ 利用機器學習，快速處理大量的結構 化資料 ◦ Recommendations AI ▪ 為客戶提供更多他們感興趣的內容 ◦ Cloud Inference API ▪ 針對已分類的時間序列資料集，快速 執行大規模的關聯性運算。
11. Vision AI
12. Vision AI
13. Vision AI - API
14. Video AI
15. Video AI - API
16. AutoML Translation
17. Natural Language API
18. AutoML Tables • 輕鬆將結構化資料建模與佈署 • 利用機器學習，快速處理大量的結構化資料
19. Amazon SageMaker by SJ
20. Amazon SageMaker 四項產品主線 標籤 • Amazon SageMaker Ground Truth 建立 • Amazon SageMaker Studio • Amazon SageMaker Notebook • Amazon SageMaker Autopilot 訓練與調整 • Amazon SageMaker Experiments • Amazon SageMaker Debugger 佈署與管理 • Amazon SageMaker Model Monitor • Amazon Augmented AI • Amazon Elastic Inference • Kubernetes - Kubeflow Amazon 透過自家的 AWS 搭建 Machine Learning 服務，功能完整橫跨的 AI 產品發展生命週期，這一類型 的產品服務 TA 為有資料科學背景的使用者、企業與 AI 產品開發相關市場。Amazon 提供的產品服務主要區 分以下四項：
21. 標籤 - Amazon SageMaker Ground Truth • 透過 AI 輔助標記，減少標記資料 70% • 整合 Amazon Mechanical Turk 提供 500,000 名標籤人員 • 標記人員計分機制，確保品質
22. 建立機器學習模型 - Amazon SageMaker Studio • Web IDE 整合 Machine Learn 開發工具 • 上傳資料，創建新的筆記本、訓練和調整模型、模型部署
23. 建立機器學習模型 - Amazon SageMaker Notebook • 等同 Jupyter 筆記本、提供協作編輯功能 • 可在 AWS Marketplace 中獲得數百種可用的演算法和經過預先訓練的模型
24. 註：Machine learning solutions in AWS Marketplace https://aws.amazon.com/marketplace
25. 建立機器學習模型 - Amazon SageMaker Autopilot • SageMaker Autopilot 與 Amazon SageMaker Studio 整合 • 多達 50 種由 SageMaker Autopilot 自動產生的不同模型
26. 訓練機器學習模型 - Amazon SageMaker Experiments • 協助您組織和追蹤機器學習模型的反覆執行 • 自動擷取輸入參數、組態和結果，以視覺化方式比較實驗結果。
27. 訓練機器學習模型 - Amazon SageMaker Debugger • 訓練過程中自動擷取即時指標，例如訓練和驗證、混淆矩陣和學習梯度，來協助 提高模型準確性。 • 對異常情況進行分析和偵錯。例如，若確定梯度消失，訓練將會停止。可識別逐 漸消失的梯度，因此您可以在影響培訓之前進行補救。
28. 部署機器學習模型 - Amazon SageMaker Model Monitor • Amazon SageMaker 一鍵佈署，自動建立 HTTPS API，自動拓展 • 自動偵測部署模型中的概念漂移，並提供詳細的提醒，以協助確定問題的根源
29. 部署機器學習模型 • Amazon Augmented AI ◦ 建立機器學習預測人工審 查所需的工作流程，可以在模型無法做出高信賴度預測時，允許人工審 查 者介入。 • Amazon Elastic Inference ◦ 推斷加速，可讓您在任何 Amazon EC2、Amazon SageMaker 執行個體類型或 Amazon ECS 任務上 附加適當的 GPU 支援推斷加速數量。 • Kubernetes - Kubeflow ◦ 使用 Kubernetes 運算子和管道，在 SageMaker 中訓練和部署模型。 Kubernetes 使用者可透過 Kubeflow，在本機存取 SageMaker 的所有功能。
30. IBM Watson by JJ
31. Watson 服務 - AI管理工具 • Watson Studio ◦ 建置與訓練 AI 模型，並在單一整合環境中準備與分析資料 • Watson Machine Learning ◦ 使用自動化協同作業工作流程來建立、訓練與部署自學模型 • Watson OpenScale ◦ 追蹤及測量 AI 的成果，並調整及控管 AI 以因應變化的商業狀況 • Watson Knowledge Catalog ◦ 運用智慧型資料和分析資 產探索、編目與控管，來推動 AI 應用程式
32. AI管理工具 - Watson Studio • 建置、部署、測試、重新訓練和監視預測性機器學習模型
33. AI管理工具 - Watson Studio • 資料準備 ◦ 利用「資料精製」工具（提供 內建資料清理及轉換）來發掘資料當中的隱藏洞察。存取表格化的資 料檢視，包括視覺化和描述統計，以協助您藉由向資料提出正確的商業問題來發掘隱藏的洞察。
34. AI管理工具 - Watson Studio • 資料探索 ◦ 使用內含的儀表板服務，即時直接從您的資料 產生驚人的視覺化。這可為您 啟發先前不明的模 式、關係或其他可據以採取行動的發現結果，並輕鬆地與您的團隊共享。
35. AI管理工具 - Watson Studio • 模型開發 ◦ 使用可隨工作流程增減的自訂運算環境來測試與部署模型。從 Anaconda、Apache Spark 及 GPU 環境的各種容量選項進行挑選。
36. AI管理工具 - Watson Studio • 模型部署 ◦ 一旦您的模型準備就緒，即可使用 Watson™ Machine Learning 服務來進行部署與評分。 • 模型管理 ◦ 運用深度學習實驗，輕鬆比較執行作業與執行模型超參數優化。
37. AI管理工具 - Watson Studio • 模型評估 ◦ 透過使用 IBM SPSS® Modeler 的模型視覺化功能，將模型與資料之間的適配性視覺化，藉此改 善您的模型效能。
38. AI管理工具 - Watson Knowledge Catalog • 可協助商業使用者快速探索、策劃、分類與共用資料資產、資料集、分析模型，以 及他們與組織當中其他成員的關係。
39. Watson 服務 - Watson 應用程序 • Watson Assistant ◦ 建置與部署會談機器人及虛擬助理。 • Watson Discovery ◦ 結合自動化汲取和進階 AI 功能來發現資料當中的連結。 • Watson Speech to Text ◦ 輕鬆將影音轉換成文字。 • Watson Natural Language Understanding ◦ 分析文字以從內容（例如概念、實體和觀感）擷取 meta 資料。
40. Watson 服務 - Watson APIs • Watson Visual Recognition ◦ 使用深度學習演算法來分析場景、物件、臉部及其他 內容的影像。 • Watson Text to Speech ◦ 從文字產生類似人聲的音訊，使用多國語言和各種聲調與使用者互動。 • Watson Language Translator ◦ 語言翻譯程式會將一種語言的文字轉換成另一種語言。 • Watson Natural Language Classifier ◦ 瞭解文字背後的意圖，並傳回對應分類以及填入信任評分，再根據分類結果更新訓練資料，並使 用更新的訓練資料來建立及訓練分類器。 • Watson Personality Insights ◦ 透過文字來預測人格特徵、需求和價 值。大規模瞭解客戶個別層面的習慣和喜好。 • Watson Tone Analyzer ◦ 使用語言分析來偵測文字中的情緒和語氣。
41. Microsoft Azure Machine Learning by JJ
42. AI + 機器學習服務 • 機器學習 ◦ Azure Machine Learning ◦ Azure Databricks • 知識發掘 ◦ Azure 認知搜尋 • AI 應用程式和代理程式 ◦ 認知服務 ◦ Azure Bot Service
43. 機器學習 - Azure Machine Learning • 使用自動機器學習可簡單地建立模型，輕鬆擴展調整模型 • 可使用任何的python open source frameworks & tools • 使用MLOps (DevOps for ML) 管理工作流程 • 輕鬆在雲端和邊緣部署和管理
44. 機器學習 - Azure Machine Learning • 以 Python 或 R 建置 ML 模型 ◦ Azure Machine Learning Python SDK 或 R SDK，開始訓練您的本機電腦。 然後可以 擴充至雲端 • 使用無程式碼的工具建置 ML 模型 ◦ Azure Machine Learning 設計工具 ◦ 自動化機器學習 UI
45. 機器學習 - Azure Machine Learning MLOps (DevOps for ML)：模型管理、部署和監視 • 建立可重現的 ML 管線 (ML pipelines) ◦ 管線可讓您針對資料準備、定型和評分程式，定義可重複且可重複使用的步驟。 • 從任何地方註冊、封裝和部署模型 ◦ 追蹤使用模型所需的相關中繼資料。 • 捕捉捕獲端對端 ML 生命週期所需的治理資料 ◦ 包括正在發佈模型的物件、變更的原因，以及模型部署或用於生 產環境中的時間。 • 通知和警示 ML 生命週期中的事件 ◦ 例如實驗完成、模型註冊、模型部署和資料漂移偵測。 • 監視 ml 應用程式的操作和 ml 相關問題。 ◦ 比較定型和推斷之間的模型輸入、探索模型特定計量，以及提供 ML 基礎結構的監視和警示。 • 使用 Azure Machine Learning 和 Azure DevOps 自動化端對端 ML 生命週期 ◦ 以便經常更新模型、測試新模型，以及持續推出新的 ml 模型以及其他應用程式和服務。
46. 機器學習 - Azure Machine Learning • ML pipelines ◦ 定義可重複使用的機器學習服務工作流程，以作為您機器學習服務案例的範本 ◦ 自動執行、異構計算、再使用性、追蹤和版本控制、模組、共同作業 ◦ Python SDK、Azure Machine Learning 設計工具
47. 機器學習 - Azure Machine Learning • 建置介紹 ◦ Azure Machine Learning 設計工具 ◦ Python SDK
48. 機器學習 - Azure Databricks 針對 Microsoft Azure 雲端服務平台進行最佳化的 Apache Spark 分析平台
49. 知識發掘 - Azure 認知搜尋 • Azure 認知搜尋是一個搜尋即服務雲端解決方案 ◦ 內建 AI 功能的雲端搜尋服務，來發掘您 內容中的模式和關係、了解情感、擷取關鍵片語等等
50. AI 應用程式和代理程式 - 認知服務 • 決策 ◦ Anomaly Detector ◦ 內容仲裁 ◦ 個人化工具 • 語言 ◦ 沈浸式閱讀程式 ◦ 語言理解 ◦ 製作問與答的人員 ◦ 文字分析 ◦ Translator Text • 語音 ◦ 語音轉換文字 ◦ 文字轉換語音 ◦ 語音翻譯 ◦ 說話者辨識 • 辨識 ◦ Computer Vision ◦ 自訂視覺 ◦ 臉部 ◦ 表單辨識器 ◦ 筆跡辨識器 ◦ 影片索引器 • 網路內容搜尋 ◦ Bing Web 搜尋 ◦ Bing 自訂搜尋 ◦ Bing 自動建議 ◦ Bing 拼字檢查 ◦ Bing 新聞搜尋 ◦ Bing 圖像式搜尋 ◦ Bing 實體搜尋 ◦ Bing 影片搜尋 ◦ Bing 影像搜尋
51. AI 應用程式和代理程式 - Azure Bot Service • 專門建置的 Bot 開發環境，包含現成可用的範本，可供您快速開始使用 ◦ Bot Framework SDK
52. 市面 AI SaaS 相關產品
53. AI 四個領域 SaaS 工具 1. 資料：已標記資料提供者 (平台) 2. 標記：標記工具 / 媒合標記工作 3. 訓練：提供 GPU / 訓練工具 4. 推論：API / 應用 MLaaS 相關文章 • 機器學習即服務（MLaaS）：Google、Azure和AWS如何使AI民主化 • 2019年AI趨勢：MLaaS，人工智慧機器人過程自動化和大數據預測 • 谷歌、微軟與亞馬遜搶奪企業AI的商機
54. 資料集 SaaS • Kaggle Dataset ◦ 可以在 Kaggle 內建的 Web Notebook 直接新增 Kaggle 上公開的資料疾病進行訓練 • Labelme (有標記工具與Dataset) ◦ A large dataset created by the MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) containing 187,240 images, 62,197 annotated images, and 658,992 labeled objects. • Google: Youtube-8M ◦ 資料集包含 8,000,000 萬個 YouTube 視訊連結，這些視訊集進行了 video-level（視訊層級） 的標 註，標註為 4800 種 Knowledge Graph entities（知識圖譜實體）。 • CelebFaces ◦ Face dataset with more than 200,000 celebrity images, each with 40 attribute annotations. • Google Dataset Search ◦ 提供免費資料集下載與搜尋
55. 資料集 SaaS • Places ◦ Scene-centric database with 205 scene categories and 2.5 million images with a category label. • Stanford Dogs Dataset ◦ Contains 20,580 images and 120 different dog breed categories, with about 150 images per class. • Visual Genome ◦ Visual Genome is a dataset and knowledge base created in an effort to connect structured image concepts to language. The database features detailed visual knowledge base with captioning of 108,077 images. • DensePose ◦ Dense human pose estimation aims at mapping all human pixels of an RGB image to the 3D surface of the human body.
56. 標記 SaaS • LabelMe, the open annotation tool. ◦ The goal of LabelMe is to provide an online annotation tool to build image databases for computer vision research. You can contribute to the database by visiting the annotation tool. • 魁達智慧 - ezLabel ◦ 影片連續標記工具 • Annotorious ◦ Open Source Web 標記工具 • Handl ◦ AI 輔助標記服務，80% AI 標 + 20% 人工標 • LabelBox ◦ 線上標記, 協同標記，目前看到最好用的線上標記工具
57. 訓練 SaaS • Kaggle - Notebook ◦ 功能近似 Jupyter Notebook，免費版速度慢常常開不起來，可以直接掛載 Kaggle 線上訓練 • Google - Colab ◦ 功能近似 Jupyter Notebook，免費 ◦ 可以選擇 GPU/TPU 進行訓練加速, 提供 Ram 12G, Disk 68 GB • Imagga: Custom Model Training ◦ 圖片模型自動訓練， Analyze specific visual data by building custom models. • MonkeyLearn ◦ 文字分類與模型訓練服務，提供 API, Email, Chatbot, Phone 進行整合 • floydhub ◦ 提供 Jupyter Notebook 與 CLI，直接在雲端的機器執行運算 Job 來訓練模型 • Nvidia AI Clara ◦ 醫療影像相關的 Machine Learning 服務，提供 Docker SDK 來 Train Model 與推論，功能相當精 簡
58. 推論 SaaS • KKBOX-AI 自動優化影片 ◦ BlendVision 首先將推出「BlendVision Video Streaming」，結合「按主題編碼技術（ Per-Title Encoding, PTE）」，利用 AI 自動辨別不同位元速率（ Bitrate）進行影片壓縮轉檔，大幅減少傳輸頻 寬、節省儲存空間，有效降低 OTT 平台業者的營運成本。 • 日本德勤用AI雲端推新創支援媒合服務 ◦ 新創企業只要在這套系統上輸入公司的事業範疇以及商業型態，而大型企業則是輸入公司所遭 遇的難題，在經由 AI 人工智慧進行分析比對後，就會將適合進行合作的新創企業，介紹給利用 該服務的大型企業用 戶。 • Imagga: Image Tagging API ◦ Automate Your Image Tagging Process. • AI Clare 語音助理 ◦ 提供多種語系的 AI 語音助理，沒有看到相關 SaaS 服務，算是提供 AI 技術服務的商業模式 • AI Market ◦ 包含各種 API 與應用程式
59. The End sj@toright.com http://blog.toright.com