Modern Machine Learning Delivery - ABEJA Platformで実現する、継続的機械学習とデリバリー

SIX 2019 dev-b-4
Takanori Ishikawa @ABEJA, Inc.

「Modern Machine Learning Delivery - ABEJA Platformで実現する、継続的機械学習とデリバリー」

ABEJA Platformでは出来上がった機械学習モデルのAPIホスティングと運用が簡単にできるだけでなく、スケーラブルなビジネスに発展させるための機能を提供しています。本セッションでは、モデルの個別最適化、Fine Tuning等のABEJA Platformを活用する上での技術ノウハウをお伝えしています。

Transcript

1. DAY 1 “技” Developer Day Modern Machine Learning Delivery ABEJA Platformで実現する継続的機械学習とデリバリー Takanori Ishikawa (ABEJA, Inc.)
2. #abejasix
3. #abejasix Galápagos Islands, 1835 A.D.
4. #abejasix “It is not the strongest of the species that survives, nor the most intelligent that survives. It is the one that is most adaptable to change.”
5. “It is not the strongest of the species that survives, nor the most intelligent that survives. It is the one that is most adaptable to change.”
6. “It is not the strongest of the species that survives, nor the most intelligent that survives. It is the one that is most adaptable to change.”
7. ⽣き残る種とは、もっとも強いものではない もっとも知的なものでもない それは、変化にもっともよく適応したものである
8. ⽣き残る種とは、もっとも強いものではない もっとも知的なものでもない それは、変化にもっともよく適応したものである
9. Human
10. "ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under CC BY-SA 4.0)
11. "ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under CC BY-SA 4.0) 道具を使う ⽕を使う 認知⾰命 農業⾰命 科学⾰命 産業⾰命 情報⾰命
12. "ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under CC BY-SA 4.0) 道具を使う ⽕を使う 認知⾰命 農業⾰命 科学⾰命 産業⾰命 情報⾰命 250万年前 30万年前 7万年前 1万2千年前 500年前 200万年前 70年前
13. "ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under CC BY-SA 4.0) Society 1.0 Society 2.0 Society 3.0 Society 4.0 250万年前 1万2千年前 200万年前 70年前
14. "ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under CC BY-SA 4.0) Society 1.0 Society 2.0 〜
15. "ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under CC BY-SA 4.0) Society 5.0
16. 世界のモバイルデータトラフィックの推移予測 0 20 40 60 80 2017 2018 2019 2020 2021 2022 （エクサバイト/⽉間） ग़యɿCisco Visual Networking Index: Global Mobile Data Traffic Forecast Update, 2017–2022 White Paper
17. ग़యɿThe Internet of Things: a movement, not a market (IHS Markit) 世界の IoT デバイス数の 推移及び予測 1250億 2030年 270億 2017年
18. Internet
19. Πϯλʔωοτར༻ঢ়گͷਪҠ 0% 20% 40% 60% 80% 100% 1997 1999 2001 2003 2005 2007 2009 2011 2013 2015 2017 ग़యɿʮ௨৴ར༻ಈ޲ௐࠪʯʢ૯຿লʣ
22. インターネットの 端末別利⽤状況 40.3% 59.7% スマートフォン ग़యɿʮ௨৴ར༻ಈ޲ௐࠪʯʢ૯຿লʣ
25. Things Experience
29. powered by AI
31. Enabling AI implementation into businesse With AI, we provide various solutions such as commodities classification, maintenance support efficiency, behavior analysis of adept workers, and more. We have supported AI implementation for over 150 companies, ranging industries such as manufacturing, infrastructure, logistics, and retail. With our experience and expertise, we provide overall support from AI application to utilization.
32. AI service provided by ABEJA Enabling AI implementation into businesse With AI, we provide various solutions such as commodities classification, maintenance support efficiency, behavior analysis of adept workers, and more. We have supported AI implementation for over 150 companies, ranging industries such as manufacturing, infrastructure, logistics, and retail. With our experience and expertise, we provide overall support from AI application to utilization. ABEJA Platform supports efficient application of Deep Learning in the operation process The ABEJA Insights for retail analyses your custome'sr behavior, such as customer demographic attributes, visitor flow analysis and prediction of repeating customer visits to provide you with a deeper understanding of your customer base. ABEJA has supported leading companies to implement over 100 End-to-End Machine Learning & Deep Learning projects.
33. Data gathered Integration & Analysis Operate retail shops scientifically, transcending ‘experience’ and ‘gut feeling’ ABEJA Insight for Retail Visualization Action Cloud Dashboard What to know ✓ Underperforming vs. benchmark stores ✓ Reason for underperformance ✓ Identify measures and policies for improvement What to do ✓ Identify underperforming stores and improvement plans quickly ✓ Specify know-how of best practices in your shops and expand horizontally in your organization Easy to mange data visualization Camera Image Analysis Utilizing Deep Learning technology POS Data Weekly e-mail report
34. Product Features Machine Status Customer Demographic Simple UI Unlimited Categories Easily Outsourced Image, Video, Text, Voice ABEJA Platform Annotation Utilize to Tag Benefits Supported Data Types Our Annotation tool and outsourcing service provides a GUI tool that makes creating usable data sets that are suitable for Machine and Deep learning very easy .
35. 1. Data saving 2. Annotation 3. Training 4. Deploy 5. Serving 6. Inference 7. Insight ABEJA Platform 1):4*$ "-
    803-% $ :#&3
    803-% *P5
    "DUVBUPS *P54FOTPS &YJTUJOH
    %BUB 0UIFS
    4ZTUFN #JH
    %BUB %FQMPZ .POJUPSJOH &EHF
    "* *OGFSSJOH $MPVE
    "* -FBSOJOH
    
    *OGFSSJOH *OCPVOE
    *P5 0VUCPVOE
    *P5 ABEJA Platform is a platform that provides functions to improve the efficiency of machine learning and deep learning implementation and operation. We provide all necessary functions for pipeline with CLI, SDK, API, GUI and accelerate implementation.
36. 事業 組織 AI の導⼊と活⽤ 運⽤ 適応型デリバリーを⽬指して すべてがサービスになる
37. Helping OrganizationsAdapt to AI #abejasix
38. 組織 事業 運⽤ AI の導⼊と活⽤ 適応型デリバリーを⽬指して すべてがサービスになる
39. API Custom AI Solution
40. API Custom AI Solution
41. ⼊店から購買までの消費者⾏動を可視化 ABEJA Insight for Retail
42. API Custom AI Solution
43. ABEJA Platform Accelerator データをアップロードするだけで始められる、プログラミング不要のAIモデル開発パッケージです。 画像のクラス識別 画像の物体検出 画像のセグメンテーション
 (リリース予定)
44. API Custom AI Solution
45. Custom AI 機械学習 エンジニア 学習データ の準備 組織と 運⽤体制の 構築
46. Custom AI 機械学習 エンジニア 学習データ の準備 組織と 運⽤体制の 構築
47. Custom AI 機械学習 エンジニア 学習データ の準備 組織と 運⽤体制の 構築
48. ABEJA Platform Annotation 品質の⾼い教師データを⾼速作成
49. Custom AI 機械学習 エンジニア 学習データ の準備 組織と 運⽤体制の 構築
50. 1. Data saving 2. Annotation 3. Training 4. Deploy 5. Serving 6. Inference 7. Insight ABEJA Platform 1):4*$ "-
    803-% $ :#&3
    803-% *P5
    "DUVBUPS *P54FOTPS &YJTUJOH
    %BUB 0UIFS
    4ZTUFN #JH
    %BUB %FQMPZ .POJUPSJOH &EHF
    "* *OGFSSJOH $MPVE
    "* -FBSOJOH
    
    *OGFSSJOH *OCPVOE
    *P5 0VUCPVOE
    *P5 ABEJA Platform is a platform that provides functions to improve the efficiency of machine learning and deep learning implementation and operation. We provide all necessary functions for pipeline with CLI, SDK, API, GUI and accelerate implementation.
51. • 中央集権バージョン管理、オブジェクト指向、テスト駆動開発 • 動的⾔語の台頭、分散バージョン管理 • アジャイル、LEAN • クラウドサービス (IaaS) • DevOps による開発と運⽤の融合 ウェブ開発時代
52. • 中央集権バージョン管理、オブジェクト指向、テスト駆動開発 • 動的⾔語の台頭、分散バージョン管理 • アジャイル、LEAN • クラウドサービス (IaaS) • DevOps による、開発と運⽤の融合 ウェブ開発時代
53. • 開発担当者と運⽤担当者が連携 • ソフトウェアのビルド、テスト、リリースを迅速に ウェブ開発時代 / DevOps による、開発と運⽤の融合
54. • Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤ (MLOps) ML/AI 開発の現場
55. • Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤ (MLOps) ML/AI 開発の現場 (1)
56. • Python 3 • DNN フレームワーク • TensorFlow, MXNet, PyTorch, Keras • Docker による環境構築 • カスタム・イメージのサポート ABEJA Platform / Python ⾔語とフレームワーク
57. • Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤ (MLOps) ML/AI 開発の現場 (2)
58. • GPU または CPU によるノートブックとジョブの管理 • 使われていないノートブックは⾃動で停⽌ • Multi GPU 学習のサポート ABEJA Platform / GPU の確保
59. • Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤ (MLOps) ML/AI 開発の現場 (3)
60. • オーガニゼーション • ロールベースのアクセス制御 • プロジェクト • 開発者同⼠のデータ共有 ABEJA Platform / データを取り扱うロールの増加
61. • Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤ (MLOps) ML/AI 開発の現場 (4)
62. • ワンクリックでデプロイ • ⾃動でスケール • モデルのソースを追跡可能 • 学習ジョブと実⾏ユーザー、データセット、ソースコード • スケジュール実⾏ 運⽤ (MLOps)
64. • ワンクリックでデプロイ • ⾃動でスケール • モデルのソースを追跡可能 • 学習ジョブと実⾏ユーザー、データセット、ソースコード • スケジュール実⾏ 運⽤ (MLOps)
65. Helping AI Adapt to the Future #abejasix
66. 組織 事業 運⽤ AI の導⼊と活⽤ 適応型デリバリーを⽬指して すべてがサービスになる
67. ։ൃ؀ڥ͔Βຊ൪؀ڥ΁ͷҾ͖౉͠ データ、モデル、結果のバージョン管理 冗⻑性やGPUリソースの担保、 エッジ側との連携プロセス構築 ⼤量データの取得に必要なAPIや負担分 散の仕組みや準備、セキュリティ担保 教師データの作成に必要なツールと⼈材の準備 データウェアハウス の準備と管理 データのバリエーション（正確性）の確認 0からのモデル設計 GPU環境の準備 と⾼度な分散化 デプロイ後のモデルの挙動を監視し、 必要に応じてモデルをアップデート データ 取得 データ 蓄積 データ 確認 教師 データ 作成 モデル 設計 学習 評価 デプロイ 推論 再学習 教師 データ 作成 デプロイ 推論 再学習
68. PROTOTYPING Experiment Plan Code WORKFLOW for ML/AI
69. PRODUCTION Deploy Train Evaluation WORKFLOW for ML/AI
70. DATA Cleaning Collection/ Preparation Annotation WORKFLOW for ML/AI
71. CODE Execute Test/Debug Review/ Change WORKFLOW for ML/AI
72. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI
73. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Code Execute Review Annotation Experiment
74. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Cleaning Experiment Train
75. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Cleaning Experiment Train Plan
76. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Deploy Plan
77. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Review Evaluate
78. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Collection Annotation/ Cleaning Train Deploy Evaluate
79. Continuous Integration and Continuous Delivery matter
80. Code Plan Build Test Release Deploy Monitor CI/CD
81. Code Plan Build Test Release Deploy Monitor CI/CD
82. "GitLab Continuous Integration (GitLab CI/CD)" © GitLab (Licensed under CC BY-SA 4.0)
83. Code Infra Data
85. Train Code Dataset Deploy Model
89. Pipeline matters
90. • TFX (Google) • FBLearner (Facebook) • Michelangelo (Uber) • Bighead (Airbnb) 他社事例 • Kubeflow • MLflow • DVC オープンソース
91. DataLake Dataset Database Notebook Shared File System Training Jobs Code Local Training Evaluation Trained Models Deployed Models Metrics Filter and Queue Pipeline in ABEJA Platform
92. DataLake Dataset Database Notebook Shared File System Training Jobs Code Local Training Evaluation Trained Models Deployed Models Metrics Filter and Queue Pipeline in ABEJA Platform
93. DataLake Dataset Database Notebook Training Jobs Code Local Training Evaluation Trained Models Deployed Models Metrics Filter and Queue Shared File System Pipeline in ABEJA Platform
94. DataLake Dataset Database Notebook Training Jobs Code Local Training Evaluation Trained Models Deployed Models Metrics Filter and Queue Shared File System Pipeline in ABEJA Platform
95. Helping Companies Adapt to the XaaS era #abejasix
96. 組織 事業 運⽤ AI の導⼊と活⽤ 適応型デリバリーを⽬指して すべてがサービスになる
97. • 業務の効率化によるコスト削減には限界がある • あらゆるもののサービス化が進んでいる • 企業内でのクラウドサービス利⽤が進んでいる 事業⾃体も変わっていく可能性がある
98. ೔ຊͰ΋൒෼Ҏ্ͷاۀ͕Ϋϥ΢υαʔϏεΛར༻ 0% 50% 100% 2011 2012 2013 2014 2015 2016 2017 ग़యɿʮ௨৴ར༻ಈ޲ௐࠪʯʢ̐ʣΫϥ΢υίϯϐϡʔςΟϯάαʔϏεͷར༻ঢ়گʢ૯຿লʣ 56%
99. Things to Services
100. Copyright © ABEJA, Inc. All rights reserved. 菊池 佑太 株式会社ABEJA 執⾏役員 Yuta Kikuchi GO Day2 !!
101. Machine Learning as a Service (MLaaS)
102. MLaaS Manufacture Infrastructure Logistics
103. ABEJA Platform Accelerator データをアップロードするだけで始められる、プログラミング不要のAIモデル開発パッケージです。 画像のクラス識別 画像の物体検出 画像のセグメンテーション
 (リリース予定)
104. ⼊店から購買までの消費者⾏動を可視化 ABEJA Insight for Retail
105. • モデルの管理と運⽤ • 監視のためのメトリクス提供 • ユーザー管理、認証、通知 • 課⾦・決済、サブスクリプション ABEJA Platform for MLaaS
106. Conclusion
107. 事業 組織 AI の導⼊と活⽤ 運⽤ 適応型デリバリーを⽬指して すべてがサービスになる
108. 事業 組織 AI の導⼊と活⽤ 運⽤ 適応型デリバリーを⽬指して すべてがサービスになる
109. 事業 組織 AI の導⼊と活⽤ 運⽤ 適応型デリバリーを⽬指して すべてがサービスになる
110. 事業 組織 AI の導⼊と活⽤ 運⽤ 適応型デリバリーを⽬指して すべてがサービスになる
111. Tomorrow will be announced in many sessions how the technology introduced today is actually used by clients. Please come tomorrow by all means GO Day2 !! - for ABEJA Platform
112. The contents introduced today and the products and services that support the backside of these, We have prepared a booth at the 3F exhibition hall and tell it. Please drop by during the session. GO EXPO 2F 3F Room A Room B Room C Room D Hall ٖؒك٦ة٦ WC ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي Room E ٖؒك٦ة٦ WC ♧菙勻㜥罏「➰ ٝ؟٦ أؙ 闌怴罏 「➰ 1F 2F 3F Floor Maps Room A Room B Room C Room D Hall ٖؒك٦ة٦ WC ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي Room E ٖؒك٦ة٦ WC Room W ♧菙勻㜥罏「➰ أهٝ؟٦ رأؙ 闌怴罏 「➰ WC ٖؒك٦ة٦ Here
113. After the lecture is over, we are waiting at the Ask the Speaker section of the exhibition area. If you have any questions, please come to this corner after the session ends. See you Ask the Speaker !! ABEJA 17 6 5 4 3 1 2 9 10 11 12 7 8 16 15 ABEJA Ask the Speaker 14 3F Hall ABEJAծ ABEJA Deep Learning ABEJA
114. Thank you! Please give us feedback on this session if you like ID of this session dev-b-4 Feedback will be used to develop products and deliver more information https://goo.gl/forms/erEBAsrQK4XKEv352