$30 off During Our Annual Pro Sale. View Details »

Modern Machine Learning Delivery - ABEJA Platformで実現する、継続的機械学習とデリバリー

ABEJA
March 04, 2019

Modern Machine Learning Delivery - ABEJA Platformで実現する、継続的機械学習とデリバリー

SIX 2019 dev-b-4
Takanori Ishikawa @ABEJA, Inc.

「Modern Machine Learning Delivery - ABEJA Platformで実現する、継続的機械学習とデリバリー」

ABEJA Platformでは出来上がった機械学習モデルのAPIホスティングと運用が簡単にできるだけでなく、スケーラブルなビジネスに発展させるための機能を提供しています。本セッションでは、モデルの個別最適化、Fine Tuning等のABEJA Platformを活用する上での技術ノウハウをお伝えしています。

ABEJA

March 04, 2019
Tweet

More Decks by ABEJA

Other Decks in Technology

Transcript

  1. DAY 1 “技” Developer Day Modern Machine Learning Delivery ABEJA

    Platformで実現する継続的機械学習とデリバリー Takanori Ishikawa (ABEJA, Inc.)
  2. #abejasix

  3. #abejasix Galápagos Islands, 1835 A.D.

  4. #abejasix “It is not the strongest of the species that

    survives, nor the most intelligent that survives. It is the one that is most adaptable to change.”
  5. “It is not the strongest of the species that survives,

    nor the most intelligent that survives. It is the one that is most adaptable to change.”
  6. “It is not the strongest of the species that survives,

    nor the most intelligent that survives. It is the one that is most adaptable to change.”
  7. ⽣き残る種とは、もっとも強いものではない もっとも知的なものでもない それは、変化にもっともよく適応したものである

  8. ⽣き残る種とは、もっとも強いものではない もっとも知的なものでもない それは、変化にもっともよく適応したものである

  9. Human

  10. "ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under

    CC BY-SA 4.0)
  11. "ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under

    CC BY-SA 4.0) 道具を使う ⽕を使う 認知⾰命 農業⾰命 科学⾰命 産業⾰命 情報⾰命
  12. "ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under

    CC BY-SA 4.0) 道具を使う ⽕を使う 認知⾰命 農業⾰命 科学⾰命 産業⾰命 情報⾰命 250万年前 30万年前 7万年前 1万2千年前 500年前 200万年前 70年前
  13. "ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under

    CC BY-SA 4.0) Society 1.0 Society 2.0 Society 3.0 Society 4.0 250万年前 1万2千年前 200万年前 70年前
  14. "ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under

    CC BY-SA 4.0) Society 1.0 Society 2.0 〜
  15. "ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under

    CC BY-SA 4.0) Society 5.0
  16. 世界のモバイルデータトラフィックの推移予測 0 20 40 60 80 2017 2018 2019 2020

    2021 2022 (エクサバイト/⽉間) ग़యɿCisco Visual Networking Index: Global Mobile Data Traffic Forecast Update, 2017–2022 White Paper
  17. ग़యɿThe Internet of Things: a movement, not a market (IHS

    Markit) 世界の IoT デバイス数の 推移及び予測 1250億 2030年 270億 2017年
  18. Internet

  19. Πϯλʔωοτར༻ঢ়گͷਪҠ 0% 20% 40% 60% 80% 100% 1997 1999 2001

    2003 2005 2007 2009 2011 2013 2015 2017 ग़యɿʮ௨৴ར༻ಈ޲ௐࠪʯʢ૯຿লʣ
  20. None
  21. None
  22. インターネットの 端末別利⽤状況 40.3% 59.7% スマートフォン ग़యɿʮ௨৴ར༻ಈ޲ௐࠪʯʢ૯຿লʣ

  23. None
  24. None
  25. Things Experience

  26. None
  27. None
  28. None
  29. powered by AI

  30. None
  31. Enabling AI implementation into businesse With AI, we provide various

    solutions such as commodities classification, maintenance support efficiency, behavior analysis of adept workers, and more. We have supported AI implementation for over 150 companies, ranging industries such as manufacturing, infrastructure, logistics, and retail. With our experience and expertise, we provide overall support from AI application to utilization.
  32. AI service provided by ABEJA Enabling AI implementation into businesse

    With AI, we provide various solutions such as commodities classification, maintenance support efficiency, behavior analysis of adept workers, and more. We have supported AI implementation for over 150 companies, ranging industries such as manufacturing, infrastructure, logistics, and retail. With our experience and expertise, we provide overall support from AI application to utilization. ABEJA Platform supports efficient application of Deep Learning in the operation process The ABEJA Insights for retail analyses your custome'sr behavior, such as customer demographic attributes, visitor flow analysis and prediction of repeating customer visits to provide you with a deeper understanding of your customer base. ABEJA has supported leading companies to implement over 100 End-to-End Machine Learning & Deep Learning projects.
  33. Data gathered Integration & Analysis Operate retail shops scientifically, transcending

    ‘experience’ and ‘gut feeling’ ABEJA Insight for Retail Visualization Action Cloud Dashboard What to know ✓ Underperforming vs. benchmark stores ✓ Reason for underperformance ✓ Identify measures and policies for improvement What to do ✓ Identify underperforming stores and improvement plans quickly ✓ Specify know-how of best practices in your shops and expand horizontally in your organization Easy to mange data visualization Camera Image Analysis Utilizing Deep Learning technology POS Data Weekly e-mail report
  34. Product Features Machine Status Customer Demographic Simple UI Unlimited Categories

    Easily Outsourced Image, Video, Text, Voice ABEJA Platform Annotation Utilize to Tag Benefits Supported Data Types Our Annotation tool and outsourcing service provides a GUI tool that makes creating usable data sets that are suitable for Machine and Deep learning very easy .
  35. 1. Data saving 2. Annotation 3. Training 4. Deploy 5.

    Serving 6. Inference 7. Insight ABEJA Platform 1):4*$ "-803-% $ :#&3803-% *P5"DUVBUPS *P54FOTPS &YJTUJOH%BUB 0UIFS4ZTUFN #JH%BUB %FQMPZ .POJUPSJOH &EHF"* *OGFSSJOH $MPVE"* -FBSOJOH*OGFSSJOH *OCPVOE*P5 0VUCPVOE*P5 ABEJA Platform is a platform that provides functions to improve the efficiency of machine learning and deep learning implementation and operation. We provide all necessary functions for pipeline with CLI, SDK, API, GUI and accelerate implementation.
  36. 事業 組織 AI の導⼊と活⽤ 運⽤ 適応型デリバリーを⽬指して すべてがサービスになる

  37. Helping OrganizationsAdapt to AI #abejasix

  38. 組織 事業 運⽤ AI の導⼊と活⽤ 適応型デリバリーを⽬指して すべてがサービスになる

  39. API Custom AI Solution

  40. API Custom AI Solution

  41. ⼊店から購買までの消費者⾏動を可視化 ABEJA Insight for Retail

  42. API Custom AI Solution

  43. ABEJA Platform Accelerator データをアップロードするだけで始められる、プログラミング不要のAIモデル開発パッケージです。 画像のクラス識別 画像の物体検出 画像のセグメンテーション
 (リリース予定)

  44. API Custom AI Solution

  45. Custom AI 機械学習 エンジニア 学習データ の準備 組織と 運⽤体制の 構築

  46. Custom AI 機械学習 エンジニア 学習データ の準備 組織と 運⽤体制の 構築

  47. Custom AI 機械学習 エンジニア 学習データ の準備 組織と 運⽤体制の 構築

  48. ABEJA Platform Annotation 品質の⾼い教師データを⾼速作成

  49. Custom AI 機械学習 エンジニア 学習データ の準備 組織と 運⽤体制の 構築

  50. 1. Data saving 2. Annotation 3. Training 4. Deploy 5.

    Serving 6. Inference 7. Insight ABEJA Platform 1):4*$ "-803-% $ :#&3803-% *P5"DUVBUPS *P54FOTPS &YJTUJOH%BUB 0UIFS4ZTUFN #JH%BUB %FQMPZ .POJUPSJOH &EHF"* *OGFSSJOH $MPVE"* -FBSOJOH*OGFSSJOH *OCPVOE*P5 0VUCPVOE*P5 ABEJA Platform is a platform that provides functions to improve the efficiency of machine learning and deep learning implementation and operation. We provide all necessary functions for pipeline with CLI, SDK, API, GUI and accelerate implementation.
  51. • 中央集権バージョン管理、オブジェクト指向、テスト駆動開発 • 動的⾔語の台頭、分散バージョン管理 • アジャイル、LEAN • クラウドサービス (IaaS) •

    DevOps による開発と運⽤の融合 ウェブ開発時代
  52. • 中央集権バージョン管理、オブジェクト指向、テスト駆動開発 • 動的⾔語の台頭、分散バージョン管理 • アジャイル、LEAN • クラウドサービス (IaaS) •

    DevOps による、開発と運⽤の融合 ウェブ開発時代
  53. • 開発担当者と運⽤担当者が連携 • ソフトウェアのビルド、テスト、リリースを迅速に ウェブ開発時代 / DevOps による、開発と運⽤の融合

  54. • Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤

    (MLOps) ML/AI 開発の現場
  55. • Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤

    (MLOps) ML/AI 開発の現場 (1)
  56. • Python 3 • DNN フレームワーク • TensorFlow, MXNet, PyTorch,

    Keras • Docker による環境構築 • カスタム・イメージのサポート ABEJA Platform / Python ⾔語とフレームワーク
  57. • Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤

    (MLOps) ML/AI 開発の現場 (2)
  58. • GPU または CPU によるノートブックとジョブの管理 • 使われていないノートブックは⾃動で停⽌ • Multi GPU

    学習のサポート ABEJA Platform / GPU の確保
  59. • Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤

    (MLOps) ML/AI 開発の現場 (3)
  60. • オーガニゼーション • ロールベースのアクセス制御 • プロジェクト • 開発者同⼠のデータ共有 ABEJA Platform

    / データを取り扱うロールの増加
  61. • Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤

    (MLOps) ML/AI 開発の現場 (4)
  62. • ワンクリックでデプロイ • ⾃動でスケール • モデルのソースを追跡可能 • 学習ジョブと実⾏ユーザー、データセット、ソースコード • スケジュール実⾏

    運⽤ (MLOps)
  63. None
  64. • ワンクリックでデプロイ • ⾃動でスケール • モデルのソースを追跡可能 • 学習ジョブと実⾏ユーザー、データセット、ソースコード • スケジュール実⾏

    運⽤ (MLOps)
  65. Helping AI Adapt to the Future #abejasix

  66. 組織 事業 運⽤ AI の導⼊と活⽤ 適応型デリバリーを⽬指して すべてがサービスになる

  67. ։ൃ؀ڥ͔Βຊ൪؀ڥ΁ͷҾ͖౉͠ データ、モデル、結果のバージョン管理 冗⻑性やGPUリソースの担保、 エッジ側との連携プロセス構築 ⼤量データの取得に必要なAPIや負担分 散の仕組みや準備、セキュリティ担保 教師データの作成に必要なツールと⼈材の準備 データウェアハウス の準備と管理 データのバリエーション(正確性)の確認

    0からのモデル設計 GPU環境の準備 と⾼度な分散化 デプロイ後のモデルの挙動を監視し、 必要に応じてモデルをアップデート データ 取得 データ 蓄積 データ 確認 教師 データ 作成 モデル 設計 学習 評価 デプロイ 推論 再学習 教師 データ 作成 デプロイ 推論 再学習
  68. PROTOTYPING Experiment Plan Code WORKFLOW for ML/AI

  69. PRODUCTION Deploy Train Evaluation WORKFLOW for ML/AI

  70. DATA Cleaning Collection/ Preparation Annotation WORKFLOW for ML/AI

  71. CODE Execute Test/Debug Review/ Change WORKFLOW for ML/AI

  72. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI

  73. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Code

    Execute Review Annotation Experiment
  74. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Cleaning

    Experiment Train
  75. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Cleaning

    Experiment Train Plan
  76. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Deploy

    Plan
  77. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Review

    Evaluate
  78. CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Collection

    Annotation/ Cleaning Train Deploy Evaluate
  79. Continuous Integration and Continuous Delivery matter

  80. Code Plan Build Test Release Deploy Monitor CI/CD

  81. Code Plan Build Test Release Deploy Monitor CI/CD

  82. "GitLab Continuous Integration (GitLab CI/CD)" © GitLab (Licensed under CC

    BY-SA 4.0)
  83. Code Infra Data

  84. None
  85. Train Code Dataset Deploy Model

  86. None
  87. None
  88. None
  89. Pipeline matters

  90. • TFX (Google) • FBLearner (Facebook) • Michelangelo (Uber) •

    Bighead (Airbnb) 他社事例 • Kubeflow • MLflow • DVC オープンソース
  91. DataLake Dataset Database Notebook Shared File System Training Jobs Code

    Local Training Evaluation Trained Models Deployed Models Metrics Filter and Queue Pipeline in ABEJA Platform
  92. DataLake Dataset Database Notebook Shared File System Training Jobs Code

    Local Training Evaluation Trained Models Deployed Models Metrics Filter and Queue Pipeline in ABEJA Platform
  93. DataLake Dataset Database Notebook Training Jobs Code Local Training Evaluation

    Trained Models Deployed Models Metrics Filter and Queue Shared File System Pipeline in ABEJA Platform
  94. DataLake Dataset Database Notebook Training Jobs Code Local Training Evaluation

    Trained Models Deployed Models Metrics Filter and Queue Shared File System Pipeline in ABEJA Platform
  95. Helping Companies Adapt to the XaaS era #abejasix

  96. 組織 事業 運⽤ AI の導⼊と活⽤ 適応型デリバリーを⽬指して すべてがサービスになる

  97. • 業務の効率化によるコスト削減には限界がある • あらゆるもののサービス化が進んでいる • 企業内でのクラウドサービス利⽤が進んでいる 事業⾃体も変わっていく可能性がある

  98. ೔ຊͰ΋൒෼Ҏ্ͷاۀ͕Ϋϥ΢υαʔϏεΛར༻ 0% 50% 100% 2011 2012 2013 2014 2015 2016

    2017 ग़యɿʮ௨৴ར༻ಈ޲ௐࠪʯʢ̐ʣΫϥ΢υίϯϐϡʔςΟϯάαʔϏεͷར༻ঢ়گʢ૯຿লʣ 56%
  99. Things to Services

  100. Copyright © ABEJA, Inc. All rights reserved. 菊池 佑太 株式会社ABEJA

    執⾏役員 Yuta Kikuchi GO Day2 !!
  101. Machine Learning as a Service (MLaaS)

  102. MLaaS Manufacture Infrastructure Logistics

  103. ABEJA Platform Accelerator データをアップロードするだけで始められる、プログラミング不要のAIモデル開発パッケージです。 画像のクラス識別 画像の物体検出 画像のセグメンテーション
 (リリース予定)

  104. ⼊店から購買までの消費者⾏動を可視化 ABEJA Insight for Retail

  105. • モデルの管理と運⽤ • 監視のためのメトリクス提供 • ユーザー管理、認証、通知 • 課⾦・決済、サブスクリプション ABEJA Platform

    for MLaaS
  106. Conclusion

  107. 事業 組織 AI の導⼊と活⽤ 運⽤ 適応型デリバリーを⽬指して すべてがサービスになる

  108. 事業 組織 AI の導⼊と活⽤ 運⽤ 適応型デリバリーを⽬指して すべてがサービスになる

  109. 事業 組織 AI の導⼊と活⽤ 運⽤ 適応型デリバリーを⽬指して すべてがサービスになる

  110. 事業 組織 AI の導⼊と活⽤ 運⽤ 適応型デリバリーを⽬指して すべてがサービスになる

  111. Tomorrow will be announced in many sessions how the technology

    introduced today is actually used by clients. Please come tomorrow by all means GO Day2 !! - for ABEJA Platform
  112. The contents introduced today and the products and services that

    support the backside of these, We have prepared a booth at the 3F exhibition hall and tell it. Please drop by during the session. GO EXPO 2F 3F Room A Room B Room C Room D Hall ٖؒك٦ة٦ WC ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي Room E ٖؒك٦ة٦ WC ♧菙勻㜥罏「➰ ٝ؟٦ أؙ 闌怴罏 「➰ 1F 2F 3F Floor Maps Room A Room B Room C Room D Hall ٖؒك٦ة٦ WC ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي Room E ٖؒك٦ة٦ WC Room W ♧菙勻㜥罏「➰ أهٝ؟٦ رأؙ 闌怴罏 「➰ WC ٖؒك٦ة٦ Here
  113. After the lecture is over, we are waiting at the

    Ask the Speaker section of the exhibition area. If you have any questions, please come to this corner after the session ends. See you Ask the Speaker !! ABEJA 17 6 5 4 3 1 2 9 10 11 12 7 8 16 15 ABEJA Ask the Speaker 14 3F Hall ABEJAծ ABEJA Deep Learning ABEJA
  114. Thank you! Please give us feedback on this session if

    you like ID of this session dev-b-4 Feedback will be used to develop products and deliver more information https://goo.gl/forms/erEBAsrQK4XKEv352