Modern Machine Learning Delivery - ABEJA Platformで実現する、継続的機械学習とデリバリー

Slide 1

Slide 1 text

DAY 1 “技” Developer Day Modern Machine Learning Delivery ABEJA Platformで実現する継続的機械学習とデリバリー Takanori Ishikawa (ABEJA, Inc.)

Slide 2

Slide 2 text

#abejasix

Slide 3

Slide 3 text

#abejasix Galápagos Islands, 1835 A.D.

Slide 4

Slide 4 text

#abejasix “It is not the strongest of the species that survives, nor the most intelligent that survives. It is the one that is most adaptable to change.”

Slide 5

Slide 5 text

“It is not the strongest of the species that survives, nor the most intelligent that survives. It is the one that is most adaptable to change.”

Slide 6

Slide 6 text

“It is not the strongest of the species that survives, nor the most intelligent that survives. It is the one that is most adaptable to change.”

Slide 7

Slide 7 text

⽣き残る種とは、もっとも強いものではないもっとも知的なものでもないそれは、変化にもっともよく適応したものである

Slide 8

Slide 8 text

⽣き残る種とは、もっとも強いものではないもっとも知的なものでもないそれは、変化にもっともよく適応したものである

Slide 9

Slide 9 text

Human

Slide 10

Slide 10 text

"ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under CC BY-SA 4.0)

Slide 11

Slide 11 text

"ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under CC BY-SA 4.0) 道具を使う⽕を使う認知⾰命農業⾰命科学⾰命産業⾰命情報⾰命

Slide 12

Slide 12 text

"ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under CC BY-SA 4.0) 道具を使う⽕を使う認知⾰命農業⾰命科学⾰命産業⾰命情報⾰命 250万年前 30万年前 7万年前 1万2千年前 500年前 200万年前 70年前

Slide 13

Slide 13 text

"ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under CC BY-SA 4.0) Society 1.0 Society 2.0 Society 3.0 Society 4.0 250万年前 1万2千年前 200万年前 70年前

Slide 14

Slide 14 text

"ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under CC BY-SA 4.0) Society 1.0 Society 2.0 〜

Slide 15

Slide 15 text

"ਓྨͷਐԽ vector γϧΤοτ and outline" © Natasha Sinegina (Licensed under CC BY-SA 4.0) Society 5.0

Slide 16

Slide 16 text

世界のモバイルデータトラフィックの推移予測 0 20 40 60 80 2017 2018 2019 2020 2021 2022 （エクサバイト/⽉間） ग़యɿCisco Visual Networking Index: Global Mobile Data Traffic Forecast Update, 2017–2022 White Paper

Slide 17

Slide 17 text

ग़యɿThe Internet of Things: a movement, not a market (IHS Markit) 世界の IoT デバイス数の推移及び予測 1250億 2030年 270億 2017年

Slide 18

Slide 18 text

Internet

Slide 19

Slide 19 text

Πϯλʔωοτར༻ঢ়گͷਪҠ 0% 20% 40% 60% 80% 100% 1997 1999 2001 2003 2005 2007 2009 2011 2013 2015 2017 ग़యɿʮ௨৴ར༻ಈ޲ௐࠪʯʢ૯຿লʣ

Slide 20

Slide 20 text

No content

Slide 21

Slide 21 text

No content

Slide 22

Slide 22 text

インターネットの端末別利⽤状況 40.3% 59.7% スマートフォン ग़యɿʮ௨৴ར༻ಈ޲ௐࠪʯʢ૯຿লʣ

Slide 23

Slide 23 text

No content

Slide 24

Slide 24 text

No content

Slide 25

Slide 25 text

Things Experience

Slide 26

Slide 26 text

No content

Slide 27

Slide 27 text

No content

Slide 28

Slide 28 text

No content

Slide 29

Slide 29 text

Slide 30

Slide 30 text

No content

Slide 31

Slide 31 text

Enabling AI implementation into businesse With AI, we provide various solutions such as commodities classiﬁcation, maintenance support eﬃciency, behavior analysis of adept workers, and more. We have supported AI implementation for over 150 companies, ranging industries such as manufacturing, infrastructure, logistics, and retail. With our experience and expertise, we provide overall support from AI application to utilization.

Slide 32

Slide 32 text

AI service provided by ABEJA Enabling AI implementation into businesse With AI, we provide various solutions such as commodities classification, maintenance support efficiency, behavior analysis of adept workers, and more. We have supported AI implementation for over 150 companies, ranging industries such as manufacturing, infrastructure, logistics, and retail. With our experience and expertise, we provide overall support from AI application to utilization. ABEJA Platform supports efficient application of Deep Learning in the operation process The ABEJA Insights for retail analyses your custome'sr behavior, such as customer demographic attributes, visitor flow analysis and prediction of repeating customer visits to provide you with a deeper understanding of your customer base. ABEJA has supported leading companies to implement over 100 End-to-End Machine Learning & Deep Learning projects.

Slide 33

Slide 33 text

Data gathered Integration & Analysis Operate retail shops scientiﬁcally, transcending ‘experience’ and ‘gut feeling’ ABEJA Insight for Retail Visualization Action Cloud Dashboard What to know ✓ Underperforming vs. benchmark stores ✓ Reason for underperformance ✓ Identify measures and policies for improvement What to do ✓ Identify underperforming stores and improvement plans quickly ✓ Specify know-how of best practices in your shops and expand horizontally in your organization Easy to mange data visualization Camera Image Analysis Utilizing Deep Learning technology POS Data Weekly e-mail report

Slide 34

Slide 34 text

Product Features Machine Status Customer Demographic Simple UI Unlimited Categories Easily Outsourced Image, Video, Text, Voice ABEJA Platform Annotation Utilize to Tag Beneﬁts Supported Data Types Our Annotation tool and outsourcing service provides a GUI tool that makes creating usable data sets that are suitable for Machine and Deep learning very easy .

Slide 35

Slide 35 text

1. Data saving 2. Annotation 3. Training 4. Deploy 5. Serving 6. Inference 7. Insight ABEJA Platform 1):4*$ "-803-% $ :#&3803-% *P5"DUVBUPS *P54FOTPS &YJTUJOH%BUB 0UIFS4ZTUFN #JH%BUB %FQMPZ .POJUPSJOH &EHF"* *OGFSSJOH $MPVE"* -FBSOJOH*OGFSSJOH *OCPVOE*P5 0VUCPVOE*P5 ABEJA Platform is a platform that provides functions to improve the eﬃciency of machine learning and deep learning implementation and operation. We provide all necessary functions for pipeline with CLI, SDK, API, GUI and accelerate implementation.

Slide 36

Slide 36 text

事業組織 AI の導⼊と活⽤運⽤適応型デリバリーを⽬指してすべてがサービスになる

Slide 37

Slide 37 text

Helping OrganizationsAdapt to AI #abejasix

Slide 38

Slide 38 text

組織事業運⽤ AI の導⼊と活⽤適応型デリバリーを⽬指してすべてがサービスになる

Slide 39

Slide 39 text

API Custom AI Solution

Slide 40

Slide 40 text

API Custom AI Solution

Slide 41

Slide 41 text

⼊店から購買までの消費者⾏動を可視化 ABEJA Insight for Retail

Slide 42

Slide 42 text

API Custom AI Solution

Slide 43

Slide 43 text

ABEJA Platform Accelerator データをアップロードするだけで始められる、プログラミング不要のAIモデル開発パッケージです。画像のクラス識別画像の物体検出画像のセグメンテーション  (リリース予定)

Slide 44

Slide 44 text

API Custom AI Solution

Slide 45

Slide 45 text

Custom AI 機械学習エンジニア学習データの準備組織と運⽤体制の構築

Slide 46

Slide 46 text

Custom AI 機械学習エンジニア学習データの準備組織と運⽤体制の構築

Slide 47

Slide 47 text

Custom AI 機械学習エンジニア学習データの準備組織と運⽤体制の構築

Slide 48

Slide 48 text

ABEJA Platform Annotation 品質の⾼い教師データを⾼速作成

Slide 49

Slide 49 text

Custom AI 機械学習エンジニア学習データの準備組織と運⽤体制の構築

Slide 50

Slide 50 text

Slide 51

Slide 51 text

• 中央集権バージョン管理、オブジェクト指向、テスト駆動開発 • 動的⾔語の台頭、分散バージョン管理 • アジャイル、LEAN • クラウドサービス (IaaS) • DevOps による開発と運⽤の融合ウェブ開発時代

Slide 52

Slide 52 text

• 中央集権バージョン管理、オブジェクト指向、テスト駆動開発 • 動的⾔語の台頭、分散バージョン管理 • アジャイル、LEAN • クラウドサービス (IaaS) • DevOps による、開発と運⽤の融合ウェブ開発時代

Slide 53

Slide 53 text

• 開発担当者と運⽤担当者が連携 • ソフトウェアのビルド、テスト、リリースを迅速にウェブ開発時代 / DevOps による、開発と運⽤の融合

Slide 54

Slide 54 text

• Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤ (MLOps) ML/AI 開発の現場

Slide 55

Slide 55 text

• Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤ (MLOps) ML/AI 開発の現場 (1)

Slide 56

Slide 56 text

• Python 3 • DNN フレームワーク • TensorFlow, MXNet, PyTorch, Keras • Docker による環境構築 • カスタム・イメージのサポート ABEJA Platform / Python ⾔語とフレームワーク

Slide 57

Slide 57 text

• Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤ (MLOps) ML/AI 開発の現場 (2)

Slide 58

Slide 58 text

• GPU または CPU によるノートブックとジョブの管理 • 使われていないノートブックは⾃動で停⽌ • Multi GPU 学習のサポート ABEJA Platform / GPU の確保

Slide 59

Slide 59 text

• Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤ (MLOps) ML/AI 開発の現場 (3)

Slide 60

Slide 60 text

• オーガニゼーション • ロールベースのアクセス制御 • プロジェクト • 開発者同⼠のデータ共有 ABEJA Platform / データを取り扱うロールの増加

Slide 61

Slide 61 text

• Python ⾔語とフレームワーク • GPU の確保 • データを取り扱うロールの増加 • 運⽤ (MLOps) ML/AI 開発の現場 (4)

Slide 62

Slide 62 text

• ワンクリックでデプロイ • ⾃動でスケール • モデルのソースを追跡可能 • 学習ジョブと実⾏ユーザー、データセット、ソースコード • スケジュール実⾏運⽤ (MLOps)

Slide 63

Slide 63 text

No content

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Helping AI Adapt to the Future #abejasix

Slide 66

Slide 66 text

組織事業運⽤ AI の導⼊と活⽤適応型デリバリーを⽬指してすべてがサービスになる

Slide 67

Slide 67 text

։ൃ؀ڥ͔Βຊ൪؀ڥ΁ͷҾ͖౉͠ データ、モデル、結果のバージョン管理冗⻑性やGPUリソースの担保、エッジ側との連携プロセス構築⼤量データの取得に必要なAPIや負担分散の仕組みや準備、セキュリティ担保教師データの作成に必要なツールと⼈材の準備データウェアハウスの準備と管理データのバリエーション（正確性）の確認 0からのモデル設計 GPU環境の準備と⾼度な分散化デプロイ後のモデルの挙動を監視し、必要に応じてモデルをアップデートデータ取得データ蓄積データ確認教師データ作成モデル設計学習評価デプロイ推論再学習教師データ作成デプロイ推論再学習

Slide 68

Slide 68 text

PROTOTYPING Experiment Plan Code WORKFLOW for ML/AI

Slide 69

Slide 69 text

PRODUCTION Deploy Train Evaluation WORKFLOW for ML/AI

Slide 70

Slide 70 text

DATA Cleaning Collection/ Preparation Annotation WORKFLOW for ML/AI

Slide 71

Slide 71 text

CODE Execute Test/Debug Review/ Change WORKFLOW for ML/AI

Slide 72

Slide 72 text

CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI

Slide 73

Slide 73 text

CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Code Execute Review Annotation Experiment

Slide 74

Slide 74 text

CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Cleaning Experiment Train

Slide 75

Slide 75 text

CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Cleaning Experiment Train Plan

Slide 76

Slide 76 text

CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Deploy Plan

Slide 77

Slide 77 text

CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Review Evaluate

Slide 78

Slide 78 text

CODE DATA PROTOTYPE PRODUCTION QUAD CIRCLE WORKFLOW for ML/AI Collection Annotation/ Cleaning Train Deploy Evaluate

Slide 79

Slide 79 text

Continuous Integration and Continuous Delivery matter

Slide 80

Slide 80 text

Code Plan Build Test Release Deploy Monitor CI/CD

Slide 81

Slide 81 text

Code Plan Build Test Release Deploy Monitor CI/CD

Slide 82

Slide 82 text

Slide 83

Slide 83 text

Code Infra Data

Slide 84

Slide 84 text

No content

Slide 85

Slide 85 text

Train Code Dataset Deploy Model

Slide 86

Slide 86 text

No content

Slide 87

Slide 87 text

No content

Slide 88

Slide 88 text

No content

Slide 89

Slide 89 text

Pipeline matters

Slide 90

Slide 90 text

• TFX (Google) • FBLearner (Facebook) • Michelangelo (Uber) • Bighead (Airbnb) 他社事例 • Kubeﬂow • MLﬂow • DVC オープンソース

Slide 91

Slide 91 text

DataLake Dataset Database Notebook Shared File System Training Jobs Code Local Training Evaluation Trained Models Deployed Models Metrics Filter and Queue Pipeline in ABEJA Platform

Slide 92

Slide 92 text

DataLake Dataset Database Notebook Shared File System Training Jobs Code Local Training Evaluation Trained Models Deployed Models Metrics Filter and Queue Pipeline in ABEJA Platform

Slide 93

Slide 93 text

DataLake Dataset Database Notebook Training Jobs Code Local Training Evaluation Trained Models Deployed Models Metrics Filter and Queue Shared File System Pipeline in ABEJA Platform

Slide 94

Slide 94 text

DataLake Dataset Database Notebook Training Jobs Code Local Training Evaluation Trained Models Deployed Models Metrics Filter and Queue Shared File System Pipeline in ABEJA Platform

Slide 95

Slide 95 text

Helping Companies Adapt to the XaaS era #abejasix

Slide 96

Slide 96 text

組織事業運⽤ AI の導⼊と活⽤適応型デリバリーを⽬指してすべてがサービスになる

Slide 97

Slide 97 text

• 業務の効率化によるコスト削減には限界がある • あらゆるもののサービス化が進んでいる • 企業内でのクラウドサービス利⽤が進んでいる事業⾃体も変わっていく可能性がある

Slide 98

Slide 98 text

೔ຊͰ΋൒෼Ҏ্ͷاۀ͕Ϋϥ΢υαʔϏεΛར༻ 0% 50% 100% 2011 2012 2013 2014 2015 2016 2017 ग़యɿʮ௨৴ར༻ಈ޲ௐࠪʯʢ̐ʣΫϥ΢υίϯϐϡʔςΟϯάαʔϏεͷར༻ঢ়گʢ૯຿লʣ 56%

Slide 99

Slide 99 text

Things to Services

Slide 100

Slide 100 text

Slide 101

Slide 101 text

Machine Learning as a Service (MLaaS)

Slide 102

Slide 102 text

MLaaS Manufacture Infrastructure Logistics

Slide 103

Slide 103 text

Slide 104

Slide 104 text

⼊店から購買までの消費者⾏動を可視化 ABEJA Insight for Retail

Slide 105

Slide 105 text

• モデルの管理と運⽤ • 監視のためのメトリクス提供 • ユーザー管理、認証、通知 • 課⾦・決済、サブスクリプション ABEJA Platform for MLaaS

Slide 106

Slide 106 text

Conclusion

Slide 107

Slide 107 text

事業組織 AI の導⼊と活⽤運⽤適応型デリバリーを⽬指してすべてがサービスになる

Slide 108

Slide 108 text

事業組織 AI の導⼊と活⽤運⽤適応型デリバリーを⽬指してすべてがサービスになる

Slide 109

Slide 109 text

事業組織 AI の導⼊と活⽤運⽤適応型デリバリーを⽬指してすべてがサービスになる

Slide 110

Slide 110 text

事業組織 AI の導⼊と活⽤運⽤適応型デリバリーを⽬指してすべてがサービスになる

Slide 111

Slide 111 text

Tomorrow will be announced in many sessions how the technology introduced today is actually used by clients. Please come tomorrow by all means GO Day2 !! - for ABEJA Platform

Slide 112

Slide 112 text

The contents introduced today and the products and services that support the backside of these, We have prepared a booth at the 3F exhibition hall and tell it. Please drop by during the session. GO EXPO 2F 3F Room A Room B Room C Room D Hall ٖؒك٦ة٦ WC ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي Room E ٖؒك٦ة٦ WC ♧菙勻㜥罏「➰ ٝ؟٦ أؙ 闌怴罏「➰ 1F 2F 3F Floor Maps Room A Room B Room C Room D Hall ٖؒك٦ة٦ WC ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي ㉀锑 ٕ٦ي Room E ٖؒك٦ة٦ WC Room W ♧菙勻㜥罏「➰ أهٝ؟٦ رأؙ 闌怴罏「➰ WC ٖؒك٦ة٦ Here

Slide 113

Slide 113 text

After the lecture is over, we are waiting at the Ask the Speaker section of the exhibition area. If you have any questions, please come to this corner after the session ends. See you Ask the Speaker !! ABEJA 17 6 5 4 3 1 2 9 10 11 12 7 8 16 15 ABEJA Ask the Speaker 14 3F Hall ABEJAծ ABEJA Deep Learning ABEJA

Slide 114

Slide 114 text

Thank you! Please give us feedback on this session if you like ID of this session dev-b-4 Feedback will be used to develop products and deliver more information https://goo.gl/forms/erEBAsrQK4XKEv352