AI×IoT×ビックデータ時代におけるリファレンスアーキテクチャへの挑戦

Slide 1

Slide 1 text

DAY 1 “技” Developer Day A Challenge to Reference Architecture in Next Generation Yuta Nakagawa ABEJA, Inc. Lead Research Engineer

Slide 2

Slide 2 text

No content

Slide 3

Slide 3 text

Agenda リファレンスアーキテクチャポイント解説次なる挑戦

Slide 4

Slide 4 text

中川裕太 Insight for Retail Lead Research Engineer @ ABEJA

Slide 5

Slide 5 text

No content

Slide 6

Slide 6 text

No content

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

リファレンスアーキテクチャポイント解説次なる挑戦

Slide 10

Slide 10 text

Insight for Retail

Slide 11

Slide 11 text

No content

Slide 12

Slide 12 text

Slide 13

Slide 13 text

導入企業（一部） 120社700店舗以上への導入実績(2019年3月時点) 29% 21% 14% 10% 6% 5% 3% 3% 10% 雑貨アパレル商業施設ドラッグストア車・バイク観光コンビニ食品その他

Slide 14

Slide 14 text

GO Day2 !! Tomorrow will be announced in many sessions how the technology introduced today is actually used by clients. Please come tomorrow by all means

Slide 15

Slide 15 text

AI × IoT × Big Data 時代におけるリファレンスアーキテクチャ Maintenance Monitoring Device Data Analysis Dashboard

Slide 16

Slide 16 text

リファレンスアーキテクチャのポイント最新の技術を取り込むシステムアーキテクチャ実世界から学ぶ監視機械と人間による価値共創

Slide 17

Slide 17 text

リファレンスアーキテクチャポイント解説次なる挑戦

Slide 18

Slide 18 text

最新の技術を取り込むシステムアーキテクチャ実世界から学ぶ監視機械と人間による価値共創

Slide 19

Slide 19 text

Deep Learning の研究速度はえげつなく早い Cf. Labeled Faces in the Wild Results (http://vis-www.cs.umass.edu/lfw/results.html)

Slide 20

Slide 20 text

多くのモデルはすでに公開されている

Slide 21

Slide 21 text

ただし、実装フレームワークはさまざま

Slide 22

Slide 22 text

しかも、フレームワークが競合することも 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(+0x2236c0) [0x7f24df4dc6c0] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(_PyFunction_FastCallDict+0x2b7) [0x7f24df4de7c7] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(_PyObject_FastCallDict+0x18e) [0x7f24df4ad10e] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(_PyObject_CallMethodIdObjArgs+0xea) [0x7f24df4ec5ca] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(PyImport_ImportModuleLevelObject+0x27c) [0x7f24df41ec4c] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(_PyEval_EvalFrameDefault+0x703e) [0x7f24df4a164e] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(+0x22543c) [0x7f24df4de43c] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(PyEval_EvalCodeEx+0x3e) [0x7f24df4deebe] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(PyEval_EvalCode+0x1b) [0x7f24df49a36b] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(+0x1ecb3d) [0x7f24df4a5b3d] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(PyCFunction_Call+0xc9) [0x7f24df348eb9] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(_PyEval_EvalFrameDefault+0x6a51) [0x7f24df4a1061] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(+0x22543c) [0x7f24df4de43c] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(+0x2259c7) [0x7f24df4de9c7] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(_PyEval_EvalFrameDefault+0x469f) [0x7f24df49ecaf] 2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(+0x2236c0) [0x7f24df4dc6c0]

Slide 23

Slide 23 text

マイクロサービスで最新の技術を素早く安全に取り込む 24

Slide 24

Slide 24 text

機械学習のモデルは金食い虫

Slide 25

Slide 25 text

データの量と特性によって原価が変動する

Slide 26

Slide 26 text

データの量と特性に合わせてリソースをオートスケールさせる 27

Slide 27

Slide 27 text

最新の技術を取り込むシステムアーキテクチャ実世界から学ぶ監視機械と人間による価値共創マイクロサービスで最新の技術を素早く安全に取り込むデータの量と特性に合わせてリソースをオートスケールさせる

Slide 28

Slide 28 text

システムアーキテクチャ camera camera queue model A model B model C model D aggregator dashboard analysis DAG

Slide 29

Slide 29 text

今日、話す部分 camera camera queue model A model B model C model D aggregator dashboard analysis DAG

Slide 30

Slide 30 text

Slide 31

Slide 31 text

最新の技術の取り込み queue model A model B model C model D

Slide 32

Slide 32 text

model B と同じ機能を持った model B+ が開発される model B model B+

Slide 33

Slide 33 text

model B を取り換える queue model A model B+ model C model D

Slide 34

Slide 34 text

model Cよりもmodel E と Fを組み合わせた方がよいと知る model C model E model F

Slide 35

Slide 35 text

DAG を組み替える queue model A model B model D model E model F

Slide 36

Slide 36 text

Slide 37

Slide 37 text

リソースのオートスケール queue model A model B model C model D

Slide 38

Slide 38 text

動画が queue に溜まり始める queue model A model B model C model D

Slide 39

Slide 39 text

model A をオートスケールさせる model A model B model C model D model A queue

Slide 40

Slide 40 text

model の負荷に合わせてオートスケールを伝播させる queue model A model B model C model D model A model B model D model D

Slide 41

Slide 41 text

リファレンスアーキテクチャの効果精度の高い最新のモデルを組み合わせられるように大幅に原価削減し8万円/月で提供可能に

Slide 42

Slide 42 text

最新の技術を取り込むシステムアーキテクチャ実世界から学ぶ監視機械と人間による価値共創

Slide 43

Slide 43 text

E2Eから始めて、CPU・メモリ・DB負荷などでしょうか

Slide 44

Slide 44 text

物理世界でも障害は発生する

Slide 45

Slide 45 text

気付きにくい障害もちらほら

Slide 46

Slide 46 text

実は電源がしっかり刺さっていませんでした

Slide 47

Slide 47 text

解析遅延によりデータが取得できないことも

Slide 48

Slide 48 text

データフローに着目しデリバリーを可視化・監視する

Slide 49

Slide 49 text

モデルは環境によって精度が異なる

Slide 50

Slide 50 text

1日のうちで物理環境は変化する

Slide 51

Slide 51 text

数か月単位で物理環境が一気に変わることもある

Slide 52

Slide 52 text

結果として、精度傾向が変わることもしばしば

Slide 53

Slide 53 text

精度に関するメトリクスを可視化しデータ自体を監視する

Slide 54

Slide 54 text

最新の技術を取り込むシステムアーキテクチャ実世界から学ぶ監視機械と人間による価値共創データフローに着目しデリバリーを可視化・監視する精度に関するメトリクスを可視化しデータ自体を監視する

Slide 55

Slide 55 text

Slide 56

Slide 56 text

監視アーキテクチャ queue analysis DAG aggregator dashboard camera monitoring

Slide 57

Slide 57 text

各サービスがリソース状況を送る queue analysis DAG aggregator dashboard camera monitoring

Slide 58

Slide 58 text

データフローに合わせてタイムスタンプを送る queue analysis DAG aggregator dashboard camera monitoring

Slide 59

Slide 59 text

データフローに合わせてタイムスタンプを送る queue analysis DAG aggregator dashboard camera monitoring 2019/3/4 14:40:00

Slide 60

Slide 60 text

データフローに合わせてタイムスタンプを送る queue analysis DAG aggregator dashboard camera monitoring 2019/3/4 14:40:30

Slide 61

Slide 61 text

データフローに合わせてタイムスタンプを送る queue analysis DAG aggregator dashboard camera monitoring 2019/3/4 14:41:30

Slide 62

Slide 62 text

データフローに合わせてタイムスタンプを送る queue analysis DAG aggregator dashboard camera monitoring 2019/3/4 15:00:00

Slide 63

Slide 63 text

データフローに合わせてタイムスタンプを送る queue analysis DAG aggregator dashboard camera monitoring 2019/3/4 15:00:30

Slide 64

Slide 64 text

データデリバリー状況を一覧で表示

Slide 65

Slide 65 text

Slide 66

Slide 66 text

正面顔率の可視化

Slide 67

Slide 67 text

精度メトリクスを可視化しているから気付けること

Slide 68

Slide 68 text

実世界のPDCAをまわすきっかけを得る

Slide 69

Slide 69 text

リファレンスアーキテクチャの効果プロアクティブな対応が可能となり問合せ件数40%減運用PDCAをまわし200%以上の成長にも対応可能に

Slide 70

Slide 70 text

最新の技術を取り込むシステムアーキテクチャ実世界から学ぶ監視機械と人間による価値共創

Slide 71

Slide 71 text

機械にはできない仕事が多くある

Slide 72

Slide 72 text

人間がスケールのボトルネックになることも

Slide 73

Slide 73 text

機械にできない仕事はヒューマンリソースを効率的に利用する

Slide 74

Slide 74 text

機械は完璧ではない Szegedy et al. (2013)

Slide 75

Slide 75 text

人間も完璧じゃない

Slide 76

Slide 76 text

人間を自然な形で「パーツ」として組み込む Cf. http://www.captcha.net/

Slide 77

Slide 77 text

機械と人間の特性を加味して全体フローを設計する

Slide 78

Slide 78 text

最新の技術を取り込むシステムアーキテクチャ実世界から学ぶ監視機械と人間による価値共創機械にできない仕事はヒューマンリソースを効率的に利用する機械と人間の特性を加味して全体フローを設計する

Slide 79

Slide 79 text

Slide 80

Slide 80 text

プロダクトを中心にサポートと開発が連携できる組織つくりマーケターインサイドセールスセールスサポートサクセスリサーチャーデベロッパー

Slide 81

Slide 81 text

マニュアル化と継続的な改善

Slide 82

Slide 82 text

サポートツールの開発

Slide 83

Slide 83 text

Slide 84

Slide 84 text

データ提供までの流れ施工デプロイ真値チェックデータ提供契約

Slide 85

Slide 85 text

真値チェックが不合格だったらデプロイに戻る施工デプロイ真値チェックデータ提供契約

Slide 86

Slide 86 text

再度、人の目で精度を確認しデータ提供する施工デプロイ真値チェックデータ提供契約

Slide 87

Slide 87 text

コアで調整できない場合は施工まで戻る施工デプロイ真値チェックデータ提供契約

Slide 88

Slide 88 text

再度、人の目で精度を確認しデータ提供する施工デプロイ真値チェックデータ提供契約

Slide 89

Slide 89 text

データに異常な傾向が見られた時も真値チェックを実施施工デプロイ真値チェックデータ提供契約

Slide 90

Slide 90 text

真値チェックを軸にデータ自体の信頼性を担保する施工デプロイ真値チェックデータ提供契約

Slide 91

Slide 91 text

真値チェックでは解析結果に対してをつける

Slide 92

Slide 92 text

人間がチェックしやすいように正面顔を対象にする

Slide 93

Slide 93 text

人間に合わせて明るさも調整する

Slide 94

Slide 94 text

リファレンスアーキテクチャの効果約100カメラの大型導入にも耐えうる運用体制を構築信頼性向上により、お客様の売上約150%成長の原動力に

Slide 95

Slide 95 text

リファレンスアーキテクチャポイント解説次なる挑戦

Slide 96

Slide 96 text

最新の技術を取り込むシステムアーキテクチャ実世界から学ぶ監視機械と人間による価値共創

Slide 97

Slide 97 text

最新の技術を取り込むシステムアーキテクチャ実世界から学ぶ監視機械と人間による価値共創

Slide 98

Slide 98 text

リファレンスアーキテクチャは進化し続けるもの

Slide 99

Slide 99 text

Monitoring is for asking questions. -Dave Josephsen

Slide 100

Slide 100 text

デリバリーに問題があればアーキテクチャを改善すればよい camera camera queue model A model B model C model D aggregator dashboard analysis DAG

Slide 101

Slide 101 text

ハードウェアの知識が必要

Slide 102

Slide 102 text

信頼性に懸念があれば人間の力を信じて頼ればよい

Slide 103

Slide 103 text

経済学・心理学の知識も必要

Slide 104

Slide 104 text

さまざまな智を集約し泥臭くやり切ることが真髄

Slide 105

Slide 105 text

After the lecture is over, we are waiting at the Ask the Speaker section of the exhibition area. If you have any questions, please come to this corner after the session ends. See you Ask the Speaker !!

Slide 106

Slide 106 text

Please give us feedback on this session if you like ID of this session dev-c-2 AI× IoT× ビックデータ時代におけるリファレンスアーキテクチャへの挑戦 Feedback will be used to develop products and deliver more information https://goo.gl/forms/erEBAsrQK4XKEv352

Slide 107

Slide 107 text

The contents introduced today and the products and services that support the backside of these, We have prepared a booth at the 3F exhibition hall and tell it. Please drop by during the session. GO EXPO Here

Slide 108

Slide 108 text

まとめ

Slide 109

Slide 109 text

AI × IoT × Big Data 時代におけるリファレンスアーキテクチャ Maintenance Monitoring Device Data Analysis Dashboard

Slide 110

Slide 110 text

リファレンスアーキテクチャのポイント最新の技術を取り込むシステムアーキテクチャ実世界から学ぶ監視機械と人間による価値共創