AI×IoT×ビックデータ時代におけるリファレンスアーキテクチャへの挑戦

SIX 2019 dev-c-2
Yuta Nakagawa @ABEJA, Inc.

「AI×IoT×ビックデータ時代におけるリファレンスアーキテクチャへの挑戦」

ABEJA Insight for Retailは2015年のサービスリリース以降、モノリシックなサービスからマイクロサービスへと様々な変遷を経て、そのサービスを成長させてきました。
この4年間で培われてきたシステムアーキテクチャとその監視系、さらにそれらを支える店舗施工などフィジカルな環境の設計構築、真値チェックなどの、サービスの成長には欠かせない人間系。
本セッションでは、ABEJA Insight for Retailを通して学んだ AI×IoT×ビックデータ時代における実装と運用のリファレンスアーキテクチャ、そしてそこへ至る挑戦をお伝えいたします。

Transcript

1. DAY 1 “技” Developer Day
   A Challenge to Reference Architecture
   in Next Generation
   Yuta Nakagawa ABEJA, Inc. Lead Research Engineer
   

   View Slide

2. View Slide

3. Agenda
   リファレンス
   アーキテクチャ
   ポイント解説 次なる挑戦
   

   View Slide

4. 中川 裕太
   Insight for Retail Lead Research Engineer @ ABEJA
   

   View Slide

5. View Slide

6. View Slide

7. View Slide

8. View Slide

9. リファレンス
   アーキテクチャ
   ポイント解説 次なる挑戦
   

   View Slide

10. Insight for Retail
    

    View Slide

11. View Slide

12. View Slide

13. 導入企業
    （一部）
    120社700店舗以上への導入実績(2019年3月時点)
    29%
    21%
    14% 10%
    6% 5%
    3% 3% 10%
    雑貨 アパレル 商業施設 ドラッグストア 車・バイク 観光 コンビニ 食品 その他
    

    View Slide

14. GO Day2 !!
    Tomorrow will be announced in many sessions how the technology introduced today is
    actually used by clients.
    Please come tomorrow by all means
    

    View Slide

15. AI × IoT × Big Data 時代におけるリファレンスアーキテクチャ
    Maintenance
    Monitoring
    Device
    Data
    Analysis
    Dashboard
    

    View Slide

16. リファレンスアーキテクチャのポイント
    最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    

    View Slide

17. リファレンス
    アーキテクチャ
    ポイント解説 次なる挑戦
    

    View Slide

18. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    

    View Slide

19. Deep Learning の研究速度はえげつなく早い
    Cf. Labeled Faces in the Wild Results (http://vis-www.cs.umass.edu/lfw/results.html)
    

    View Slide

20. 多くのモデルはすでに公開されている
    

    View Slide

21. ただし、実装フレームワークはさまざま
    

    View Slide

22. しかも、フレームワークが競合することも
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(+0x2236c0) [0x7f24df4dc6c0]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(_PyFunction_FastCallDict+0x2b7) [0x7f24df4de7c7]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(_PyObject_FastCallDict+0x18e) [0x7f24df4ad10e]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(_PyObject_CallMethodIdObjArgs+0xea) [0x7f24df4ec5ca]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(PyImport_ImportModuleLevelObject+0x27c) [0x7f24df41ec4c]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(_PyEval_EvalFrameDefault+0x703e) [0x7f24df4a164e]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(+0x22543c) [0x7f24df4de43c]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(PyEval_EvalCodeEx+0x3e) [0x7f24df4deebe]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(PyEval_EvalCode+0x1b) [0x7f24df49a36b]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(+0x1ecb3d) [0x7f24df4a5b3d]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(PyCFunction_Call+0xc9) [0x7f24df348eb9]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(_PyEval_EvalFrameDefault+0x6a51) [0x7f24df4a1061]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(+0x22543c) [0x7f24df4de43c]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(+0x2259c7) [0x7f24df4de9c7]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(_PyEval_EvalFrameDefault+0x469f) [0x7f24df49ecaf]
    2018-10-02T15:20:52+09:00: /usr/lib/x86_64-linux-gnu/libpython3.6m.so.1.0(+0x2236c0) [0x7f24df4dc6c0]
    

    View Slide

23. マイクロサービスで最新の技術を
    素早く安全に取り込む
    24
    

    View Slide

24. 機械学習のモデルは金食い虫
    

    View Slide

25. データの量と特性によって原価が変動する
    

    View Slide

26. データの量と特性に合わせて
    リソースをオートスケールさせる
    27
    

    View Slide

27. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    マイクロサービスで最新の技術を素早く安全に取り込む
    データの量と特性に合わせてリソースをオートスケールさせる
    

    View Slide

28. システムアーキテクチャ
    camera
    camera
    queue
    model A
    model B
    model C
    model D
    aggregator dashboard
    analysis DAG
    

    View Slide

29. 今日、話す部分
    camera
    camera
    queue
    model A
    model B
    model C
    model D
    aggregator dashboard
    analysis DAG
    

    View Slide

30. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    マイクロサービスで最新の技術を素早く安全に取り込む
    データの量と特性に合わせてリソースをオートスケールさせる
    

    View Slide

31. 最新の技術の取り込み
    queue
    model A
    model B
    model C
    model D
    

    View Slide

32. model B と同じ機能を持った model B+ が開発される
    model B model B+
    

    View Slide

33. model B を取り換える
    queue
    model A
    model B+
    model C
    model D
    

    View Slide

34. model Cよりもmodel E と Fを組み合わせた方がよいと知る
    model C model E model F
    

    View Slide

35. DAG を組み替える
    queue
    model A
    model B model D
    model E model F
    

    View Slide

36. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    マイクロサービスで最新の技術を素早く安全に取り込む
    データの量と特性に合わせてリソースをオートスケールさせる
    

    View Slide

37. リソースのオートスケール
    queue
    model A
    model B
    model C
    model D
    

    View Slide

38. 動画が queue に溜まり始める
    queue
    model A
    model B
    model C
    model D
    

    View Slide

39. model A をオートスケールさせる
    model A
    model B
    model C
    model D
    model A
    queue
    

    View Slide

40. model の負荷に合わせてオートスケールを伝播させる
    queue
    model A
    model B
    model C
    model D
    model A
    model B
    model D
    model D
    

    View Slide

41. リファレンスアーキテクチャの効果
    精度の高い最新のモデルを組み合わせられるように
    大幅に原価削減し8万円/月で提供可能に
    

    View Slide

42. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    

    View Slide

43. E2Eから始めて、CPU・メモリ・DB負荷などでしょうか
    

    View Slide

44. 物理世界でも障害は発生する
    

    View Slide

45. 気付きにくい障害もちらほら
    

    View Slide

46. 実は電源がしっかり刺さっていませんでした
    

    View Slide

47. 解析遅延によりデータが取得できないことも
    

    View Slide

48. データフローに着目し
    デリバリーを可視化・監視する
    

    View Slide

49. モデルは環境によって精度が異なる
    

    View Slide

50. 1日のうちで物理環境は変化する
    

    View Slide

51. 数か月単位で物理環境が一気に変わることもある
    

    View Slide

52. 結果として、精度傾向が変わることもしばしば
    

    View Slide

53. 精度に関するメトリクスを可視化し
    データ自体を監視する
    

    View Slide

54. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    データフローに着目しデリバリーを可視化・監視する
    精度に関するメトリクスを可視化しデータ自体を監視する
    

    View Slide

55. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    データフローに着目しデリバリーを可視化・監視する
    精度に関するメトリクスを可視化しデータ自体を監視する
    

    View Slide

56. 監視アーキテクチャ
    queue
    analysis DAG aggregator dashboard
    camera
    monitoring
    

    View Slide

57. 各サービスがリソース状況を送る
    queue
    analysis DAG aggregator dashboard
    camera
    monitoring
    

    View Slide

58. データフローに合わせてタイムスタンプを送る
    queue
    analysis DAG aggregator dashboard
    camera
    monitoring
    

    View Slide

59. データフローに合わせてタイムスタンプを送る
    queue
    analysis DAG aggregator dashboard
    camera
    monitoring
    2019/3/4
    14:40:00
    

    View Slide

60. データフローに合わせてタイムスタンプを送る
    queue
    analysis DAG aggregator dashboard
    camera
    monitoring
    2019/3/4
    14:40:30
    

    View Slide

61. データフローに合わせてタイムスタンプを送る
    queue
    analysis DAG aggregator dashboard
    camera
    monitoring
    2019/3/4
    14:41:30
    

    View Slide

62. データフローに合わせてタイムスタンプを送る
    queue
    analysis DAG aggregator dashboard
    camera
    monitoring
    2019/3/4
    15:00:00
    

    View Slide

63. データフローに合わせてタイムスタンプを送る
    queue
    analysis DAG aggregator dashboard
    camera
    monitoring
    2019/3/4
    15:00:30
    

    View Slide

64. データデリバリー状況を一覧で表示
    

    View Slide

65. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    データフローに着目しデリバリーを可視化・監視する
    精度に関するメトリクスを可視化しデータ自体を監視する
    

    View Slide

66. 正面顔率の可視化
    

    View Slide

67. 精度メトリクスを可視化しているから気付けること
    

    View Slide

68. 実世界のPDCAをまわすきっかけを得る
    

    View Slide

69. リファレンスアーキテクチャの効果
    プロアクティブな対応が可能となり問合せ件数40%減
    運用PDCAをまわし200%以上の成長にも対応可能に
    

    View Slide

70. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    

    View Slide

71. 機械にはできない仕事が多くある
    

    View Slide

72. 人間がスケールのボトルネックになることも
    

    View Slide

73. 機械にできない仕事は
    ヒューマンリソースを効率的に利用する
    

    View Slide

74. 機械は完璧ではない
    Szegedy et al. (2013)
    

    View Slide

75. 人間も完璧じゃない
    

    View Slide

76. 人間を自然な形で「パーツ」として組み込む
    Cf. http://www.captcha.net/
    

    View Slide

77. 機械と人間の特性を加味して
    全体フローを設計する
    

    View Slide

78. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    機械にできない仕事はヒューマンリソースを効率的に利用する
    機械と人間の特性を加味して全体フローを設計する
    

    View Slide

79. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    機械にできない仕事はヒューマンリソースを効率的に利用する
    機械と人間の特性を加味して全体フローを設計する
    

    View Slide

80. プロダクトを中心にサポートと開発が連携できる組織つくり
    マーケター インサイド
    セールス
    セールス
    サポート
    サクセス
    リサーチャー
    デベロッパー
    

    View Slide

81. マニュアル化と継続的な改善
    

    View Slide

82. サポートツールの開発
    

    View Slide

83. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    機械にできない仕事はヒューマンリソースを効率的に利用する
    機械と人間の特性を加味して全体フローを設計する
    

    View Slide

84. データ提供までの流れ
    施工 デプロイ 真値チェック データ提供
    契約
    

    View Slide

85. 真値チェックが不合格だったらデプロイに戻る
    施工 デプロイ 真値チェック データ提供
    契約
    

    View Slide

86. 再度、人の目で精度を確認しデータ提供する
    施工 デプロイ 真値チェック データ提供
    契約
    

    View Slide

87. コアで調整できない場合は施工まで戻る
    施工 デプロイ 真値チェック データ提供
    契約
    

    View Slide

88. 再度、人の目で精度を確認しデータ提供する
    施工 デプロイ 真値チェック データ提供
    契約
    

    View Slide

89. データに異常な傾向が見られた時も真値チェックを実施
    施工 デプロイ 真値チェック データ提供
    契約
    

    View Slide

90. 真値チェックを軸にデータ自体の信頼性を担保する
    施工 デプロイ 真値チェック データ提供
    契約
    

    View Slide

91. 真値チェックでは解析結果に対して をつける
    

    View Slide

92. 人間がチェックしやすいように正面顔を対象にする
    

    View Slide

93. 人間に合わせて明るさも調整する
    

    View Slide

94. リファレンスアーキテクチャの効果
    約100カメラの大型導入にも耐えうる運用体制を構築
    信頼性向上により、お客様の売上約150%成長の原動力に
    

    View Slide

95. リファレンス
    アーキテクチャ
    ポイント解説 次なる挑戦
    

    View Slide

96. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    

    View Slide

97. 最新の技術を取り込むシステムアーキテクチャ
    実世界から学ぶ監視
    機械と人間による価値共創
    

    View Slide

98. リファレンスアーキテクチャは
    進化し続けるもの
    

    View Slide

99. Monitoring is for asking questions.
    -Dave Josephsen
    

    View Slide

100. デリバリーに問題があればアーキテクチャを改善すればよい
     camera
     camera
     queue
     model A
     model B
     model C
     model D
     aggregator dashboard
     analysis DAG
     

     View Slide

101. ハードウェアの知識が必要
     

     View Slide

102. 信頼性に懸念があれば人間の力を信じて頼ればよい
     

     View Slide

103. 経済学・心理学の知識も必要
     

     View Slide

104. さまざまな智を集約し
     泥臭くやり切ることが真髄
     

     View Slide

105. After the lecture is over, we are waiting at the Ask the Speaker section of the exhibition area.
     If you have any questions, please come to this corner after the session ends.
     See you Ask the Speaker !!
     

     View Slide

106. Please give us feedback on this session if you like
     ID of this session
     dev-c-2
     AI× IoT× ビックデータ時代
     におけるリファレンス
     アーキテクチャへの挑戦
     Feedback will be used to develop products and deliver more
     information
     https://goo.gl/forms/erEBAsrQK4XKEv352
     

     View Slide

107. The contents introduced today and the products and services that support the backside of
     these, We have prepared a booth at the 3F exhibition hall and tell it.
     Please drop by during the session.
     GO EXPO
     Here
     

     View Slide

108. まとめ
     

     View Slide

109. AI × IoT × Big Data 時代におけるリファレンスアーキテクチャ
     Maintenance
     Monitoring
     Device
     Data
     Analysis
     Dashboard
     

     View Slide

110. リファレンスアーキテクチャのポイント
     最新の技術を取り込むシステムアーキテクチャ
     実世界から学ぶ監視
     機械と人間による価値共創
     

     View Slide

111. ワクワクする未来を
     一緒に作っていきましょう！
     

     View Slide

112. Thank you.
     

     View Slide