急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup

Transcript

1. ABEJA Innovation Meetup #ABEJAmeetup 2017/01/26 ABEJA, Inc. 河崎 敏弥

2. • MachineLearning/DeepLearningを使った動画解析エンジン • 実行する上で課題になる事 • ABEJAでのアプローチ 今日話す事 2

3. 自己紹介

4. 河崎 敏弥 @toshitanian ABEJA, Inc. IoT Analytics Division Product Owner

   • 創業1年の時にABEJAに参画 • バックエンドエンジニア • クラウド上でシステム構築 • IoTデバイスとのシステム連携 • ここ2年はコンテナ推し

5. 社名# 株式会社ABEJA# 設立# 2012年9月10日# 住所# 東京都港区虎ノ門4-1-20田中山ビル10F# 事業内容# ディープラーニングを活用した# 産業構造変革のサポート#

6. ABEJA Platform Ecosystem "

7. Unstructured Data Structured Data Analytics Engine Distributed Deep Learning Unstructured

   Data ↓ Structured Data API ABEJA Platform

8. Video Analytics with Deep Learning

9. Video Analytics with Deeplearning 9 動画 解析結果

10. 10 動画 解析結果

11. 11

12. 12 ？ ？ ？ ？ ？ ？ ？ ？ ？

    ？ ？ ？

13. 困った… 13

14. • 大量の計算リソースの管理 • 大量のデータを処理 • スケール可能な解析インフラ • 効率の良い解析タスクの分散方法 • 利用リソースはアプリケーション依存.

    CPU？GPU?占有コア数・メモリ量 • アプリケーション管理 • 解析アプリに必要な要件は？ • 管理する解析アプリは増加の一途（研究開発によってできる事は増える） ML/DLの実行プラットフォームが考慮すべき事 14

15. ABEJAでのアプローチ

16. コンテナ

17. • Elasticな実行インフラ • 計算リソースが足りなければ勝手に増える • 解析タスクの分散はコンテナのスケジューラにお任せ • クラスタのどこかでコンテナが動いて解析が走っている状態 • CPUとかGPUとか毎の要件毎にリソースプールを作ってる

    コンテナ - 実行インフラのスケーリング - 17 計算処理が増えても安心！

18. • 解析エンジンはDocker Imageとしてパッケージ化 • コンテナ内部の構成を定義 • コンテナへのファイル入力方法と、結果の出力方法を仕様として定義 • 仕様に合っている限りは基盤上で動く •

    Docker registoryベースのアプリケーション管理 • アプリ毎のバージョン管理 • アプリ毎のリソース要件を付加 コンテナ - アプリケーション管理 - 18 アプリが増えても安心！

19. 19 イケてるしヤバいエンジニア募集中 ABEJA Wantedly