急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup

Transcript

1. ABEJA Innovation Meetup #ABEJAmeetup 2017/01/26 ABEJA, Inc. 河崎 敏弥
2. • MachineLearning/DeepLearningを使った動画解析エンジン • 実行する上で課題になる事 • ABEJAでのアプローチ 今日話す事 2
3. 自己紹介
4. 河崎 敏弥 @toshitanian ABEJA, Inc. IoT Analytics Division Product Owner • 創業1年の時にABEJAに参画 • バックエンドエンジニア • クラウド上でシステム構築 • IoTデバイスとのシステム連携 • ここ2年はコンテナ推し
5. 社名# 株式会社ABEJA# 設立# 2012年9月10日# 住所# 東京都港区虎ノ門4-1-20田中山ビル10F# 事業内容# ディープラーニングを活用した# 産業構造変革のサポート#
6. ABEJA Platform Ecosystem "
7. Unstructured Data Structured Data Analytics Engine Distributed Deep Learning Unstructured Data ↓ Structured Data API ABEJA Platform
8. Video Analytics with Deep Learning
9. Video Analytics with Deeplearning 9 動画 解析結果
10. 10 動画 解析結果
11. 11
12. 12 ？ ？ ？ ？ ？ ？ ？ ？ ？ ？ ？ ？
13. 困った… 13
14. • 大量の計算リソースの管理 • 大量のデータを処理 • スケール可能な解析インフラ • 効率の良い解析タスクの分散方法 • 利用リソースはアプリケーション依存. CPU？GPU?占有コア数・メモリ量 • アプリケーション管理 • 解析アプリに必要な要件は？ • 管理する解析アプリは増加の一途（研究開発によってできる事は増える） ML/DLの実行プラットフォームが考慮すべき事 14
15. ABEJAでのアプローチ
16. コンテナ
17. • Elasticな実行インフラ • 計算リソースが足りなければ勝手に増える • 解析タスクの分散はコンテナのスケジューラにお任せ • クラスタのどこかでコンテナが動いて解析が走っている状態 • CPUとかGPUとか毎の要件毎にリソースプールを作ってる コンテナ - 実行インフラのスケーリング - 17 計算処理が増えても安心！
18. • 解析エンジンはDocker Imageとしてパッケージ化 • コンテナ内部の構成を定義 • コンテナへのファイル入力方法と、結果の出力方法を仕様として定義 • 仕様に合っている限りは基盤上で動く • Docker registoryベースのアプリケーション管理 • アプリ毎のバージョン管理 • アプリ毎のリソース要件を付加 コンテナ - アプリケーション管理 - 18 アプリが増えても安心！
19. 19 イケてるしヤバいエンジニア募集中 ABEJA Wantedly