Tweet
Tweet

Slide 1

Slide 1 text

ABEJA Innovation Meetup #ABEJAmeetup 2017/01/26 ABEJA, Inc. 河崎 敏弥

Slide 2

Slide 2 text

• MachineLearning/DeepLearningを使った動画解析エンジン • 実行する上で課題になる事 • ABEJAでのアプローチ 今日話す事 2

Slide 3

Slide 3 text

自己紹介

Slide 4

Slide 4 text

河崎 敏弥 @toshitanian ABEJA, Inc. IoT Analytics Division Product Owner • 創業1年の時にABEJAに参画 • バックエンドエンジニア • クラウド上でシステム構築 • IoTデバイスとのシステム連携 • ここ2年はコンテナ推し

Slide 5

Slide 5 text

社名# 株式会社ABEJA# 設立# 2012年9月10日# 住所# 東京都港区虎ノ門4-1-20田中山ビル10F# 事業内容# ディープラーニングを活用した# 産業構造変革のサポート#

Slide 6

Slide 6 text

ABEJA Platform Ecosystem "

Slide 7

Slide 7 text

Unstructured Data Structured Data Analytics Engine Distributed Deep Learning Unstructured Data ↓ Structured Data API ABEJA Platform

Slide 8

Slide 8 text

Video Analytics with Deep Learning

Slide 9

Slide 9 text

Video Analytics with Deeplearning 9 動画 解析結果

Slide 10

Slide 10 text

10 動画 解析結果

Slide 11

Slide 11 text

11

Slide 12

Slide 12 text

12 ？ ？ ？ ？ ？ ？ ？ ？ ？ ？ ？ ？

Slide 13

Slide 13 text

困った… 13

Slide 14

Slide 14 text

• 大量の計算リソースの管理 • 大量のデータを処理 • スケール可能な解析インフラ • 効率の良い解析タスクの分散方法 • 利用リソースはアプリケーション依存. CPU？GPU?占有コア数・メモリ量 • アプリケーション管理 • 解析アプリに必要な要件は？ • 管理する解析アプリは増加の一途（研究開発によってできる事は増える） ML/DLの実行プラットフォームが考慮すべき事 14

Slide 15

Slide 15 text

ABEJAでのアプローチ

Slide 16

Slide 16 text

コンテナ

Slide 17

Slide 17 text

• Elasticな実行インフラ • 計算リソースが足りなければ勝手に増える • 解析タスクの分散はコンテナのスケジューラにお任せ • クラスタのどこかでコンテナが動いて解析が走っている状態 • CPUとかGPUとか毎の要件毎にリソースプールを作ってる コンテナ - 実行インフラのスケーリング - 17 計算処理が増えても安心！

Slide 18

Slide 18 text

• 解析エンジンはDocker Imageとしてパッケージ化 • コンテナ内部の構成を定義 • コンテナへのファイル入力方法と、結果の出力方法を仕様として定義 • 仕様に合っている限りは基盤上で動く • Docker registoryベースのアプリケーション管理 • アプリ毎のバージョン管理 • アプリ毎のリソース要件を付加 コンテナ - アプリケーション管理 - 18 アプリが増えても安心！

Slide 19

Slide 19 text

19 イケてるしヤバいエンジニア募集中 ABEJA Wantedly