Upgrade to Pro — share decks privately, control downloads, hide ads and more …

急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup

E04bc05dadd5b740eb040e094e2bf5f5?s=47 toshitanian
January 27, 2017

急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup

E04bc05dadd5b740eb040e094e2bf5f5?s=128

toshitanian

January 27, 2017
Tweet

Transcript

  1. ABEJA Innovation Meetup #ABEJAmeetup 2017/01/26 ABEJA, Inc. 河崎 敏弥

  2. • MachineLearning/DeepLearningを使った動画解析エンジン • 実行する上で課題になる事 • ABEJAでのアプローチ 今日話す事 2

  3. 自己紹介

  4. 河崎 敏弥 @toshitanian ABEJA, Inc. IoT Analytics Division Product Owner

    • 創業1年の時にABEJAに参画 • バックエンドエンジニア • クラウド上でシステム構築 • IoTデバイスとのシステム連携 • ここ2年はコンテナ推し
  5. 社名# 株式会社ABEJA# 設立# 2012年9月10日# 住所# 東京都港区虎ノ門4-1-20田中山ビル10F# 事業内容# ディープラーニングを活用した# 産業構造変革のサポート#

  6. ABEJA Platform Ecosystem "

  7. Unstructured Data Structured Data Analytics Engine Distributed Deep Learning Unstructured

    Data ↓ Structured Data API ABEJA Platform
  8. Video Analytics with Deep Learning

  9. Video Analytics with Deeplearning 9 動画 解析結果

  10. 10 動画 解析結果

  11. 11

  12. 12 ? ? ? ? ? ? ? ? ?

    ? ? ?
  13. 困った… 13

  14. • 大量の計算リソースの管理 • 大量のデータを処理 • スケール可能な解析インフラ • 効率の良い解析タスクの分散方法 • 利用リソースはアプリケーション依存.

    CPU?GPU?占有コア数・メモリ量 • アプリケーション管理 • 解析アプリに必要な要件は? • 管理する解析アプリは増加の一途(研究開発によってできる事は増える) ML/DLの実行プラットフォームが考慮すべき事 14
  15. ABEJAでのアプローチ

  16. コンテナ

  17. • Elasticな実行インフラ • 計算リソースが足りなければ勝手に増える • 解析タスクの分散はコンテナのスケジューラにお任せ • クラスタのどこかでコンテナが動いて解析が走っている状態 • CPUとかGPUとか毎の要件毎にリソースプールを作ってる

    コンテナ - 実行インフラのスケーリング - 17 計算処理が増えても安心!
  18. • 解析エンジンはDocker Imageとしてパッケージ化 • コンテナ内部の構成を定義 • コンテナへのファイル入力方法と、結果の出力方法を仕様として定義 • 仕様に合っている限りは基盤上で動く •

    Docker registoryベースのアプリケーション管理 • アプリ毎のバージョン管理 • アプリ毎のリソース要件を付加 コンテナ - アプリケーション管理 - 18 アプリが増えても安心!
  19. 19 イケてるしヤバいエンジニア募集中 ABEJA Wantedly