Upgrade to Pro — share decks privately, control downloads, hide ads and more …

急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup

toshitanian
January 27, 2017

急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup

toshitanian

January 27, 2017
Tweet

More Decks by toshitanian

Other Decks in Technology

Transcript

  1. ABEJA Innovation Meetup
    #ABEJAmeetup
    2017/01/26
    ABEJA, Inc.
    河崎 敏弥

    View full-size slide

  2. • MachineLearning/DeepLearningを使った動画解析エンジン
    • 実行する上で課題になる事
    • ABEJAでのアプローチ
    今日話す事
    2

    View full-size slide

  3. 自己紹介

    View full-size slide

  4. 河崎 敏弥 @toshitanian
    ABEJA, Inc.
    IoT Analytics Division
    Product Owner
    • 創業1年の時にABEJAに参画
    • バックエンドエンジニア
    • クラウド上でシステム構築
    • IoTデバイスとのシステム連携
    • ここ2年はコンテナ推し

    View full-size slide

  5. 社名# 株式会社ABEJA#
    設立# 2012年9月10日#
    住所# 東京都港区虎ノ門4-1-20田中山ビル10F#
    事業内容#
    ディープラーニングを活用した#
    産業構造変革のサポート#

    View full-size slide

  6. ABEJA Platform Ecosystem "

    View full-size slide

  7. Unstructured

    Data
    Structured

    Data
    Analytics

    Engine
    Distributed

    Deep Learning
    Unstructured

    Data



    Structured

    Data
    API
    ABEJA Platform

    View full-size slide

  8. Video Analytics with Deep Learning

    View full-size slide

  9. Video Analytics with Deeplearning
    9
    動画 解析結果

    View full-size slide

  10. 10
    動画 解析結果

    View full-size slide

  11. 12
    ? ?










    View full-size slide

  12. 困った…
    13

    View full-size slide

  13. • 大量の計算リソースの管理
    • 大量のデータを処理
    • スケール可能な解析インフラ
    • 効率の良い解析タスクの分散方法
    • 利用リソースはアプリケーション依存. CPU?GPU?占有コア数・メモリ量
    • アプリケーション管理
    • 解析アプリに必要な要件は?
    • 管理する解析アプリは増加の一途(研究開発によってできる事は増える)
    ML/DLの実行プラットフォームが考慮すべき事
    14

    View full-size slide

  14. ABEJAでのアプローチ

    View full-size slide

  15. コンテナ

    View full-size slide

  16. • Elasticな実行インフラ
    • 計算リソースが足りなければ勝手に増える
    • 解析タスクの分散はコンテナのスケジューラにお任せ
    • クラスタのどこかでコンテナが動いて解析が走っている状態
    • CPUとかGPUとか毎の要件毎にリソースプールを作ってる
    コンテナ - 実行インフラのスケーリング -
    17
    計算処理が増えても安心!

    View full-size slide

  17. • 解析エンジンはDocker Imageとしてパッケージ化
    • コンテナ内部の構成を定義
    • コンテナへのファイル入力方法と、結果の出力方法を仕様として定義
    • 仕様に合っている限りは基盤上で動く
    • Docker registoryベースのアプリケーション管理
    • アプリ毎のバージョン管理
    • アプリ毎のリソース要件を付加
    コンテナ - アプリケーション管理 -
    18
    アプリが増えても安心!

    View full-size slide

  18. 19
    イケてるしヤバいエンジニア募集中
    ABEJA Wantedly

    View full-size slide