Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup
Search
toshitanian
January 27, 2017
Technology
0
1.3k
急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup
toshitanian
January 27, 2017
Tweet
Share
More Decks by toshitanian
See All by toshitanian
エッジデバイスでディープラーニング! AWSを活用したエッジデバイスマネジメントの紹介/ aws-edge-device-deeplearning
toshitanian
1
2.2k
機械学習プラットフォーム でのDocker利用事例 / DevSumiAbeja
toshitanian
1
580
nvidia-jetson-x-deep-learning
toshitanian
0
1.6k
Amazon Kinesis Video Streams × Deep Learning
toshitanian
1
7k
Docker入門 - Ruby on RailsアプリケーションをDockerで動かしてみる - / Introduction to Docker
toshitanian
7
2.9k
Other Decks in Technology
See All in Technology
Кто отправит outbox? Валентин Удальцов, автор канала Пых
lamodatech
0
360
CI/CD/IaC 久々に0から環境を作ったらこうなりました
kaz29
1
190
Witchcraft for Memory
pocke
1
470
SalesforceArchitectGroupOsaka#20_CNX'25_Report
atomica7sei
0
200
Oracle Audit Vault and Database Firewall 20 概要
oracle4engineer
PRO
3
1.7k
Fabric + Databricks 2025.6 の最新情報ピックアップ
ryomaru0825
1
150
【TiDB GAME DAY 2025】Shadowverse: Worlds Beyond にみる TiDB 活用術
cygames
0
1.1k
Node-RED × MCP 勉強会 vol.1
1ftseabass
PRO
0
160
20250625 Snowflake Summit 2025活用事例 レポート / Nowcast Snowflake Summit 2025 Case Study Report
kkuv
1
330
ひとり情シスなCTOがLLMと始めるオペレーション最適化 / CTO's LLM-Powered Ops
yamitzky
0
440
使いたいMCPサーバーはWeb APIをラップして自分で作る #QiitaBash
bengo4com
0
370
GitHub Copilot の概要
tomokusaba
1
140
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
How to Think Like a Performance Engineer
csswizardry
24
1.7k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.8k
Adopting Sorbet at Scale
ufuk
77
9.4k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.5k
Rebuilding a faster, lazier Slack
samanthasiow
82
9.1k
Gamification - CAS2011
davidbonilla
81
5.3k
VelocityConf: Rendering Performance Case Studies
addyosmani
331
24k
Faster Mobile Websites
deanohume
307
31k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
60k
Transcript
ABEJA Innovation Meetup #ABEJAmeetup 2017/01/26 ABEJA, Inc. 河崎 敏弥
• MachineLearning/DeepLearningを使った動画解析エンジン • 実行する上で課題になる事 • ABEJAでのアプローチ 今日話す事 2
自己紹介
河崎 敏弥 @toshitanian ABEJA, Inc. IoT Analytics Division Product Owner
• 創業1年の時にABEJAに参画 • バックエンドエンジニア • クラウド上でシステム構築 • IoTデバイスとのシステム連携 • ここ2年はコンテナ推し
社名# 株式会社ABEJA# 設立# 2012年9月10日# 住所# 東京都港区虎ノ門4-1-20田中山ビル10F# 事業内容# ディープラーニングを活用した# 産業構造変革のサポート#
ABEJA Platform Ecosystem "
Unstructured Data Structured Data Analytics Engine Distributed Deep Learning Unstructured
Data ↓ Structured Data API ABEJA Platform
Video Analytics with Deep Learning
Video Analytics with Deeplearning 9 動画 解析結果
10 動画 解析結果
11
12 ? ? ? ? ? ? ? ? ?
? ? ?
困った… 13
• 大量の計算リソースの管理 • 大量のデータを処理 • スケール可能な解析インフラ • 効率の良い解析タスクの分散方法 • 利用リソースはアプリケーション依存.
CPU?GPU?占有コア数・メモリ量 • アプリケーション管理 • 解析アプリに必要な要件は? • 管理する解析アプリは増加の一途(研究開発によってできる事は増える) ML/DLの実行プラットフォームが考慮すべき事 14
ABEJAでのアプローチ
コンテナ
• Elasticな実行インフラ • 計算リソースが足りなければ勝手に増える • 解析タスクの分散はコンテナのスケジューラにお任せ • クラスタのどこかでコンテナが動いて解析が走っている状態 • CPUとかGPUとか毎の要件毎にリソースプールを作ってる
コンテナ - 実行インフラのスケーリング - 17 計算処理が増えても安心!
• 解析エンジンはDocker Imageとしてパッケージ化 • コンテナ内部の構成を定義 • コンテナへのファイル入力方法と、結果の出力方法を仕様として定義 • 仕様に合っている限りは基盤上で動く •
Docker registoryベースのアプリケーション管理 • アプリ毎のバージョン管理 • アプリ毎のリソース要件を付加 コンテナ - アプリケーション管理 - 18 アプリが増えても安心!
19 イケてるしヤバいエンジニア募集中 ABEJA Wantedly