Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup
Search
toshitanian
January 27, 2017
Technology
0
1.3k
急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup
toshitanian
January 27, 2017
Tweet
Share
More Decks by toshitanian
See All by toshitanian
エッジデバイスでディープラーニング! AWSを活用したエッジデバイスマネジメントの紹介/ aws-edge-device-deeplearning
toshitanian
1
2.2k
機械学習プラットフォーム でのDocker利用事例 / DevSumiAbeja
toshitanian
1
580
nvidia-jetson-x-deep-learning
toshitanian
0
1.6k
Amazon Kinesis Video Streams × Deep Learning
toshitanian
1
7k
Docker入門 - Ruby on RailsアプリケーションをDockerで動かしてみる - / Introduction to Docker
toshitanian
7
2.9k
Other Decks in Technology
See All in Technology
La gouvernance territoriale des données grâce à la plateforme Terreze
bluehats
0
110
DevIO2025_継続的なサービス開発のための技術的意思決定のポイント / how-to-tech-decision-makaing-devio2025
nologyance
0
190
Agile PBL at New Grads Trainings
kawaguti
PRO
1
300
開発者を支える Internal Developer Portal のイマとコレカラ / To-day and To-morrow of Internal Developer Portals: Supporting Developers
aoto
PRO
1
360
LLMを搭載したプロダクトの品質保証の模索と学び
qa
0
840
個人CLAUDE.md紹介と設定から学んだこと/introduce-my-claude-md
shibayu36
0
200
5分でカオスエンジニアリングを分かった気になろう
pandayumi
0
110
Kubernetes における cgroup v2 でのOut-Of-Memory 問題の解決
pfn
PRO
0
460
「何となくテストする」を卒業するためにプロダクトが動く仕組みを理解しよう
kawabeaver
0
190
AI開発ツールCreateがAnythingになったよ
tendasato
0
110
なぜSaaSがMCPサーバーをサービス提供するのか?
sansantech
PRO
8
2.5k
ZOZOマッチのアーキテクチャと技術構成
zozotech
PRO
3
1.3k
Featured
See All Featured
Balancing Empowerment & Direction
lara
3
610
Documentation Writing (for coders)
carmenintech
74
5k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
BBQ
matthewcrist
89
9.8k
Speed Design
sergeychernyshev
32
1.1k
Rails Girls Zürich Keynote
gr2m
95
14k
A Modern Web Designer's Workflow
chriscoyier
696
190k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
187
54k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
How STYLIGHT went responsive
nonsquared
100
5.8k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Transcript
ABEJA Innovation Meetup #ABEJAmeetup 2017/01/26 ABEJA, Inc. 河崎 敏弥
• MachineLearning/DeepLearningを使った動画解析エンジン • 実行する上で課題になる事 • ABEJAでのアプローチ 今日話す事 2
自己紹介
河崎 敏弥 @toshitanian ABEJA, Inc. IoT Analytics Division Product Owner
• 創業1年の時にABEJAに参画 • バックエンドエンジニア • クラウド上でシステム構築 • IoTデバイスとのシステム連携 • ここ2年はコンテナ推し
社名# 株式会社ABEJA# 設立# 2012年9月10日# 住所# 東京都港区虎ノ門4-1-20田中山ビル10F# 事業内容# ディープラーニングを活用した# 産業構造変革のサポート#
ABEJA Platform Ecosystem "
Unstructured Data Structured Data Analytics Engine Distributed Deep Learning Unstructured
Data ↓ Structured Data API ABEJA Platform
Video Analytics with Deep Learning
Video Analytics with Deeplearning 9 動画 解析結果
10 動画 解析結果
11
12 ? ? ? ? ? ? ? ? ?
? ? ?
困った… 13
• 大量の計算リソースの管理 • 大量のデータを処理 • スケール可能な解析インフラ • 効率の良い解析タスクの分散方法 • 利用リソースはアプリケーション依存.
CPU?GPU?占有コア数・メモリ量 • アプリケーション管理 • 解析アプリに必要な要件は? • 管理する解析アプリは増加の一途(研究開発によってできる事は増える) ML/DLの実行プラットフォームが考慮すべき事 14
ABEJAでのアプローチ
コンテナ
• Elasticな実行インフラ • 計算リソースが足りなければ勝手に増える • 解析タスクの分散はコンテナのスケジューラにお任せ • クラスタのどこかでコンテナが動いて解析が走っている状態 • CPUとかGPUとか毎の要件毎にリソースプールを作ってる
コンテナ - 実行インフラのスケーリング - 17 計算処理が増えても安心!
• 解析エンジンはDocker Imageとしてパッケージ化 • コンテナ内部の構成を定義 • コンテナへのファイル入力方法と、結果の出力方法を仕様として定義 • 仕様に合っている限りは基盤上で動く •
Docker registoryベースのアプリケーション管理 • アプリ毎のバージョン管理 • アプリ毎のリソース要件を付加 コンテナ - アプリケーション管理 - 18 アプリが増えても安心!
19 イケてるしヤバいエンジニア募集中 ABEJA Wantedly