Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup
Search
toshitanian
January 27, 2017
Technology
0
1.3k
急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup
toshitanian
January 27, 2017
Tweet
Share
More Decks by toshitanian
See All by toshitanian
エッジデバイスでディープラーニング! AWSを活用したエッジデバイスマネジメントの紹介/ aws-edge-device-deeplearning
toshitanian
1
2.2k
機械学習プラットフォーム でのDocker利用事例 / DevSumiAbeja
toshitanian
1
580
nvidia-jetson-x-deep-learning
toshitanian
0
1.6k
Amazon Kinesis Video Streams × Deep Learning
toshitanian
1
7k
Docker入門 - Ruby on RailsアプリケーションをDockerで動かしてみる - / Introduction to Docker
toshitanian
7
2.9k
Other Decks in Technology
See All in Technology
[TechNight #91] Oracle Database 最新パフォーマンス分析手法
oracle4engineer
PRO
2
120
KCD Lima: eBee in Peru!
lizrice
0
110
クマ×共生 HACKATHON - 熊対策を『特別な行動」から「生活の一部」に -
pharaohkj
0
170
会社もクラウドも違うけど 通じたコスト削減テクニック/Cost optimization strategies effective regardless of company or cloud provider
aeonpeople
2
350
Bliki (ja), and the Cathedral, and the Bazaar
koic
8
1.5k
経理出身PdMがAIプロダクト開発を_ハンズオンで学んだ話.pdf
shunsukenarita
1
210
OTel 公式ドキュメント翻訳 PJ から始めるコミュニティ活動/Community activities starting with the OTel official document translation project
msksgm
0
290
「育てる」サーバーレス 〜チーム開発研修で学んだ、小さく始めて大きく拡張するAWS設計〜
yu_kod
1
110
alecthomas/kong はいいぞ
fujiwara3
6
1k
Expertise as a Service via MCP
yodakeisuke
1
160
手動からの解放!!Strands Agents で実現する総合テスト自動化
ideaws
3
380
SAE J1939シミュレーション環境構築
daikiokazaki
1
190
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Automating Front-end Workflow
addyosmani
1370
200k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Documentation Writing (for coders)
carmenintech
72
4.9k
Docker and Python
trallard
45
3.5k
How GitHub (no longer) Works
holman
314
140k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Site-Speed That Sticks
csswizardry
10
720
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
For a Future-Friendly Web
brad_frost
179
9.8k
Transcript
ABEJA Innovation Meetup #ABEJAmeetup 2017/01/26 ABEJA, Inc. 河崎 敏弥
• MachineLearning/DeepLearningを使った動画解析エンジン • 実行する上で課題になる事 • ABEJAでのアプローチ 今日話す事 2
自己紹介
河崎 敏弥 @toshitanian ABEJA, Inc. IoT Analytics Division Product Owner
• 創業1年の時にABEJAに参画 • バックエンドエンジニア • クラウド上でシステム構築 • IoTデバイスとのシステム連携 • ここ2年はコンテナ推し
社名# 株式会社ABEJA# 設立# 2012年9月10日# 住所# 東京都港区虎ノ門4-1-20田中山ビル10F# 事業内容# ディープラーニングを活用した# 産業構造変革のサポート#
ABEJA Platform Ecosystem "
Unstructured Data Structured Data Analytics Engine Distributed Deep Learning Unstructured
Data ↓ Structured Data API ABEJA Platform
Video Analytics with Deep Learning
Video Analytics with Deeplearning 9 動画 解析結果
10 動画 解析結果
11
12 ? ? ? ? ? ? ? ? ?
? ? ?
困った… 13
• 大量の計算リソースの管理 • 大量のデータを処理 • スケール可能な解析インフラ • 効率の良い解析タスクの分散方法 • 利用リソースはアプリケーション依存.
CPU?GPU?占有コア数・メモリ量 • アプリケーション管理 • 解析アプリに必要な要件は? • 管理する解析アプリは増加の一途(研究開発によってできる事は増える) ML/DLの実行プラットフォームが考慮すべき事 14
ABEJAでのアプローチ
コンテナ
• Elasticな実行インフラ • 計算リソースが足りなければ勝手に増える • 解析タスクの分散はコンテナのスケジューラにお任せ • クラスタのどこかでコンテナが動いて解析が走っている状態 • CPUとかGPUとか毎の要件毎にリソースプールを作ってる
コンテナ - 実行インフラのスケーリング - 17 計算処理が増えても安心!
• 解析エンジンはDocker Imageとしてパッケージ化 • コンテナ内部の構成を定義 • コンテナへのファイル入力方法と、結果の出力方法を仕様として定義 • 仕様に合っている限りは基盤上で動く •
Docker registoryベースのアプリケーション管理 • アプリ毎のバージョン管理 • アプリ毎のリソース要件を付加 コンテナ - アプリケーション管理 - 18 アプリが増えても安心!
19 イケてるしヤバいエンジニア募集中 ABEJA Wantedly