Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rosbag search system
Search
shibuiwilliam
March 17, 2022
Technology
0
61
Rosbag search system
making of data search platform for rosbag
shibuiwilliam
March 17, 2022
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
2024年生成AI新年会登壇資料
shibuiwilliam
0
170
Creative as Software Engineering
shibuiwilliam
2
470
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
170
機械学習システム構築実践ガイド
shibuiwilliam
1
620
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
shibuiwilliam
4
4k
機械学習を実用化するエンジニアリングスキル
shibuiwilliam
12
4.1k
Generative AIと検索を組み合わせた新たな体験の模索
shibuiwilliam
3
930
Machine learning system development
shibuiwilliam
1
390
機械学習でテスト実行を効率化するLaunchable
shibuiwilliam
0
190
Other Decks in Technology
See All in Technology
Gradle Build Scanを使ってビルドのことを知ろう potatotips #87
tomorrowkey
2
160
今日からできる!簡単 .NET 高速化 Tips -2024 edition-
xin9le
7
3.8k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
37k
EMとして2023年度に頑張ったこと / What we did well in FY2023 as a EM
pauli
1
230
Android Target SDK 35 (Android 15) 対応の概要
akkie76
0
150
20分で完全に理解するGrafanaダッシュボード
hamadakoji
5
890
自己改善からチームを動かす! 「セルフエンジニアリングマネージャー」のすゝめ
shoota
6
1k
Babylon.jsと色々なものを組み合わせる:ブラウザのAPIやガジェットや2D描画ライブラリなど / Babylon.js 勉強会 vol.3
you
PRO
0
160
VSCodeの拡張機能を作っている話
ebarakazuhiro
1
800
BPStudyの200回を中心にIT業界を振り返る。そしてこれから
haru860
3
400
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
2.1k
JAWS-UG Bedrock Claude Night
yamahiro
3
710
Featured
See All Featured
Making Projects Easy
brettharned
109
5.5k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.6k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
14
1.5k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
What the flash - Photography Introduction
edds
64
11k
The Cult of Friendly URLs
andyhume
74
5.7k
Building Your Own Lightsaber
phodgson
100
5.7k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
19
6.9k
GraphQLとの向き合い方2022年版
quramy
33
12k
The Illustrated Children's Guide to Kubernetes
chrisshort
32
46k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
33
6k
Build The Right Thing And Hit Your Dates
maggiecrowley
25
2k
Transcript
まだRosbagで消耗してるの? Rosbag検索システムを作る 2021/10/06 shibui yusuke 1
自己紹介 shibui yusuke • ティアフォーでよろず屋兼イベント係 • MLOpsコミュニティのオーガナイザー • もともとクラウド基盤の開発、運用。 •
ここ5年くらいMLOpsで仕事。 • Github: @shibuiwilliam • Qiita: @cvusk • FB: yusuke.shibui • 最近やってること: Golangとデータ分析とBI cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
10/14(木)MLOps勉強会~Edge AIとロボティクス~ • OUXT Polaris 片岡様 ロボットシステムの開発と運用、本番で一 発完動するロボットシステムのために • メルカリ
大嶋様 モバイルにおけるEdgeAI実装とその評価 3 イベントQRコード Twitter公式アカウント
今日話すこと • Rosbagを検索するシステムを作った話 4
自動運転の 開発サイクルを作る ~データ編~ 5
課題解決を導くライフサイクルを設計する • 課題 • 制約条件 • 成功の定義 データ収集 データ分析 データ生成
学習 評価 実用化 ビルド 実装 6
課題解決を導くライフサイクルを設計する • 課題 路上で信号機を検知し、正確に認識する 必要がある。 • 制約条件 計算リソースに制限がある。 全国のデータを得ることはできない。 •
成功の定義 **m手前から信号機の位置と色を **%正確に認識できる。 データ収集 データ分析 データ生成 学習 評価 実用化 ビルド 実装 デ ー タ の 収 集 アノテーション 実験 抽出、選択 整理 ETL モデル開発 テスト、分析 不足 データの 収集 実践 7
ライフサイクルに必要なリソースを実現する データ収集 データ分析 データ生成 学習 評価 実用化 ビルド 実装 デ
ー タ の 収 集 アノテーション 実験 抽出、選択 整理 ETL モデル開発 テスト、分析 不足 データの 収集 実践 クラウド データ基盤 データ検索 アノテータ 学習基盤 分析・CI/CD 組み込み センサー 自動車 モデル管理 8
データ検索 9
データに依存する課題を定義する 夜 夕方 逆光 影 バック 雨粒 暗がり 雪 大通り
周囲にビル 出入り口 青空 直線 10
データ課題を解決するために基盤と検索を整備する PROJECT - id - project_name - description WEATHER -
id - weather_name - place_id - start_time - end_time OBJECT - image_id - people - cars - bicycles - buses - traffic_lights DARKNESS - image_id - darkness - brightness PLACE - id - country - prefecture - city IMAGE - id - file_name - recorded_time - project_id - place_id - latitude - longitude 11
データ検索の仕組み 12 フロントエンド Web API データ 自動車 データ抽出ジョブ
検索 13
まとめ 14
MLOps エンジニア https://herp.careers/v1/tier4/zHA-dVY6ORa4 • 2Dや3Dの物体検出モデル開発および基盤開発 • KubernetesおよびAWSインフラの構築、運用 • Deep Learningのモデル最適化および推論器開発
• Deep LearningのためのシミュレーションとCI/CD • データパイプライン、データ基盤、検索 • データ、機械学習、基盤を軸に フルスタックに活躍! データ基盤 検索 アノテータ 学習基盤 評価 組み込み 実験 実証 モデル管理 CI/CD 分析 MLOps
本を出版しました! • AIエンジニアのための機械学習システムデザインパターン • 2021年5月17日出版 • https://www.amazon.co.jp/dp/4798169447/ • Amazon.co.jp ◦
情報学・情報科学部門 1位! ◦ 人工知能部門 1位! ◦ 増刷決定! • 中国語版と韓国語訳も出るらしい! 16