Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
多品種大量製品向けAnnoOpsの紹介 /AnnoOps
Search
Yachi
April 30, 2020
Technology
1
5.2k
多品種大量製品向けAnnoOpsの紹介 /AnnoOps
Yachi
April 30, 2020
Tweet
Share
More Decks by Yachi
See All by Yachi
Introduction of AnnoOps for mass production with multi-task and large-volume / annops_english
yachide
0
290
Other Decks in Technology
See All in Technology
利用終了したドメイン名の最強終活〜観測環境を育てて、分析・供養している件〜 / The Ultimate End-of-Life Preparation for Discontinued Domain Names
nttcom
2
190
Nekko Cloud、 これまでとこれから ~学生サークルが作る、 小さなクラウド
logica0419
2
970
急成長する企業で作った、エンジニアが輝ける制度/ 20250214 Rinto Ikenoue
shift_evolve
3
1.3k
株式会社EventHub・エンジニア採用資料
eventhub
0
4.3k
Amazon S3 Tablesと外部分析基盤連携について / Amazon S3 Tables and External Data Analytics Platform
nttcom
0
130
オブザーバビリティの観点でみるAWS / AWS from observability perspective
ymotongpoo
8
1.5k
開発組織のための セキュアコーディング研修の始め方
flatt_security
3
2.4k
AndroidXR 開発ツールごとの できることできないこと
donabe3
0
130
Moved to https://speakerdeck.com/toshihue/presales-engineer-career-bridging-tech-biz-ja
toshihue
2
740
データの品質が低いと何が困るのか
kzykmyzw
6
1.1k
スタートアップ1人目QAエンジニアが QAチームを立ち上げ、“個”からチーム、 そして“組織”に成長するまで / How to set up QA team at reiwatravel
mii3king
2
1.5k
速くて安いWebサイトを作る
nishiharatsubasa
10
13k
Featured
See All Featured
Optimizing for Happiness
mojombo
376
70k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Making Projects Easy
brettharned
116
6k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
The Invisible Side of Design
smashingmag
299
50k
Large-scale JavaScript Application Architecture
addyosmani
511
110k
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
630
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.3k
Automating Front-end Workflow
addyosmani
1368
200k
Writing Fast Ruby
sferik
628
61k
Transcript
多品種大量製品向け AnnoOpsの紹介 Toyota Research Institute Advanced Development (TRI-AD) Yusuke Yachide
2020.04.30
自己紹介 • 谷内出悠介 (やちでゆうすけ), Ph.D ◦ Software Platform/ MLTools ▪
MLOps 基盤開発 ▪ AnnoOps(アノテーション基盤開発)&サービス運用 ▪ Areneの開発 @yachide yachide-yusuke-23a2 7035/ Arene
?
Our goal is to make the world’s safest car. James
Kuffner (CEO) The future of car is software. Nikos Michalakis (VP of software platform)
None
MLToolsのミッション MLモデルの車載デプロイ ↑
今日のお話 TRI-ADにおけるアノテーション業務紹介 ※アノテーション... 教師データ・正解データの作成
どんなアノテーション要求? 量 数千枚〜数XX万枚 精度 ~数%レベル データ 画像・ビデオ・LiDAR etc タスク 20prj
(ポイント・ボックス・領域 etc) 納期 1~2ヶ月〜半年レベル etc
多品種大量
施策 複数アノテベンダーの使いこなし 課題 ベンダーフリーのアノテルール・基盤
アノテーションプロセスのおさらい ① Rule making… アノテーションするための指示書を作成 ② Project creation… アノテーションプロジェクトを作成 ④
Inspection… アノテーションデータの検品 ③ Annotation… 実際のアノテーションの実施 ⑤ Delivery… アノテーションデータのリリース
ベンダーフリー観点での課題感(今日話す内容) Rule making… アノテーションするための指示書を作成 Project creation… アノテーションプロジェクトを作成 Inspection… アノテーションデータの検品 Annotation…
実際のアノテーションの実施 Delivery… アノテーションデータのリリース 3. 簡単なデリバリー・データ共有 ... スムーズなアノテーションデータの出力 1. アノテーション品質平準化 ... ベンダー素性を読み解いてルール共通化 2. ベンダーフリーを目指した基盤 ... 各アノテツールの出力はそれぞれ違う!
0. 前提:ルールと検品は表裏一体 ルール 検品 ルールが悪い→不良品 不良品の例→ルール反映
0. 前提:アノテーションベンダーの素性知る ベンダーA:生産力は普通・高精度 ベンダーB:生産力は高い・中精度 NG rate NG rate #annotated data
#annotated data Date Date 新アノテタスク運用開始 新アノテタスク運用開始 いずれも100人以上の規模のため、複数ベンダーとなると共通化させて楽する部分(ルール)と、 ベンダーごとに切り替える部分を丁寧に考える必要がある(事例集)
1. 共通ルールに対する考え方→ フローチャート 国土交通省 例:標識アノテーション 言語フリーの共通ルール化 路面? 静的? 形状定義? 長方形?
三角形? 円? Yes Yes Yes アノテしない アノテする ルール複雑性定量化可 能 ルール再利用可能 多言語化しやすい • 数100人の主観を統一するのは不可能 → 主観でいい部分の明確化 • 機械学習者は大体、重要⇔主観でいい基準・アノテーション手順を持っている
1. 事例集:ベンダー素性からの深堀り ベンダーA:生産性が普通、NGレート→質問が多い #Question #annotated data Date 通常、NG例を事例集に追加 ベンダーAに関しては、事例集ではなく、受けた質問を事例集に反映 NG
rate #annotated data Date
1. ルール作成取組の結果 #Question #annotated data Date ベンダーA:生産性が向上 ベンダーB:NG率減少 NG rate
#annotated data Date 30%減 生産性10%~増
2. ベンダーフリーを目指した基盤 Unlabeled data format converter Project generation & submission
Annotation Downloader Labeled data format converter
2. ベンダーフリーを目指した基盤 Unlabeled data format converter Project generation & submission
Annotation Downloader Labeled data format converter Tool #2 Tool #3 • ベンダー毎にアノテーションツール (複数の入出力フォーマット ) • アノテーション単位の違い (複数アノテタスクの同時実行 or not) それぞれのツールに特徴が違う
アノテーションツールの違い ベンダーBはBBoxとセグメンテーション同時 アノテーションできない →別プロジェクトにする必要あり ベンダーAはBBoxとセグメンテーション同時 アノテーションできる
2. ベンダーフリーを目指した基盤 Unlabeled data format converter Project generation & submission
Annotation Downloader Labeled data format converter 一度に複数アノテーションできる (例: ポイントアノテとBBoxアノテーション同時にできる ) 同時に複数のアノテーションを実行できない (アノテーションプロジェクトをシリアルに回す ) task task ベンダーAのTool ベンダーBのTool コントロール
3. 簡単なデリバリー・データ共有 Unlabeled data format converter Project generation & submission
Annotation Downloader Labeled data format converter MLOps データ管理 容易なデータデリバリー データローダー共通化
まとめ TRI-ADでは多品種・大量アノテーションデータ生成要求に対して ➔ 量 数千枚〜数XX万枚 ➔ 精度 ~数%レベル ➔ データ
画像・ビデオ・LiDAR etc ➔ タスク 20prj (ポイント・ボックス・領域 etc) ➔ 納期 1~2ヶ月〜半年レベル etc 特徴の異なる複数のベンダーを目指したルール・基盤作りを行っている 7~8人程度で運用できるくらいの体勢を組んでます
Silicon Valley “Innovation” シリコンバレーの イノベーション Japanese “Craftsmanship” 日本のモノづくり NOW HIRING