Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
多品種大量製品向けAnnoOpsの紹介 /AnnoOps
Search
Yachi
April 30, 2020
Technology
1
5.2k
多品種大量製品向けAnnoOpsの紹介 /AnnoOps
Yachi
April 30, 2020
Tweet
Share
More Decks by Yachi
See All by Yachi
Introduction of AnnoOps for mass production with multi-task and large-volume / annops_english
yachide
0
290
Other Decks in Technology
See All in Technology
短縮URLをお手軽に導入しよう
nakasho
0
110
エンジニアリング価値を黒字化する バリューベース戦略を用いた 技術戦略策定の道のり
kzkmaeda
2
270
Windows の新しい管理者保護モード
murachiakira
0
180
開発組織のための セキュアコーディング研修の始め方
flatt_security
3
2.7k
依存パッケージの更新はコツコツが勝つコツ! / phpcon_nagoya2025
blue_goheimochi
3
180
Amazon S3 Tablesと外部分析基盤連携について / Amazon S3 Tables and External Data Analytics Platform
nttcom
0
150
コンテナサプライチェーンセキュリティ
kyohmizu
1
120
OSS構成管理ツールCMDBuildを使ったAWSリソース管理の自動化
satorufunai
0
370
Classmethod AI Talks(CATs) #17 司会進行スライド(2025.02.19) / classmethod-ai-talks-aka-cats_moderator-slides_vol17_2025-02-19
shinyaa31
0
160
OpenID BizDay#17 みんなの銀行による身元確認結果の活用 / 20250219-BizDay17-KYC-minna-no-ginko
oidfj
0
160
なぜ私は自分が使わないサービスを作るのか? / Why would I create a service that I would not use?
aiandrox
0
890
php-conference-nagoya-2025
fuwasegu
0
110
Featured
See All Featured
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Bash Introduction
62gerente
611
210k
Building Your Own Lightsaber
phodgson
104
6.2k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.3k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.2k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
630
How to Think Like a Performance Engineer
csswizardry
22
1.4k
The Invisible Side of Design
smashingmag
299
50k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Transcript
多品種大量製品向け AnnoOpsの紹介 Toyota Research Institute Advanced Development (TRI-AD) Yusuke Yachide
2020.04.30
自己紹介 • 谷内出悠介 (やちでゆうすけ), Ph.D ◦ Software Platform/ MLTools ▪
MLOps 基盤開発 ▪ AnnoOps(アノテーション基盤開発)&サービス運用 ▪ Areneの開発 @yachide yachide-yusuke-23a2 7035/ Arene
?
Our goal is to make the world’s safest car. James
Kuffner (CEO) The future of car is software. Nikos Michalakis (VP of software platform)
None
MLToolsのミッション MLモデルの車載デプロイ ↑
今日のお話 TRI-ADにおけるアノテーション業務紹介 ※アノテーション... 教師データ・正解データの作成
どんなアノテーション要求? 量 数千枚〜数XX万枚 精度 ~数%レベル データ 画像・ビデオ・LiDAR etc タスク 20prj
(ポイント・ボックス・領域 etc) 納期 1~2ヶ月〜半年レベル etc
多品種大量
施策 複数アノテベンダーの使いこなし 課題 ベンダーフリーのアノテルール・基盤
アノテーションプロセスのおさらい ① Rule making… アノテーションするための指示書を作成 ② Project creation… アノテーションプロジェクトを作成 ④
Inspection… アノテーションデータの検品 ③ Annotation… 実際のアノテーションの実施 ⑤ Delivery… アノテーションデータのリリース
ベンダーフリー観点での課題感(今日話す内容) Rule making… アノテーションするための指示書を作成 Project creation… アノテーションプロジェクトを作成 Inspection… アノテーションデータの検品 Annotation…
実際のアノテーションの実施 Delivery… アノテーションデータのリリース 3. 簡単なデリバリー・データ共有 ... スムーズなアノテーションデータの出力 1. アノテーション品質平準化 ... ベンダー素性を読み解いてルール共通化 2. ベンダーフリーを目指した基盤 ... 各アノテツールの出力はそれぞれ違う!
0. 前提:ルールと検品は表裏一体 ルール 検品 ルールが悪い→不良品 不良品の例→ルール反映
0. 前提:アノテーションベンダーの素性知る ベンダーA:生産力は普通・高精度 ベンダーB:生産力は高い・中精度 NG rate NG rate #annotated data
#annotated data Date Date 新アノテタスク運用開始 新アノテタスク運用開始 いずれも100人以上の規模のため、複数ベンダーとなると共通化させて楽する部分(ルール)と、 ベンダーごとに切り替える部分を丁寧に考える必要がある(事例集)
1. 共通ルールに対する考え方→ フローチャート 国土交通省 例:標識アノテーション 言語フリーの共通ルール化 路面? 静的? 形状定義? 長方形?
三角形? 円? Yes Yes Yes アノテしない アノテする ルール複雑性定量化可 能 ルール再利用可能 多言語化しやすい • 数100人の主観を統一するのは不可能 → 主観でいい部分の明確化 • 機械学習者は大体、重要⇔主観でいい基準・アノテーション手順を持っている
1. 事例集:ベンダー素性からの深堀り ベンダーA:生産性が普通、NGレート→質問が多い #Question #annotated data Date 通常、NG例を事例集に追加 ベンダーAに関しては、事例集ではなく、受けた質問を事例集に反映 NG
rate #annotated data Date
1. ルール作成取組の結果 #Question #annotated data Date ベンダーA:生産性が向上 ベンダーB:NG率減少 NG rate
#annotated data Date 30%減 生産性10%~増
2. ベンダーフリーを目指した基盤 Unlabeled data format converter Project generation & submission
Annotation Downloader Labeled data format converter
2. ベンダーフリーを目指した基盤 Unlabeled data format converter Project generation & submission
Annotation Downloader Labeled data format converter Tool #2 Tool #3 • ベンダー毎にアノテーションツール (複数の入出力フォーマット ) • アノテーション単位の違い (複数アノテタスクの同時実行 or not) それぞれのツールに特徴が違う
アノテーションツールの違い ベンダーBはBBoxとセグメンテーション同時 アノテーションできない →別プロジェクトにする必要あり ベンダーAはBBoxとセグメンテーション同時 アノテーションできる
2. ベンダーフリーを目指した基盤 Unlabeled data format converter Project generation & submission
Annotation Downloader Labeled data format converter 一度に複数アノテーションできる (例: ポイントアノテとBBoxアノテーション同時にできる ) 同時に複数のアノテーションを実行できない (アノテーションプロジェクトをシリアルに回す ) task task ベンダーAのTool ベンダーBのTool コントロール
3. 簡単なデリバリー・データ共有 Unlabeled data format converter Project generation & submission
Annotation Downloader Labeled data format converter MLOps データ管理 容易なデータデリバリー データローダー共通化
まとめ TRI-ADでは多品種・大量アノテーションデータ生成要求に対して ➔ 量 数千枚〜数XX万枚 ➔ 精度 ~数%レベル ➔ データ
画像・ビデオ・LiDAR etc ➔ タスク 20prj (ポイント・ボックス・領域 etc) ➔ 納期 1~2ヶ月〜半年レベル etc 特徴の異なる複数のベンダーを目指したルール・基盤作りを行っている 7~8人程度で運用できるくらいの体勢を組んでます
Silicon Valley “Innovation” シリコンバレーの イノベーション Japanese “Craftsmanship” 日本のモノづくり NOW HIRING