Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
多品種大量製品向けAnnoOpsの紹介 /AnnoOps
Search
Yachi
April 30, 2020
Technology
1
5.2k
多品種大量製品向けAnnoOpsの紹介 /AnnoOps
Yachi
April 30, 2020
Tweet
Share
More Decks by Yachi
See All by Yachi
Introduction of AnnoOps for mass production with multi-task and large-volume / annops_english
yachide
0
290
Other Decks in Technology
See All in Technology
抽象化をするということ - 具体と抽象の往復を身につける / Abstraction and concretization
soudai
27
13k
OSS構成管理ツールCMDBuildを使ったAWSリソース管理の自動化
satorufunai
0
340
The Future of SEO: The Impact of AI on Search
badams
0
240
ローカルLLMを活用したコード生成と、ローコード開発ツールへの応用
kazuhitoyokoi
0
130
レビューを増やしつつ 高評価維持するテクニック
tsuzuki817
1
820
PHPカンファレンス名古屋-テックリードの経験から学んだ設計の教訓
hayatokudou
2
500
システム・ML活用を広げるdbtのデータモデリング / Expanding System & ML Use with dbt Modeling
i125
0
210
Active Directory攻防
cryptopeg
PRO
7
4.3k
Autonomous Database Serverless 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
17
45k
転生CISOサバイバル・ガイド / CISO Career Transition Survival Guide
kanny
3
1.1k
エンジニアのためのドキュメント力基礎講座〜構造化思考から始めよう〜(2025/02/15jbug広島#15発表資料)
yasuoyasuo
18
7.1k
管理者しか知らないOutlookの裏側のAIを覗く#AzureTravelers
hirotomotaguchi
2
510
Featured
See All Featured
Into the Great Unknown - MozCon
thekraken
35
1.6k
KATA
mclloyd
29
14k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Building an army of robots
kneath
303
45k
Six Lessons from altMBA
skipperchong
27
3.6k
Building a Scalable Design System with Sketch
lauravandoore
461
33k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
A Modern Web Designer's Workflow
chriscoyier
693
190k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
Java REST API Framework Comparison - PWX 2021
mraible
28
8.4k
Scaling GitHub
holman
459
140k
Transcript
多品種大量製品向け AnnoOpsの紹介 Toyota Research Institute Advanced Development (TRI-AD) Yusuke Yachide
2020.04.30
自己紹介 • 谷内出悠介 (やちでゆうすけ), Ph.D ◦ Software Platform/ MLTools ▪
MLOps 基盤開発 ▪ AnnoOps(アノテーション基盤開発)&サービス運用 ▪ Areneの開発 @yachide yachide-yusuke-23a2 7035/ Arene
?
Our goal is to make the world’s safest car. James
Kuffner (CEO) The future of car is software. Nikos Michalakis (VP of software platform)
None
MLToolsのミッション MLモデルの車載デプロイ ↑
今日のお話 TRI-ADにおけるアノテーション業務紹介 ※アノテーション... 教師データ・正解データの作成
どんなアノテーション要求? 量 数千枚〜数XX万枚 精度 ~数%レベル データ 画像・ビデオ・LiDAR etc タスク 20prj
(ポイント・ボックス・領域 etc) 納期 1~2ヶ月〜半年レベル etc
多品種大量
施策 複数アノテベンダーの使いこなし 課題 ベンダーフリーのアノテルール・基盤
アノテーションプロセスのおさらい ① Rule making… アノテーションするための指示書を作成 ② Project creation… アノテーションプロジェクトを作成 ④
Inspection… アノテーションデータの検品 ③ Annotation… 実際のアノテーションの実施 ⑤ Delivery… アノテーションデータのリリース
ベンダーフリー観点での課題感(今日話す内容) Rule making… アノテーションするための指示書を作成 Project creation… アノテーションプロジェクトを作成 Inspection… アノテーションデータの検品 Annotation…
実際のアノテーションの実施 Delivery… アノテーションデータのリリース 3. 簡単なデリバリー・データ共有 ... スムーズなアノテーションデータの出力 1. アノテーション品質平準化 ... ベンダー素性を読み解いてルール共通化 2. ベンダーフリーを目指した基盤 ... 各アノテツールの出力はそれぞれ違う!
0. 前提:ルールと検品は表裏一体 ルール 検品 ルールが悪い→不良品 不良品の例→ルール反映
0. 前提:アノテーションベンダーの素性知る ベンダーA:生産力は普通・高精度 ベンダーB:生産力は高い・中精度 NG rate NG rate #annotated data
#annotated data Date Date 新アノテタスク運用開始 新アノテタスク運用開始 いずれも100人以上の規模のため、複数ベンダーとなると共通化させて楽する部分(ルール)と、 ベンダーごとに切り替える部分を丁寧に考える必要がある(事例集)
1. 共通ルールに対する考え方→ フローチャート 国土交通省 例:標識アノテーション 言語フリーの共通ルール化 路面? 静的? 形状定義? 長方形?
三角形? 円? Yes Yes Yes アノテしない アノテする ルール複雑性定量化可 能 ルール再利用可能 多言語化しやすい • 数100人の主観を統一するのは不可能 → 主観でいい部分の明確化 • 機械学習者は大体、重要⇔主観でいい基準・アノテーション手順を持っている
1. 事例集:ベンダー素性からの深堀り ベンダーA:生産性が普通、NGレート→質問が多い #Question #annotated data Date 通常、NG例を事例集に追加 ベンダーAに関しては、事例集ではなく、受けた質問を事例集に反映 NG
rate #annotated data Date
1. ルール作成取組の結果 #Question #annotated data Date ベンダーA:生産性が向上 ベンダーB:NG率減少 NG rate
#annotated data Date 30%減 生産性10%~増
2. ベンダーフリーを目指した基盤 Unlabeled data format converter Project generation & submission
Annotation Downloader Labeled data format converter
2. ベンダーフリーを目指した基盤 Unlabeled data format converter Project generation & submission
Annotation Downloader Labeled data format converter Tool #2 Tool #3 • ベンダー毎にアノテーションツール (複数の入出力フォーマット ) • アノテーション単位の違い (複数アノテタスクの同時実行 or not) それぞれのツールに特徴が違う
アノテーションツールの違い ベンダーBはBBoxとセグメンテーション同時 アノテーションできない →別プロジェクトにする必要あり ベンダーAはBBoxとセグメンテーション同時 アノテーションできる
2. ベンダーフリーを目指した基盤 Unlabeled data format converter Project generation & submission
Annotation Downloader Labeled data format converter 一度に複数アノテーションできる (例: ポイントアノテとBBoxアノテーション同時にできる ) 同時に複数のアノテーションを実行できない (アノテーションプロジェクトをシリアルに回す ) task task ベンダーAのTool ベンダーBのTool コントロール
3. 簡単なデリバリー・データ共有 Unlabeled data format converter Project generation & submission
Annotation Downloader Labeled data format converter MLOps データ管理 容易なデータデリバリー データローダー共通化
まとめ TRI-ADでは多品種・大量アノテーションデータ生成要求に対して ➔ 量 数千枚〜数XX万枚 ➔ 精度 ~数%レベル ➔ データ
画像・ビデオ・LiDAR etc ➔ タスク 20prj (ポイント・ボックス・領域 etc) ➔ 納期 1~2ヶ月〜半年レベル etc 特徴の異なる複数のベンダーを目指したルール・基盤作りを行っている 7~8人程度で運用できるくらいの体勢を組んでます
Silicon Valley “Innovation” シリコンバレーの イノベーション Japanese “Craftsmanship” 日本のモノづくり NOW HIRING