SageMaker Ground Truthはどう使うべきか/When to use SageMaker Ground Truth

機械学習の肝「教師データ」を量産！ SageMaker Ground Truthはどう使うべきか？ 2018-12-12 TATSUNO Yasuhiro
JAWS-UG名古屋支部 re:Invent振り返りLT大会

自己紹介 TATSUNO Yasuhiro 所属 twitter.com/smogami github.com/exoego 最近うれしかったこと： AWS向け新機能追加PRがマージされました

おことわり • 所属先で教師データ作成の製品開発をしています • 他社製品への根拠ないFUDはしないつもりです。…が、全機能を使い切ってませんし、触った範囲も誤解して間違いがあるかもしれません。ご容赦ください • Ground Truthの長所と短所が伝わるように、試しただけ
の中立的紹介ではなく、教師データ作成に携わる者ならではの見解を盛り込みました

自然言語処理機械学習向けAWSとGround Truthの位置付け文書分析メール、サービスチケット、製品レビュー、 SNSなどチャットボット自然言語理解や音声認識
リアルな読み上げ多言語対応ニューラル翻訳音声の自動文字起こし複数話者の識別プログラマブルな開発者向けビデオカメラ深層学習＋IoT TensorFlow, MXNet, Chainer, PyTorch など主要機械学習 FW導入済AMI。EC2で使える画像＆動画分析シーン認識、オブジェクト検出、文字認識、顔検出、表情分析、同一人物判定、有名人認識、危険/不適切コンテンツ認識など機械学習の開発・実験環境＋推論モデルのエンドポイント研究者・開発者支援ツールコンピュータービジョン Ground Truth 教師データ作成＋ MTurkへの作業依頼モデルを鍛える教師データ提供 Textract: スケーラブルなOCR re:Invent2018 Forecast: 時系列 Personalize: 推薦 re:Invent2018 カスタム用語辞書予測 re:Invent2018 re:Invent2018

“Ground truth”とはもともとの語源 • 「航空機や人工衛星から地上を遠隔測定して得られたデータ」に対し、「地表（ground）での現地調査に基づく真実（truth）のデータ」 • つまり、遠隔測定データを検証するための正解データ転じて機械学習において、推論モデル（いわゆるAI）に学習させたり、推
論結果を評価するための正解データ＝教師データ、アノテーションとも教師データは基本的に人間が作成（タグ付け、アノテーション）ぼやき）業界専門用語を製品名にしちゃうのは…検索ノイズになって、ちょっと困りますよね（AWS Lambdaとか）

機械学習で教師データはなぜ重要？ •教師データの質、量、多様性が性能改善に直結 •教師データは推論モデルを定量評価する土台 https://www.slideshare.net/youheiyamaguchi/annotation-meetup-20180705

機械学習では教師データが肝。ついにAWSも乗り出してきた

あれ、教師データといえば… どこかで…

またAWSと同じもの作っちゃったよ 2018 2017 サービスイン → Ground Truth リリースオンプレ/クラウド両対応の大規模機械学習実験スケジューラ KCI
Ahab お客様に提供開始 → Amazon SageMakerリリース高度・高品質なアノテーションの量産を支援する工夫が盛りだくさん

いやいや、結構ちがうんですすみわけできそうでホッ

ということで SageMaker Ground Truth をざっと見ていきます

ココ SageMakerコンソール

教師データ作成の流れ① ラベリングジョブ＝作業依頼

ラベリングジョブ＝教師データ作成してもらう作業依頼の作成ココ

今回は、オブジェクト検出で一般的に使われる長方形（Bounding Box）をつけるジョブにします

教師データをつけたい画像やテキストのS3オブジェクトキーを羅列した『マニフェストファイル』を指定教師データ格納場所を指定

マニフェストファイルの自動作成機能あり

つづいて『誰に作業を依頼するか』を指定同じ画像/テキストへの教師データを複数人に作成させることで、「作業が雑な人」「ウソをつく人」や「個人の判断の違い」の影響を軽減させる戦略。最大9人まで指定できる全世界へクラウドソーシングできちゃう！ 24時間毎日、50万人のクラウドワーカー（Mechanical Turk）

AWSマーケットプレイス経由でアノテーションベンダーに依頼 AWSマーケットプレイス経由でアノテーションベンダーに依頼もできる（MTurkより割高）

今回は自分たちでやるので Privateにするメールアドレスで作業者を招待作業者が問い合わせするためのプロジェクトの責任者（自分）のメールアドレス

さきほど作った Private 作業チームや依頼先ベンダーなどの「労働力」はこちらで管理ココ

いよいよ『どんな教師データ』をつけてもらうかを指定作業指示を書けるのはGood 今のところ・1ジョブ＝1ラベル・追加属性は一切なしこれは良し悪し S3バケットへのアクセス権限を「ジョブを依頼する労働力/Workforce」に適切に設定する必要あり。
手を抜いて PUBLIC に公開するとヤバイ

SageMakerのリージョンと S3のリージョンは一致させる必要ありより詳細な作業指示も書けるのはGood

ラベリングジョブが完成！

できあがったジョブのメタデータ閲覧ページ。１度作ったジョブは修正できず、停止のみ。間違えたら作り直し

教師データ作成の流れ② 実際の教師データ作成作業

作業者にはこんなメールが届きます「Workforce/労働力」ごとに固有URL

どの顧客（AWSアカウント）からの依頼かジョブ一覧画面

さきほど作成したジョブの作業指示入力支援機能は最低限。その分、クラウドワーカーが誰でもすぐ使えていいかも？

こんな感じで Bounding-Box をつける

作業完了すると次の作業一覧へ。自分の作業生産性の把握とかはなさそう？

教師データ作成の流れ③ できあがった成果物の確認

{ "source-ref": "s3://xxxxxx/6899657615_e7b7ba9cee_b.jpg", "jawsug-beer-labeling": { "annotations": [ {"class_id": 0, "width":
124, "top": 135, "height": 492, "left": 238}, {"class_id": 0, "width": 123.5, "top": 130, "height": 498.5, "left": 363.5}, {"class_id": 0, "width": 117, "top": 137.5, "height": 484.5, "left": 492}, {"class_id": 0, "width": 158, "top": 362, "height": 287, "left": 83}, {"class_id": 0, "width": 136, "top": 91, "height": 527, "left": 877}, {"class_id": 0, "width": 116, "top": 150, "height": 455, "left": 741}, {"class_id": 0, "width": 113, "top": 137, "height": 475, "left": 616} ], "image_size": [{"width": 1024, "depth": 3, "height": 768}] }, "jawsug-beer-labeling-metadata": { "job-name": "labeling-job/jawsug-beer-labeling", "class-map": { "0": "BeerBottle" }, "human-annotated": "yes", "objects": [ {"confidence": 0.28}, {"confidence": 0.28}, {"confidence": 0.26}, {"confidence": 0.09}, {"confidence": 0.09}, {"confidence": 0.09}, {"confidence": 0.09} ], "creation-date": "2018-12-11T11:43:23.567454", "type": "groundtruth/object-detection" } } Bounding-Boxの座標とサイズ確信度。同じ画像を複数人にやらせたら、重なりから自動計算される。BBoxも自動で共通部分になる模様。１人１人ががんばって品質を高めるのではなく、複数人の多数決/IoUで品質を保証する！！

気になるお値段は…

Mechania Turkでの1画像＝5人にやらせる場合 10万 B-Box＝24,000ドル ⇨ 0.24ドル/B-Box 5人にやらせて精度高めてこれなら、結構安い。（計算間違ってなかったら）

まとめ • 教師データ作成ツールとしては簡素、低機能 • 「品質検査」を省く代わりに、安価で互いに独立した労働力にやらせて「多数決」で精度をそこそこ保証する思い切りがすごい • 高度なアノテーション（豊富なメタデータ、ポリゴン…）の作り込みよりは、単純なアノテーションの量産に向いてそう •
Ground Truthはいわば『大衆向けMechanical Turk』。従来使うのが難しかったM-Turkに、典型的なアノテーションツールと管理UIをつけて、敷居をグッと下げた感じ

宣伝）弊社製品とのすみ分け少教師データの情報量多生産量少多 SageMaker Ground
Truth 利用料金 SageMaker Ground Truth 基本料金 ¥0 S3料金 + 作業依頼料金

SageMaker Ground Truthはどう使うべきか/When to use Sage...