JAWS-UG名古屋支部【2018年12月12日】忘年会スペシャル ＆ re.invent振り返LT大会 https://jawsug-nagoya.doorkeeper.jp/events/83623
機械学習の肝 「教師データ」 を量産！SageMaker Ground Truthはどう使うべきか？2018-12-12 TATSUNO YasuhiroJAWS-UG名古屋支部 re:Invent振り返りLT大会
View Slide
自己紹介TATSUNO Yasuhiro所属twitter.com/smogamigithub.com/exoego最近うれしかったこと：AWS向け新機能追加PRがマージされました
おことわり• 所属先で教師データ作成の製品開発をしています• 他社製品への根拠ないFUDはしないつもりです。…が、全機能を使い切ってませんし、触った範囲も誤解して間違いがあるかもしれません。ご容赦ください• Ground Truthの長所と短所が伝わるように、試しただけの中立的紹介ではなく、教師データ作成に携わる者ならではの見解を盛り込みました
自然言語処理機械学習向けAWSとGround Truthの位置付け文書分析メール、サービスチケット、製品レビュー、 SNSなどチャットボット自然言語理解や音声認識リアルな読み上げ多言語対応ニューラル翻訳 音声の自動文字起こし複数話者の識別プログラマブルな開発者向けビデオカメラ深層学習＋IoTTensorFlow, MXNet, Chainer,PyTorch など主要機械学習FW導入済AMI。EC2で使える画像＆動画分析シーン認識、オブジェクト検出、文字認識、顔検出、表情分析、同一人物判定、有名人認識、危険/不適切コンテンツ認識など機械学習の開発・実験環境＋推論モデルのエンドポイント研究者・開発者支援ツール コンピュータービジョンGround Truth教師データ作成＋MTurkへの作業依頼モデルを鍛える教師データ提供Textract: スケーラブルなOCRre:Invent2018Forecast: 時系列Personalize: 推薦re:Invent2018カスタム用語辞書予測re:Invent2018re:Invent2018
“Ground truth”とはもともとの語源• 「航空機や人工衛星から地上を遠隔測定して得られたデータ」に対し、「地表 （ground）での現地調査に基づく真実（truth）のデータ」• つまり、遠隔測定データを検証するための正解データ転じて機械学習において、推論モデル（いわゆるAI）に学習させたり、推論結果を評価するための正解データ＝教師データ、アノテーションとも教師データは基本的に人間が作成（タグ付け、アノテーション）ぼやき）業界専門用語を製品名にしちゃうのは…検索ノイズになって、ちょっと困りますよね（AWS Lambdaとか）
機械学習で教師データはなぜ重要？•教師データの質、量、多様性が性能改善に直結•教師データは推論モデルを定量評価する土台https://www.slideshare.net/youheiyamaguchi/annotation-meetup-20180705
機械学習では教師データが肝。ついにAWSも乗り出してきた
あれ、教師データといえば…どこかで…
またAWSと同じもの作っちゃったよ20182017サービスイン→ Ground Truth リリースオンプレ/クラウド両対応の大規模機械学習実験スケジューラKCI Ahab お客様に提供開始→ Amazon SageMakerリリース高度・高品質なアノテーションの量産を支援する工夫が盛りだくさん
いやいや、結構ちがうんですすみわけできそうでホッ
ということでSageMaker Ground Truthをざっと見ていきます
ココSageMakerコンソール
教師データ作成の流れ①ラベリングジョブ＝作業依頼
ラベリングジョブ＝教師データ作成してもらう作業依頼の作成ココ
今回は、オブジェクト検出で一般的に使われる長方形（Bounding Box）をつけるジョブにします
教師データをつけたい画像やテキストのS3オブジェクトキーを羅列した『マニフェストファイル』を指定教師データ格納場所を指定
マニフェストファイルの自動作成機能あり
つづいて『誰に作業を依頼するか』を指定同じ画像/テキストへの教師データを複数人に作成させることで、「作業が雑な人」「ウソをつく人」や「個人の判断の違い」の影響を軽減させる戦略。最大9人まで指定できる全世界へクラウドソーシングできちゃう！24時間毎日、50万人のクラウドワーカー（Mechanical Turk）
AWSマーケットプレイス経由でアノテーションベンダーに依頼AWSマーケットプレイス経由でアノテーションベンダーに依頼もできる（MTurkより割高）
今回は自分たちでやるのでPrivateにするメールアドレスで作業者を招待作業者が問い合わせするためのプロジェクトの責任者（自分）のメールアドレス
さきほど作った Private 作業チームや依頼先ベンダーなどの「労働力」はこちらで管理ココ
いよいよ『どんな教師データ』をつけてもらうかを指定作業指示を書けるのはGood今のところ・1ジョブ＝1ラベル・追加属性は一切なしこれは良し悪しS3バケットへのアクセス権限を「ジョブを依頼する労働力/Workforce」に適切に設定する必要あり。手を抜いて PUBLIC に公開するとヤバイ
SageMakerのリージョンとS3のリージョンは一致させる必要ありより詳細な作業指示も書けるのはGood
ラベリングジョブが完成！
できあがったジョブのメタデータ閲覧ページ。１度作ったジョブは修正できず、停止のみ。間違えたら作り直し
教師データ作成の流れ②実際の教師データ作成作業
作業者にはこんなメールが届きます「Workforce/労働力」ごとに固有URL
どの顧客（AWSアカウント）からの依頼かジョブ一覧画面
さきほど作成したジョブの作業指示入力支援機能は最低限。その分、クラウドワーカーが誰でもすぐ使えていいかも？
こんな感じでBounding-Box をつける
作業完了すると次の作業一覧へ。自分の作業生産性の把握とかはなさそう？
教師データ作成の流れ③できあがった成果物の確認
{ "source-ref": "s3://xxxxxx/6899657615_e7b7ba9cee_b.jpg","jawsug-beer-labeling": {"annotations": [{"class_id": 0, "width": 124, "top": 135, "height": 492, "left": 238},{"class_id": 0, "width": 123.5, "top": 130, "height": 498.5, "left": 363.5},{"class_id": 0, "width": 117, "top": 137.5, "height": 484.5, "left": 492},{"class_id": 0, "width": 158, "top": 362, "height": 287, "left": 83},{"class_id": 0, "width": 136, "top": 91, "height": 527, "left": 877},{"class_id": 0, "width": 116, "top": 150, "height": 455, "left": 741},{"class_id": 0, "width": 113, "top": 137, "height": 475, "left": 616}],"image_size": [{"width": 1024, "depth": 3, "height": 768}]},"jawsug-beer-labeling-metadata": {"job-name": "labeling-job/jawsug-beer-labeling","class-map": {"0": "BeerBottle"},"human-annotated": "yes","objects": [{"confidence": 0.28},{"confidence": 0.28},{"confidence": 0.26},{"confidence": 0.09},{"confidence": 0.09},{"confidence": 0.09},{"confidence": 0.09}],"creation-date": "2018-12-11T11:43:23.567454","type": "groundtruth/object-detection"}}Bounding-Boxの座標とサイズ確信度。同じ画像を複数人にやらせたら、重なりから自動計算される。BBoxも自動で共通部分になる模様。１人１人ががんばって品質を高めるのではなく、複数人の多数決/IoUで品質を保証する！！
気になるお値段は…
Mechania Turkでの1画像＝5人にやらせる場合10万 B-Box＝24,000ドル ⇨ 0.24ドル/B-Box5人にやらせて精度高めてこれなら、結構安い。（計算間違ってなかったら）
まとめ• 教師データ作成ツールとしては簡素、低機能• 「品質検査」を省く代わりに、安価で互いに独立した労働力にやらせて「多数決」で精度をそこそこ保証する思い切りがすごい• 高度なアノテーション（豊富なメタデータ、ポリゴン…）の作り込みよりは、単純なアノテーションの量産に向いてそう• Ground Truthはいわば『大衆向けMechanical Turk』。従来使うのが難しかったM-Turkに、典型的なアノテーションツールと管理UIをつけて、敷居をグッと下げた感じ
宣伝）弊社製品とのすみ分け少教師データの情報量多生産量少 多SageMakerGround Truth利用料金SageMakerGround Truth基本料金¥0S3料金+作業依頼料金
exoego
ntsk
kazue
workspace93
ivargrimstad
ogiwarat
daisukeshinoku
wadayusuke
jrf
shohata
suzukihoge
nozaki
orderedlist
destraynor
mojombo
holman
frogandcode
scottboms
bkeepers
philnash
keithpitt
samlambert
caitiem20