SageMaker Ground Truthでトレーニングデータセットを構築する

Transcript

1. SageMaker Ground Truthで トレーニングデータセットを構築する 2025.01.17 ©Blueish 2024. All rights reserved. 戸塚 翔太
2. 自己紹介 ©Blueish 2024. All rights reserved. 戸塚 翔太 Shota Totsuka ・LLMアプリ開発者（Go/Python …etc） ・生成AI, 機械学習 ・趣味: スキー/スノボ, 最近はDifyにContribute ・静岡県（浜松）に住んでます 　近くの方がいれば、一緒に勉強会しましょう！ Xアカウント @totsukash
3. 01 SageMaker Ground Truth とは 02 ユースケース・メリット 03 使ってみる 04 まとめ 目次 ©Blueish 2024. All rights reserved.
4. 会社紹介 ©Blueish 2024. All rights reserved. 会社名 株式会社BLUEISH 代表者 為藤アキラ 設立 2018年2月9日 所在地 〒106-0046 東京都港区元麻布3丁目1-35 VORT元麻布 5F 事業内容 ・WEBシステム開発 ・スマートフォンアプリケーション開発 資本金 10,000,000円
5. 01 SageMaker Ground Truth とは ©Blueish 2024. All rights reserved.
6. ©Blueish 2024. All rights reserved. - ラベリングアプリケーションを構築したり、ラベリング担当者を管理したりするこ となく、高品質のトレーニングデータセットを作成できる - 教師データを効率良く作成するアノテーションツール/サービス 概要 SageMaker Ground Truth とは
7. ©Blueish 2024. All rights reserved. 画面 SageMaker Ground Truth とは
8. 02 ユースケース・メリット ©Blueish 2024. All rights reserved.
9. ©Blueish 2024. All rights reserved. - 例とデモンストレーションデータ - ある質問に対する回答: 「日本の首都は？」→「東京」 - 比較とランキングデータ - 同じ質問に対する複数の回答を比較/ランク付けする - 評価とレッドチーム - 脆弱性の発見、偏りの軽減、毒性の排除を可能にする - データラベリング - テキスト、画像、動画、音声、点群にラベルを付ける ユースケース ユースケース・メリット
10. ©Blueish 2024. All rights reserved. - 人間が生成したデータを取得 - 人間が生成したデータを取得して、特定のタスクに合わせたり、企業や業界固有のデータを使用してモ デルをカスタマイズしたりできます - モデルの評価 - 人間による評価を利用して、ユースケースに最適な基盤モデル (FM) を比較して選択してください - 高品質なデータセットの作成 - 専門家によるオンデマンドスタッフによる高品質なトレーニングデータセットの作成により、モデルの 精度を向上させます - ヒューマンインザループタスクを高速化 - コストを削減しながら、データ生成や注釈付けからモデルのレビュー、カスタマイズ、評価まで、 ヒューマンインザループタスクを加速および自動化します メリット ユースケース・メリット
11. 03 使ってみる ©Blueish 2024. All rights reserved.
12. ©Blueish 2024. All rights reserved. 使ってみる 1. S3にオブジェクトを格納
13. 使ってみる 2. jobを作成(今回はTurkを使用）
14. ©Blueish 2024. All rights reserved. 使ってみる 3. (option) ワーカーとして作業する
15. ©Blueish 2024. All rights reserved. 使ってみる 4. タスクの完了
16. ©Blueish 2024. All rights reserved. 使ってみる 5. ラベルの確認
17. ©Blueish 2024. All rights reserved. 使ってみる 5. ラベルデータの確認(JSONL）
18. 04 まとめ ©Blueish 2024. All rights reserved.
19. ©Blueish 2024. All rights reserved. - Amazon Mechanical Turk経由で10件の依頼は約20分ほど - ラベルづけ, 正解データにはここを使用してTurk経由で依頼が楽かも - 今回は少数枚数だったので手作業の方が使い勝手が良いが、枚数が増えると使わざ るを得ないサービスのため、キャッチアップをしておくと良いかも まとめ
20. ご清聴ありがとうございました。 ©Blueish 2024. All rights reserved.