Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Rekognitionのカスタムモデルで独自のモデレーションモデルをトレーニングする
Search
Nayuta S.
November 13, 2024
Technology
0
160
Amazon Rekognitionのカスタムモデルで独自のモデレーションモデルをトレーニングする
まるクラ勉強会 ONLINE #3で発表した資料になります。
https://classmethod.connpass.com/event/333509/
Nayuta S.
November 13, 2024
Tweet
Share
More Decks by Nayuta S.
See All by Nayuta S.
Amazon Athenaから利用時のGlueのIcebergテーブルのメンテナンスについて
nayuts
0
85
目玉アップデート!のSageMaker LakehouseとUnified Studioは何たるかを見てみよう!
nayuts
0
660
Google CloudのLLM活用の選択肢を広げるVertex AIのパートナーモデル
nayuts
0
320
データ品質管理の第一歩
nayuts
1
720
簡単に始めるSnowflakeの機械学習
nayuts
1
990
AthenaとStep Functionsで簡単ETLオーケストレーション #midosuji_tech
nayuts
1
1k
Vertex AIとBigQueryでつくる簡単ベクトル検索&テキスト分析システム
nayuts
0
1k
AIが強力にサポート!データ分析・ML系サービスアップデート
nayuts
0
680
dbt Coreとdbt-athenaによるAWS上のdbt環境構築ナレッジ
nayuts
0
2.1k
Other Decks in Technology
See All in Technology
偏光画像処理ライブラリを作った話
elerac
1
170
(機械学習システムでも) SLO から始める信頼性構築 - ゆる SRE#9 2025/02/21
daigo0927
0
270
Pwned Labsのすゝめ
ken5scal
2
440
Potential EM 制度を始めた理由、そして2年後にやめた理由 - EMConf JP 2025
hoyo
2
2.6k
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
150
Snowflake ML モデルを dbt データパイプラインに組み込む
estie
0
100
Visualize, Visualize, Visualize and rclone
tomoaki0705
9
83k
ESXi で仮想化した ARM 環境で LLM を動作させてみるぞ
unnowataru
0
180
Fraxinus00tw assembly manual
fukumay
0
110
AWSを活用したIoTにおけるセキュリティ対策のご紹介
kwskyk
0
350
JAWS FESTA 2024「バスロケ」GPS×サーバーレスの開発と運用の舞台裏/jawsfesta2024-bus-gps-serverless
ma2shita
3
190
設計を積み重ねてシステムを刷新する
sansantech
PRO
0
160
Featured
See All Featured
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
133
33k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
Documentation Writing (for coders)
carmenintech
67
4.6k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
10
1.3k
Automating Front-end Workflow
addyosmani
1368
200k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Transcript
2024/11/13 データ事業本部 鈴木那由太 まるクラ勉強会 O N L IN E #3
A m a z on R ekog nitionのカスタムモデルで 独自のモデレーションモデルをトレーニングする
目次 2 • コンテンツモデレーションについて • A m az on R
e kog nitionについて • R e kog nitionのカスタムモデレーションの紹介
自己紹介 3 名前:鈴木 那由太(スズキ ナユタ) 所属:クラスメソッド株式会社 データ事業本部 インテグレーション部 機械学習チーム 現在の業務:
機械学習用途のデータ分析基盤構築 機械学習システム構築 X:@nayuyu_ns Osaka
コンテンツモデレーションについて
コンテンツモデレーションについて 5 • ユーザーがコンテンツを作成できるウェブサイトで、無関係・わいせつ・違法・有害・侮辱的な投稿を検出する プロセス • 問題のあるコンテンツに対して削除または警告ラベルを適用し、ユーザーが自分でコンテンツをブロックおよび フィルタリングできるようにすることが目的 • 例:動画配信サービスで再生開始時に警告ラベルが出る
AWSでコンテンツモデレーションをするには 6 必ずしもAmazon Rekognitionのコンテンツモデレーションを使う必要はない • 規制したいシチュエーションの画像・動画 • Rekognitionのコンテンツモデレーションで対応可能 • キャラクターやロゴなど著作権侵害の検出
• 特定の対象であればRekognitionのカスタムラベルで対応可能 • マルチモーダルなLLM • 不適切なテキスト • Amazon Comprehend toxicity detectionによる分析(英語のみ) • Amazon Translate Masking profane機能による、翻訳対象中の不適切な単語のマスク • LLMによる判定 Amazon Web Services ブログ『Amazon Rekognition のカスタムモデレーションを利用して独自のモデルで不適切なコンテンツを検出』を参考 • https://aws.amazon.com/jp/blogs/news/amazon-rekognition-のカスタムモデレーションを利用して独自の/
LLMによる画像のモデレーションの検証 7 最近ではマルチモーダルなLLMが登場しており、テキストだけでなく画像などに対しても抽象的な モデレーションができつつある。 ただし、ハルシネーションや再現性の課題はある。 Developers IOブログ『生成AI(Claude 3.5 Sonnet)を使って、画像のモデレーションが可能かどうかを検証してみた』を参考 •
https://dev.classmethod.jp/articles/character-spot-the-difference/ Amazon BedrockからClaude 3.5 Sonnetを利用した例:
Amazon Rekognitionについて
Amazon Rekognitionについて 9 • 画像認識・動画処理向けのAWSのマネージドサービス • 多岐にわたる分析ができる • 顔画像のマッチング •
顔画像の検索 • ラベル検出 • モデレーション(有害性の検出) • 顔の検出と分析 • 画像中のテキスト検出 • 有名人の認識 • 個人用防護具 (PPE) 検出 • 画像のプロパティ分析
Amazon Rekognitionのコンテンツモデレーション 10 • 画像・動画を入力に、警告ラベルをつけてくれる機能 • 現在は、第3レベルカテゴリ粒度で34種 • どちらかというと商品画像などに適しているような所感 <検出の例>
<ラベルのカテゴリの例> • アルコール(L1 – トップレベルカテゴリ) • アルコールの使用(L2 – 第2レベルカテゴリ) • 飲酒(L3 – 第3レベルカテゴリ) • アルコール飲料(L2) ※いらすとやより
Amazon Rekognitionのカスタムモデレーション 11 • “アダプター”を訓練することにより、デフォルトのコンテンツモデレーション機能をカスタマイズできる • 新たな不適切なラベルを追加するのではなく、既存のラベルに割り当てられない画像を、 既存ラベルに判定できるようにする機能 ※Amazon Rekognitionのコンソールより
カスタムモデレーションのご紹介
問題設定 13 自社のECサイトで、高級ワインの取引が行われており、配送時に破損するなどトラブルが多発している。 そもそも酒類の取引は認めておらず、アルコールに関するアイキャッチを設定できないように コンテンツモデレーション機能でブロックしているが、高級ワインを表す画像としてレーズンの画像が 使われるケースがあり、知らないうちに販売が続いていた。 レーズンの画像もアルコールとしてラベル付けしたい。 <問題の画像のサンプル>
画像の用意 14 偽陰性サンプル(50枚) • トレーニング: • 最低 50 個の偽陰性サンプル、または 20
個の偽陽性サンプル • 正しい予測が出る画像 • テスト: • 最低 20 個のサンプル 正しい予測が出る画像(10枚) 正しい予測が出る画像(10枚)
ラベル付け 15 • Amazon Rekognitionのプロジェクト画面上からできる • 陰性のサンプルにはSafeを付ける • 陽性のサンプルには該当するラベルを付ける <ラベル付けの例>
トレーニング 16 • ラベル付け後に、プロジェクト画面からアダプターのトレーニングを実行できる • 通常は30分〜2時間
アダプターの評価 17 • しきい値を変えることで、テスト用のプロジェクト内のサンプルに対してパフォーマンス評価ができる • モデレーション実行時はアダプターとしきい値を指定して実行する
まとめ 18 • Amazon Rekognitionのカスタムモデレーションを使うことで、デフォルトでは判定されない画像に対しても、 ラベルカテゴリを割り当てることができる • ラベル付けなど一連の作業はコンソールより実施できる • 画像や動画に対してモデレーション用のラベルを割り当てる機能のため、特定のオブジェクトの検出はカスタムラベル、
より抽象的な指示はマルチモーダルLLMと、用途に応じたサービスを利用した方がより良い場合がある
None