Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
掲示板への不適切な投稿を防ぐ
Search
北村
August 23, 2025
Technology
0
52
掲示板への不適切な投稿を防ぐ
北村
August 23, 2025
Tweet
Share
More Decks by 北村
See All by 北村
Azure Container Appsを使ってみた
shu_kita
0
50
ギャルのパンティおくれ
shu_kita
1
49
LSMツリー
shu_kita
0
17
正規表現エンジンを自作した話
shu_kita
0
10
Other Decks in Technology
See All in Technology
これからアウトプットする人たちへ - アウトプットを支える技術 / that support output
soudai
PRO
6
1.9k
アノテーション作業書作成のGood Practice
cierpa0905
PRO
1
410
コミュニティと共に変化する 私とFusicの8年間
ayasamind
0
300
ソフトウェアテストのAI活用_ver1.50
fumisuke
0
200
メタプログラミングRuby問題集の活用
willnet
1
150
ソフトウェア品質を支える テストとレビュー再考 / 吉澤 智美さん
findy_eventslides
1
670
The Twin Mandate of Observability
charity
1
630
AIがコードを書いてくれるなら、新米エンジニアは何をする? / komekaigi2025
nkzn
25
17k
Master Dataグループ紹介資料
sansan33
PRO
1
3.8k
開発者が知っておきたい複雑さの正体/where-the-complexity-comes-from
hanhan1978
6
1.7k
AI-ready"のための"データ基盤 〜 LLMOpsで事業貢献するための基盤づくり
ismk
0
130
ピープルウエア x スタートアップ
operando
3
3.6k
Featured
See All Featured
jQuery: Nuts, Bolts and Bling
dougneiner
65
8k
Java REST API Framework Comparison - PWX 2021
mraible
34
8.9k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
1k
How to Think Like a Performance Engineer
csswizardry
28
2.2k
KATA
mclloyd
PRO
32
15k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
249
1.3M
Product Roadmaps are Hard
iamctodd
PRO
55
11k
A designer walks into a library…
pauljervisheath
209
24k
[RailsConf 2023] Rails as a piece of cake
palkan
57
6k
Visualization
eitanlees
150
16k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
192
56k
Documentation Writing (for coders)
carmenintech
76
5.1k
Transcript
掲示板への不適切な投稿を防ぐ (Azure AI Content Safety) shu-kita
自己紹介 • 出身 ◦ 大阪府枚方市 ◦ 3年前から札幌住み • 業務 ◦
SIer ◦ デバイスドライバ関係 • 趣味 ◦ テニス、フットサルやってます ◦ お笑いが好きです
話すこと • 掲示板アプリへの不適切な投稿を防ぐ • ついでにクソアプリができた(時間あれば)
なぜ掲示板? • Webアプリを作ったことない • クラウドもほぼ触ったことない => Web系入門で定番とされている掲示板アプリを作って、 クラウドにデプロイしてみよう。
できた
課題 課題は差別・暴言・下ネタなど何でも投稿ができること。 • 誹謗中傷 • 犯罪予告 • 性的な発言 • 差別的な発言
治安が悪い
解決策 投稿前に内容を精査して、不適切な投稿をできないようにしたい。 でも... • 何が含まれていたら不適切なの? • 程度が軽ければOK?「軽い」の基準は? • 誰が投稿内容を精査する? Azure
AI Content Safety を使って解決
Azure AI Content Safety とは アプリケーション内の「不快なコンテンツ」を検出する AI サービス。 検出対象のコンテンツはテキスト、画像。 色々機能はありますが、今回はテキストの検出機能を利用。
Content (text or image) カテゴリ レベル Hate and Fairness 0 Sexual 2 Violence 0 Self-Harm 0 Azure AI Content Safety
評価結果 評価は以下の4カテゴリから行われる。 各カテゴリで 0~7 の Severity Level(以降、レベルと記載)が付けられる。 カテゴリ 内容 Hate
and Fairness 特定の人種・地域への差別 いやがらせやイジメ Sexual ヌードやポルノなど性的な内容 Violence 脅迫、テロなど暴力的な内容 Self-Harm 自傷行為に関する内容
掲示板アプリでの活用 投稿を Content Safety に渡して評価する。 評価結果のレベルが4以上だったら、掲示板に投稿させない。 投稿 カテゴリ レベル Hate
and Fairness 0 Sexual 2 Violence 0 Self-Harm 0 Azure AI Content Safety レベルが高い場合は 掲示板に投稿させない
現実で起きたこと この機能で何ができるのか やすこを悲しませない
Content Safetyを使うと この機能で何ができるのか やすこを悲しませない 投稿させない 悲しくならない
デモ Content Safety にフワちゃんの投稿を渡してみる
AIによるチェックの難しさ 単語の意味に強く引っ張られる 印象 • 危険な単語を含むけど、問題ない表現 ◦ 以下、試してみて不適切となった ▪ 息を殺す ▪
飯テロ • 皮肉に弱い ◦ 遠回しに意地悪く嫌味を言う ▪ 面白い人だねw => バカにしている
ついでにクソアプリができた Content Safetyを色々試している中で、 京都風の嫌味を入力してみたら... • Content Safety の点数が低い • 攻撃性がある
=> これを満たせばいい嫌味。
京都人になろう AIが状況を提示してくれる。 京都人になりきって、状況にあった嫌味をいうゲーム。 Content Safety と Azure AI Foundary を組み合わせて、嫌味を評価。
私のことは嫌いでも、京都のことは嫌いにならないでください。 リンク: 京都人になろう
まとめ • Azure AI Content Safetyで「不快なコンテンツ」を検出できる。 • 試したところ、単語の意味にひっぱられがちだった。 • やすこを救える。