掲示板への不適切な投稿を防ぐ

Transcript

1. 掲示板への不適切な投稿を防ぐ （Azure AI Content Safety） shu-kita
2. 自己紹介 • 出身 ◦ 大阪府枚方市 ◦ 3年前から札幌住み • 業務 ◦ SIer ◦ デバイスドライバ関係 • 趣味 ◦ テニス、フットサルやってます ◦ お笑いが好きです
3. 話すこと • 掲示板アプリへの不適切な投稿を防ぐ • ついでにクソアプリができた（時間あれば）
4. なぜ掲示板？ • Webアプリを作ったことない • クラウドもほぼ触ったことない => Web系入門で定番とされている掲示板アプリを作って、 　 クラウドにデプロイしてみよう。
5. できた
6. 課題 課題は差別・暴言・下ネタなど何でも投稿ができること。 • 誹謗中傷 • 犯罪予告 • 性的な発言 • 差別的な発言 治安が悪い
7. 解決策 投稿前に内容を精査して、不適切な投稿をできないようにしたい。 でも... • 何が含まれていたら不適切なの？ • 程度が軽ければOK？「軽い」の基準は？ • 誰が投稿内容を精査する？ Azure AI Content Safety を使って解決
8. Azure AI Content Safety とは アプリケーション内の「不快なコンテンツ」を検出する AI サービス。 検出対象のコンテンツはテキスト、画像。 色々機能はありますが、今回はテキストの検出機能を利用。 Content (text or image) カテゴリ レベル Hate and Fairness 0 Sexual 2 Violence 0 Self-Harm 0 Azure AI Content Safety
9. 評価結果 評価は以下の4カテゴリから行われる。 各カテゴリで 0～7 の Severity Level（以降、レベルと記載）が付けられる。 カテゴリ 内容 Hate and Fairness 特定の人種・地域への差別 いやがらせやイジメ Sexual ヌードやポルノなど性的な内容 Violence 脅迫、テロなど暴力的な内容 Self-Harm 自傷行為に関する内容
10. 掲示板アプリでの活用 投稿を Content Safety に渡して評価する。 評価結果のレベルが4以上だったら、掲示板に投稿させない。 投稿 カテゴリ レベル Hate and Fairness 0 Sexual 2 Violence 0 Self-Harm 0 Azure AI Content Safety レベルが高い場合は 掲示板に投稿させない
11. 現実で起きたこと この機能で何ができるのか やすこを悲しませない
12. Content Safetyを使うと この機能で何ができるのか やすこを悲しませない 投稿させない 悲しくならない
13. デモ Content Safety にフワちゃんの投稿を渡してみる
14. AIによるチェックの難しさ 単語の意味に強く引っ張られる 印象 • 危険な単語を含むけど、問題ない表現 ◦ 以下、試してみて不適切となった ▪ 息を殺す ▪ 飯テロ • 皮肉に弱い ◦ 遠回しに意地悪く嫌味を言う ▪ 面白い人だねw => バカにしている
15. ついでにクソアプリができた Content Safetyを色々試している中で、 京都風の嫌味を入力してみたら... • Content Safety の点数が低い • 攻撃性がある => これを満たせばいい嫌味。
16. 京都人になろう AIが状況を提示してくれる。 京都人になりきって、状況にあった嫌味をいうゲーム。 Content Safety と Azure AI Foundary を組み合わせて、嫌味を評価。 私のことは嫌いでも、京都のことは嫌いにならないでください。 リンク： 京都人になろう
17. まとめ • Azure AI Content Safetyで「不快なコンテンツ」を検出できる。 • 試したところ、単語の意味にひっぱられがちだった。 • やすこを救える。