掲示板への不適切な投稿を防ぐ （Azure AI Content Safety） shu-kita 

自己紹介 ● 出身 ○ 大阪府枚方市 ○ 3年前から札幌住み ● 業務 ○ SIer ○ デバイスドライバ関係 ● 趣味 ○ テニス、フットサルやってます ○ お笑いが好きです 

話すこと ● 掲示板アプリへの不適切な投稿を防ぐ ● ついでにクソアプリができた（時間あれば） 

なぜ掲示板？ ● Webアプリを作ったことない ● クラウドもほぼ触ったことない => Web系入門で定番とされている掲示板アプリを作って、 　 クラウドにデプロイしてみよう。 

できた 

課題 課題は差別・暴言・下ネタなど何でも投稿ができること。 ● 誹謗中傷 ● 犯罪予告 ● 性的な発言 ● 差別的な発言 治安が悪い 

解決策 投稿前に内容を精査して、不適切な投稿をできないようにしたい。 でも... ● 何が含まれていたら不適切なの？ ● 程度が軽ければOK？「軽い」の基準は？ ● 誰が投稿内容を精査する？ Azure AI Content Safety を使って解決 

Azure AI Content Safety とは アプリケーション内の「不快なコンテンツ」を検出する AI サービス。 検出対象のコンテンツはテキスト、画像。 色々機能はありますが、今回はテキストの検出機能を利用。 Content (text or image) カテゴリ レベル Hate and Fairness 0 Sexual 2 Violence 0 Self-Harm 0 Azure AI Content Safety 

評価結果 評価は以下の4カテゴリから行われる。 各カテゴリで 0～7 の Severity Level（以降、レベルと記載）が付けられる。 カテゴリ 内容 Hate and Fairness 特定の人種・地域への差別 いやがらせやイジメ Sexual ヌードやポルノなど性的な内容 Violence 脅迫、テロなど暴力的な内容 Self-Harm 自傷行為に関する内容 

掲示板アプリでの活用 投稿を Content Safety に渡して評価する。 評価結果のレベルが4以上だったら、掲示板に投稿させない。 投稿 カテゴリ レベル Hate and Fairness 0 Sexual 2 Violence 0 Self-Harm 0 Azure AI Content Safety レベルが高い場合は 掲示板に投稿させない 

現実で起きたこと この機能で何ができるのか やすこを悲しませない 

Content Safetyを使うと この機能で何ができるのか やすこを悲しませない 投稿させない 悲しくならない 

デモ Content Safety にフワちゃんの投稿を渡してみる 

AIによるチェックの難しさ 単語の意味に強く引っ張られる 印象 ● 危険な単語を含むけど、問題ない表現 ○ 以下、試してみて不適切となった ■ 息を殺す ■ 飯テロ ● 皮肉に弱い ○ 遠回しに意地悪く嫌味を言う ■ 面白い人だねw => バカにしている 

ついでにクソアプリができた Content Safetyを色々試している中で、 京都風の嫌味を入力してみたら... ● Content Safety の点数が低い ● 攻撃性がある => これを満たせばいい嫌味。 

京都人になろう AIが状況を提示してくれる。 京都人になりきって、状況にあった嫌味をいうゲーム。 Content Safety と Azure AI Foundary を組み合わせて、嫌味を評価。 私のことは嫌いでも、京都のことは嫌いにならないでください。 リンク： 京都人になろう 

まとめ ● Azure AI Content Safetyで「不快なコンテンツ」を検出できる。 ● 試したところ、単語の意味にひっぱられがちだった。 ● やすこを救える。