Orion: コンテンツモデレーションの現在と未来 / content-moderation-ai

長年にわたって、AmebaやABEMAをはじめとするメディア・サービスは、たくさんのユーザから寄せられるコンテンツにより成り立っている。一方、ごく一部ではあるがユーザやサービス自体に対する有害なコンテンツも投稿されており、放置することでサービスの品質低下や法的なリスクも発生することが懸念される。コンテンツモデレーションツールである「Orion」は、そうした有害なコンテンツの検知と排除のために構成された基盤システムで、自動でのフィルタリングとオペレータによる有人レビューの組み合わせによるHCI(Human-Computer Interaction)システムであり、10年以上にわたり運用されている。本発表では、現在までのOrionの取り組みと、将来より効率的なモデレーションを実現するために、生成AIなどを用いたレビューの置き換えやフィルタリングの試みについて概観を示す。

https://cadc.cyberagent.co.jp/2024/sessions/content-moderation-ai/

Transcript