「不適切コンテンツ検出」 の機械化と安定運用 / Automating "unsafe content detection" with Amazon SageMaker

「不適切コンテンツ検出」 の機械化と安定運用 / Automating "unsafe content detection" with Amazon SageMaker

*「機械学習による不適切コンテンツ検出」の実装と成果
https://medium.com/mixi-developers/mixi-20190110-d1cde81cf37c

*【開催報告】第4回 Amazon SageMaker 事例祭り
https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-fes-4/

SNS mixi というプロダクトで、「不適切コンテンツ検出」タスクを Amazon SageMaker, ECS 等の AWS サービス群によって機械化し、安定運用しています。
機械化にいたった経緯と成果、アーキテクチャと運用上のポイントについてお話しさせていただきます。

1.事業紹介
2.「健全性維持」という課題と対策
3.アーキテクチャ解説
 ⅰ.カスタムアルゴリズム
 ⅱ.中間生成物の管理
 ⅲ.定期実行タスク
4.まとめ

株式会社ミクシィ Vantage スタジオ mixi 事業部 岩瀬 靖彦

E6a9b30d4f34a57d19f14b1f8e68379a?s=128

Yasuhiko IWASE

April 17, 2019
Tweet

Transcript

  1. 13.

    ةݥ౓൑ఆϞσϧͷ֓ཁ ݴޠॲཧͷྫ w ౤ߘछྨʹ͋Θͤͯɺ୹จʗ௕จʗ ը૾ͳͲॲཧͷҟͳΔෳ਺ͷϞσϧ Λ࡞੒ͨ͠ w ౤ߘ಺༰ʹةݥ͕͋Δ͔൱͔ͷೋ ஋෼ྨϞσϧ w

    ౤ߘσʔλΛϦΫΤετͱͯ͠ड͚ औΓɺՃ޻੔ܗͯ͠ɺ.-Ϟσϧ΁ Ҿ͖౉ͯ͠ਪ࿦݁ՌΛऔಘ͠ɺ݁Ռ ʢෆద੾͔൱͔ͷϥϕϧʣΛฦ٫ ਪ࿦݁Ռ ೖྗจͷड͚औΓɺՃ޻੔ܗ ʢ೔ຊޠॲཧʣ ෼ྨϞσϧʹΑΔਪ࿦ ਪ࿦݁Ռͷ੔ܗɺฦ٫ ʮෆద੾ʯ ʮద੾ʯ ਪ࿦ΤϯυϙΠϯτ
  2. 35.

    ղܾࡦɿલॲཧ*%ʢ11*%ʣΛڞ༗͢Δ w ࣙॻσʔλ΍ϕΫτϥΠβ͸લॲཧϓϩη εͰ܇࿅σʔλͱͱ΋ʹੜ੒͢ΔͨΊɺલ ॲཧϓϩηεͷݻ༗*% 11*% Λൃߦ͠ɺ 11*%Λੜ੒෺ʹ໌ه͢Δ w ྫɿ11*%ɿQSFQSPDFTTKPC*%


    w ྫɿσʔλग़ྗઌύε
 5SBJOJOH +PCT "MHPSJUINT &$3 .PEFM "SUJGBDUT 4 *OQVU%BUB 4 1SFQSPDFTT +PCT &OEQPJOUT 7PDBC 7FDUPSJ[FS FUD 4
  3. 37.

    ਪ࿦؀ڥ΁11*%Λ࢖͍ࣙॻ౳Λ഑ஔ͢Δ w ਪ࿦ΤϯυϙΠϯτͰ͸ίϯςφ಺ PQU NMNPEFMҎԼ ʹ.PEFMϑΝΠϧ͕ల։ ͞ΕΔͨΊɺ.PEFMΛࢀর͢Δ͜ͱͰɺ .PEFM໊ʹؚ·ΕΔ11*%͕औಘͰ͖Δ
 w 11*%ΛؚΉࣙॻσʔλ౳ͷ4ύεΛ૊Έ

    ཱͯɺ4͔Βσʔλ܈Λμ΢ϯϩʔυ͠ ͯίϯςφ಺ʹ഑ஔͰ͖Δ 5SBJOJOH +PCT "MHPSJUINT &$3 .PEFM "SUJGBDUT 4 *OQVU%BUB 4 1SFQSPDFTT +PCT &OEQPJOUT 7PDBC 7FDUPSJ[FS FUD 4