Case Study of Machine Learning in CrowdWorks

Transcript

1. CrowdWorksにおける 機械学習活用 取り組み 2018/01/27 株式会社クラウドワークス CTO 弓山彬
2. 自己紹介 • 弓山 彬 (ゆみやま あきら) • 株式会社クラウドワークス 執行役員 CTO • 経歴 ◦ 2011年4月 インターネットイニシアティブ入社 ◦ 2015年4月 クラウドワークス入社 ◦ 2016年7月 クラウドワークス CTO就任 • 業務 ◦ マネジメントしないCTO ◦ 最近：データ分析基盤 構築、新サービス アーキテクチャレビュー、 機械学習活用プロジェクト 推進、技術方針・戦略 策定、 ...
3. CrowdWorksについて
6. サービス 成長（ユーザ数） クラウドワークスについて
7. サービス 成長（仕事 投稿数） ユーザ数 増加に伴って、仕事 依頼数も堅調に推移 クラウドワークスについて
8. サービス 抱える課題
9. 悪質案件
10. ユーザによる不適切投稿（スパム投稿） 増加 • CGM (ユーザ投稿型メディア) に共通する課題 • 不適切な投稿が増えることによって ◦ 目的 仕事を見つけづらくなる ◦ サービス品質 低下 • 不適切な投稿（仕事募集） 例： ◦ サービス 意図に反する投稿（アフィリエイト、情報商材、等） ◦ 外部サービス 規約に反する投稿（ランキング操作、不正な評価 依頼、等） ◦ 成功報酬、雇用を前提とした募集など、サービス 利用規約を把握せぬまま投稿するケース クラウドソーシング・サービス 抱える課題
11. ユーザによる不適切投稿（スパム投稿） 増加 クラウドソーシング・サービス 抱える課題 利用者が増えて メディア媒体として 価値があがる 悪質案件 急増が課題になっていた スパムに狙われやすくなる
12. 悪質案件に対する取り組み
13. 悪質案件に対する従来 取り組み 悪質案件に対する取り組み ユーザから フィードバック • 「違反報告」によるフィードバック収集 悪質案件 検出 • 「禁止ワード」チェック（正規表現） • 機械学習 活用
14. ユーザフィードバック 収集を増やす 悪質案件に対する取り組み
15. ユーザフィードバック 収集を増やす 悪質案件に対する取り組み • シンプルな選択肢で回答しやすい • スマホアプリ、Webページともに実装（導線を増やした） • 多く フィードバックが集まり、検索・違反検出 改善に繋がっ た
16. 悪質案件に対する従来 取り組み 悪質案件に対する取り組み ユーザから フィードバック • 「違反報告」によるフィードバック収集 悪質案件 検出 • 機械学習 活用 • 「禁止ワード」チェック (正規表現)
17. 「禁止ワード」による違反案件 検出 • 違反案件 文面に頻出するキーワードを列挙 ◦ HTMLタグ除去、Unicode正規化 後、正規表現で一致判定 ◦ いずれか 「禁止ワード」が含まれる場合に事務局チェック 対象とする 違反案件に対する取り組み 事務局 目視チェック後、 違反であれ 掲載停止や利用制限と いった対応を実施 ☞ 自動処理が可能な 精度に至っていなかった
18. 悪質案件に対する従来 取り組み 悪質案件に対する取り組み ユーザから フィードバック • 「違反報告」によるフィードバック収集 悪質案件 検出 • 機械学習 活用 • 「禁止ワード」チェック (正規表現)
19. 機械学習 活用 • 教師データが存在する ◦ ⇒ 過去 ユーザサポートチーム 判断結果が残っている • 人によって判断基準 ブレにくい ◦ ⇒ 「あなたにおすすめ」 人それぞれ 好みへ 依存度が高い ◦ ⇒ 「よくない」「あやしい」 人による判断 ブレが少ない • 判定基準が明確である ◦ ⇒ 「利用規約」「ガイドライン」として基準が言語化されている ◦ ⇒ 迷った時 最終判断できる人が社内にいる（ユーザサポートチーム） 悪質案件 検出
20. 試行錯誤するも.. • word2vec • doce2vec • SVM • LSTM • … • 全てOKか、全てNGに... 悪質案件 検出 - 機械学習 活用
21. ベイジアンフィルタによる 違反案件 検出
22. 違反案件 検出処理 流れ 違反案件検出 高精度化に向けた取り組み 前処理 • 必要なデータセット 抽出 • HTMLタグ 除去、Unicode (NFKC)正規化 検出処理 • 形態素解析にMeCabを利用 ◦ mecab-ipadic-NEologd を辞書として利用 ◦ 抽出対象 名詞、動詞、形容詞、形容動詞、副詞 ◦ 装飾用記号列など 除外した ◦ 活用するも について 基本形 (base form)を用いた • ベイジアンフィルタで判定 後処理 • サービス本体と 連携 • 事務局による目視チェック結果 フィードバック
23. ベイジアンフィルタによる検出 違反案件検出 高精度化に向けた取り組み 違反案件 非違反案件 違反判定 807 77 非違反判定 193 923 適合率 再現率 F値 0.913 0.807 0.857 ベイジアンフィルタ 性能評価 違反案件 非違反案件 違反判定 326 100 非違反判定 674 900 適合率 再現率 F値 0.765 0.326 0.457 禁止ワードチェック 性能評価 • 適合率、再現率ともに改善した • 複数 語 出現傾向をもとに判定することで誤判定を減らせた • 従来検知できなかった種類 違反案件も大部分を検知できた
24. ベイジアンフィルタによる検出をサービスに適用する 違反案件検出 高精度化に向けた取り組み • 従来手法に比べて、適合率が大きく改善(76%→91%)したこと ☞ 自動非公開処理が現実味を帯びてきた ◦ 違反で無いも を非公開にしてしまうケース ゼロに できない ◦ そ 対応コストが許容可能な範囲に収まる程度に性能改善できた 手法 適合率 再現率 F値 正規表現 0.765 0.326 0.457 ベイジアンフィルタ 0.913 0.807 0.857
25. ベイジアンフィルタ サービス環境へ 組み込み 違反案件検出 高精度化に向けた取り組み サービス提供用DB 機械学習用DB 必要なデータ み 取得・同期する 判定結果を HTTP JSON API で連携する 機械学習用 EC2インスタンス Rails App Server サービス環境
26. ベイジアンフィルタ サービス本体と 連携 違反案件検出 高精度化に向けた取り組み 学習フェーズ (1回/day) • 1日1回、N日前〜N+60日前 60日分 仕事依頼 データを対象に学習させる (N=3〜7) • 違反案件 傾向変化に追従させるため • 直近数日分 目視チェック未完了 場合があるため 除外 判定フェーズ (1-2回/hour) • 新着 案件に対して判定処理を実施 • 違反と判定されたも HTTP JSON API 経由で サービス本体に連携し掲載停止処理を実施
27. ベイジアンフィルタを組み込んでみて (まとめ) • 今回 取り組みによって、初めて「禁止ワード」チェック(正規表現) 性能を定量的 に評価した ◦ 従来 感覚値で会話していたも が、定量的に評価し、改善・予測できるようになった • 人力 対応コストを大幅に削減できた ◦ 目視で 巡回を大幅に減らすことができた ◦ 人力チェック 結果を次回ベイジアンフィルタ 学習にフィードバックすることで、追加コスト無く継 続的に性能を維持できるようになった ◦ アーキテクチャ 工夫により、新たな取り組み 成果を速やかにサービス適用できた 違反案件検出 高精度化に向けた取り組み
28. 振り返りとこれから
29. 「ど ような課題を解決したい か」 をしっかりと定義することが重要
30. これまで：守り 悪質案件 検出 RPA(自動化)による工 数削減
31. これまで：守り 悪質案件 検出 RPA(自動化)による工 数削減 これから：攻め サービス価値を 大きくする
32. 良い “仕事上 出会い” を 創っていきたい
33. マッチング 改善 • いい仕事と、いいクラウドワーカーが出会い環境を作りたい ◦ いい仕事、いいクラウドワーカー 特徴 、状況（コンテキスト）によって違う ◦ いいエンジニアが、いいデザイナーと 限らない • 今よりも、もっと良い出会いが起こりやすく • クラウドワーカー スキルアップ、ステップアップ 支援
34. ユーザに届ける”価値”を 最大化するために、何が必要か？
35. ユーザに価値を届ける”価値”を最大化するために • ユーザ視点で課題を捉え、プロダクトが届けるべき”価値”を整理する • プロダクトオーナー、UXデザイナーを中心に、メンバー全員で議論する • “価値”を届けるために、機械学習が生きる場面があれ 、活用していく • プロダクトオーナー(PO)、 エンジニア、UXデザイナー、 混成チームで”ユーザー 課題”に 向き合い続ける
36. http://designer.crowdworks.co.jp/entry/customer-journey-map-uxdesign http://designer.crowdworks.co.jp/entry/three-conscious-things
37. https://qiita.com/yo-iida/items/053f7613a68e086a01a4
38. We're Hiring • インターネットを通じた “仕事” マッチングをより良くしていきたい • ユーザ 課題に向き合いながら、サービスを成長させていきたい方 • プロダクトオーナー、デザイナー、エンジニア 混成チームで働きたい方 https://crowdworks.doorkeeper.jp/events/69911 2月21日(水) 19:30〜 弊社オフィス (恵比寿ガーデンプレイス) にてミートアップ開催