ML-driven Violation Detection for TnS Moderation @ Mercari CS-CRE meetup

Transcript

1. 1 ML-driven Violation Detection for Trust and Safety Moderation AI-CRE Team Hsien-Chi Toby Liu July 14th 2021
2. 2 Background & Overview Text Moderation for Trust and Safety
3. 3 Text Moderation for Trust and Safety (TnS) “Sorry, the price is really too low. Is it possible for us to ...” “Exactly. If it’s okay, please follow my twitter @tobyminion .” “To finish the deal at twitter and ditch the transaction fee?” “Okay. Got it.” S B S B * Original texts are available at speaker’s note.
4. 4 Rule-based patterns: the conventional approach “すみません、この価格はやっぱり安すぎた。できれ ば、、、” “はい、そういうことです。良かったら、@tobyminionを フォローしてください” “手数料のために、ツイッターで取引したいで すか？” “はい、わかりました。” S B S B 外部誘導 External Induction * Translations are available at speaker’s note. Twitter, ツイッター 紹介, ブログ include_words exclude_words
5. 5 Why is External Induction unsafe? B １ ２ 外部誘導 External Induction S ３
6. 6 Problem of Rule-based Monitoring Only few positive escalations over 100 messages checked by CS agents Low Accuracy
7. 7 Motivation of ML-driven Violation Detection A system with language models learning from previous escalated cases to report potentially policy-violated online cases to moderators for further human judgements. Project Goal: Ensure TnS of Mercari and Reduce Workload of CS Agents Project Scope
8. 8 Difference between Content and Text Moderation Target Domain / Inputs Item Listing User-generated Text Trust and Safety (TnS) Item Moderation presented by @suganprabu96 Text Moderation👮 Scope of this project Both are ML-driven TnS projects, but Text Moderation focuses on user-generated text with abusive intentions against our policies, while Content Moderation is scanning items for illegal listings.
9. 9 Why do we keep both Rule-base monitoring and ML-driven approaches in parallel? Submodels of binary classifiers for various violation domains. However, violation domains vary and evolve over time. Eg. Trading masks have been prohibited during COVID-19 Rule-base monitoring comes with a higher flexibility comparing with ML-driven approach. Prohibited items due to COVID-19 on Mercari [JP]
10. 10 Submodels of Binary Classifiers for Violation Domains 見出し RAT: Rating
 EXT: External Induction 
 • Induce users to finish transactions on other platforms
 外部サービスなどに誘導す る行為
 
 • Transfund or make payments outside of Mercari
 メルカリで用意された以外の 決済方法を促すこと 
 • Force users to make payments, deliveries or ratings before the transaction completes 
 支払いを行う前に出品者へ 発送を促すこと
 
 • Make requests against public morals
 迷惑行為
 • External or oversea shipments
 外部･海外発送･不正配送 
 • Disallowed items
 違反商品
 • Quarrels and curses 
 暴言
 
 FBD: Forbidden Behaviors 
 Prohibited Conducts in Mercari [JP]
11. 11 How do ML Models work? Rule-based monitoring vs ML-driven approach
12. 12 Problems of Rule-based Monitoring 1. Low precision by rule-based patterns 2. Ignoring previous conversation 3. Hard to understand intentions
13. 13 Problem 1: Low precision by Rule-based Patterns Twitter, ツイッター 紹介, ブログ “もしツイッターで相談できれば、メルカリの手数料がかかりませ ん。” “ご購入ありがとう。良かったら僕のTwitterブログをフォローして ね。” Matched rules Need to be reported Y N Y N Daily % by Rule 5% True Positive (target) 1 2 “ご購入ありがとう。良かったら僕のTwitterをフォローしてね。” “もしツーイーッーターで相談できれば、メルカリの手数料がかかり ません。” Y N N Y 95% True Negative (wasted) ! False Positive (missing) 3 4 An External Induction Case * translations are available at speaker’s note. include_words exclude_words
14. 14 TM-MOD v0: Word alignment and Context “もしツイッターで相談できれば、メルカリの手数料がかかりませ ん。” “もしツーイーッーターで相談できれば、メルカリの手数料がかかり ません。” Predict to be reported (send alert?) Need to be reported (Label) Y Y Y Y 1 2 Extracted Feature “ご購入ありがとう。良かったら僕のTwitterをフォローしてね。” “ご購入ありがとう。良かったら僕のTwitterブログをフォローして ね。” N N N N 1 2 1. Word alignment {ツイッター, ツーイーッーター, Twitter} 2. Context in co-occurrence of words
15. 15 Problem 2: Previous conversation ignored “すみません、この価格はやっぱり安すぎた。できれ ば、、、” “はい、そういうことです。良かったら、@tobyminionに フォローしてください” “手数料のために、ツイッターで進みたいです か？” “はい、わかりました。” S B S B TRUE POSITIVE (TP) “ご購入ありがとう。良かったらSNSを交換しません か？” “はい、そういうことです。良かったら、@tobyminionに フォローしてください” “ツイッターをフォローすることですか？” “はい、わかりました。” S B S B TRUE NEGATIVE (TN) “はい、そういうことです。良かったら、 @tobyminionにフォローしてください ” * translations are available at speaker’s note.
16. 16 TM-MOD v1: Take dialogues as Inputs “すみません、この価格はやっぱり安すぎた。できれ ば、、、” Send Alert? Buyer Feature N S Seller Feature Global Layer “はい、そういうことです。良かったら、@tobyminionに フォローしてください” “手数料のために、ツイッターで進みたいです か？” “はい、わかりました。” Y N Y B S B Multi-round Conversation Majumder, Navonil, et al. "Dialoguernn: An attentive rnn for emotion detection in conversations." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 33. No. 01. 2019.
17. 17 Problem 3: Hard to understand intentions Feedback from CS Agents We hope that some cases can be excluded from alerts. Cases like users exchange their SNS for trouble solving or sharing hobbies can be ignored by the model. “はい、そういうことです。良かっ たら、@tobyminionにフォロー してください” Text Transaction “はい、そういうことです。良かった ら、@tobyminionにフォローしてく ださい” Composer: Seller Status: Post-transact. New Features!
18. 18 TM-MOD v2: Introducing new features * translations are available at speaker’s note. “すみません、この価格はやっぱり安すぎた。 できれば、、、” “はい、そういうことです。良かったら、 @tobyminionにフォローしてください” “手数料のために、ツイッターで進み たいですか？” “はい、わかりました。” S B S B Status Seller/Buyer Pending for Payment Seller Buyer Seller Buyer Text Pending for Payment Pending for Payment Pending for Payment
19. 19 TM-MOD v2: an Improved Example * translations are available at speaker’s note. “すみません、この価格はやっぱり安すぎた。 できれば、、、” “はい、そういうことです。良かったら、 @tobyminionにフォローしてください” “手数料のために、ツイッターで進み たいですか？” “はい、わかりました。” S B S B “ご購入ありがとう。良かったらSNSを交換し ませんか？” “はい、そういうことです。良かったら、 @tobyminionにフォローしてください” “ツイッターをフォローすることです か？” “はい、わかりました。” S B S B Status Pending for Payment Waiting for Rating Seller/Buyer Text Similar messages But in a different context
20. 20 Project Outcomes Machine Learning KPI & Business KPI
21. 21 Online Evaluation for External Induction Model (EXT) EXTv0 released EXTv1 released EXTv2 released Rule patterns reported twice the amount of ML reported alerts but with merely ⅕ accuracy of ML-driven approach. Time
22. 22 Future Work ML-driven Violation Detection for TnS Moderation
23. 23 Expand to Argument Detection Go beyond TnS - Towards a higher level of customer satisfaction - Saved human resources can be allocated to help conflicts between customers - Labelled dataset ready to make a PoC by adding a new violation domain “無視だけで何も出来ねぇカス野郎金返せ や！” “それで警察に行って詐欺にあった！！” “笑 こっちがゆーとる意味わかる？笑 頭温いん？” B S S “もう二週間でした。発送しましたか？” S
24. 24 Thank you :D 良かったら、@tobyminion にフォローしてください Feel free to follow me at @tobyminion References: • ML System Design Pattern maintained by Mercari • Multimodal ML at Mercari by @prashant Illustrations from https://www.irasutoya.com/