パチンコ問題ってのがあってだな(改)

Transcript

1. パチンコ問題 ってものが あってだな 2014.10.1 モバイルファクトリーヴォラーレ共同勉強会 ヴォラーレ株式会社 CTO 田中創基
2. パチンコ問題とは 一般ユーザーが投稿するCGMサイト では、不適切な投稿というものがある ・ち◦ことか　f*ckとか しかし、マッチしたら一律禁止にすると ・パチンコ、ウルトラマンコスモス とかが書き込めなくなる
3. 昔の人は言いました
4. 敵を知り己を知れば 百戦危うからず
5. 今回の敵
6. コーヒー・ライター
7. コーヒー・ライターとは 昔の深夜ラジオで 「アメ」とか「ヤッターマン」とか 前に並べて、女性ゲストに読ませる コーナーがPTAで問題になったらしい。 口には出すなよ
8. ヤッターマン コーヒー ライター
9. 改行しようが 長音入れようが 逝ってよし
10. 敵とは 中坊神経が発達した連中 きっとギリギリを攻めて来る
11. 今回の己
12. 禁止キーワード管理とは ホワイトリストとブラックリストで運用 ブラックリストは言わずもがな ホワイトリストには 「ウルトラマンコスモス」とかを入れる
13. 運用上の都合で さらに、無視リストを作る 改行とか長音「ー」　句読点「、。」 挟めば通るのでは意味がない ブラックリストだけに使う
14. 処理のタイミング 当然のようにバリデーションで行う 0.1秒以内ぐらいが理想
15. ぱっと考えると 全パターンをstrposで探す →検索パターン数が増えたら死ぬ →ホワイトリストとブラックリストの被り 判定とか死にそう
16. どーすんの？
17. 昔の人は言いました
18. 故きを温ねて 新しきを知る
19. 検索アルゴリズム KMP法という検索アルゴリズムがある くわしくはググれ(クヌース-モリス-プラット法) KMP法のエッセンス ・テキスト一文字ずつ処理・線形処理 ・検索パターンの先頭を特別扱いする ・検索パターンを事前に調理しておく
20. 今回の設計の肝 ・パターンの頭文字を特別扱いする ・文中に含まれる文字で頭文字で 　検索パターンを絞り込む ・テキストの先頭から一字ずつ調べる 　頭文字が該当のパターンで十分 ・対象テキスト量のO(n)〜O(n2)ぐらい
21. 実際 入力されるテキストは200字行くことは 少ない 字種はさらに少なく、NGワードの頭文 字はさらに少ないから、実質凄く軽い はず
22. 実際の処理1 ・やまもといちろう がよく吠えてますが ・ちろう はNGらしく本名が使えないらしい http://kirik.tea-nifty.com/diary/2014/07/gmo-a7df.html
23. 実際の処理2 やまもといちろう 重複なしなので頭文字で抽出する -- WHERE `capital` IN (‘や’,‘ま’,‘も’,‘と’,‘い’,‘ち’,‘ろ’,‘う’) ホワイトワードの「いちろう」 ブラックリストの「ちろう」
24. 実際の処理3 一文字ずつチェックして行き 最長一致で いちろう が優先され、ホワイト認定となります
25. そうはいっても問題点 オーマン国際女子マラソン とか、当て字には無力 →人力チェックは必須
26. 最後に 古いアルゴリズムを 勉強しよう 発想の宝庫です