公開している Notion サイトから人名を抽出して、誤って個人情報を記載していないか検出できるようにしてみた

YUMEMI.grow 【自動化特集】の発表資料です。

https://yumemi.connpass.com/event/257184/

Transcript

1. 公開している Notion サイトから人名を抽出 して、誤って個人情報を記載していないか 検出できるようにしてみた YUMEMI.grow 【自動化特集】
2. 自己紹介
3. ・おかやまん ・株式会社ゆめみ３年目 ・Android、Flutter テックリード ・趣味は将棋とプログラミング あっ、自動化も趣味です(笑)
4. 公開している Notion サイトから人名 を抽出して、誤って個人情報を記載 していないか検出できるようにしてみ た
6. モチベーション
7. ゆめみでは「ゆめみオープン・ハンドブック」として、社内ドキュメントを外部に公開しています
8. 仕組み
9. Notion でドキュメントを書いて、それを Super でウェブサイト化しています
10. Notion × Super 最高！
11. 注意点
12. ゆめみオープン・ハンドブック配下の ページは全て外部に公開される
13. 誤って個人情報が公開されてし まうことがありそう、、
14. ゆめみオープン・ハンドブックのペー ジ数は 1200 以上
15. え、、、 人力で全てのページを監視するの 無理そう、、
16. 自動化すればいっか
17. 個人情報を抽出する
18. ※ 今回は人の名前のみ
19. 作ってみた
20. Super を利用して構築された Notion サイトから人名を抽出するツール
22. 利用しているもの
23. ・Web ブラウザの操作を自動化 ・主な目的は Web アプリの UI テストの自動化 詳しくは↓ https://www.selenium.dev
24. ・Python で自然言語処理を行うためのライブラリ ・解析結果を扱いやすいようにコンポーネント化 ・速い 詳しくは↓ https://spacy.io
25. ・日本語に特化した自然言語処理ライブラリ ・spaCy を NLP Framework として使用 ・日本語 20 億文以上を用いて事前学習 詳しくは↓ https://megagonlabs.github.io/ginza
26. ざっくりコード紹介
27. requirements.txt
28. .env
29. settings.py
30. main.py
31. main.py
32. main.py-analyze()
33. main.py-analyze()
36. main.py-analyze()
37. main.py-extract()
38. outputs.electra.log
39. 課題
40. ・それなりに時間がかかる ・ホワイトリスト必要そう ・個人情報は人名だけじゃない
41. いろいろと課題はあるけど、、
42. 自動化はすばらしい！
43. ご清聴ありがとうございました