クローラーを作った話

2022/5月に行われたすごくなりたいがくせいLT Vo.16での発表資料です

イベントページはこちら
https://teens.connpass.com/event/246542/

Transcript

1. 競プロの 提出クローラーを作った
2. 自己紹介 • ハンドルネーム：matumoto • 本名：松本響輝 • 学年：28期 • 趣味：漫画アプリで毎日更新の漫画を読む • 今興味のある技術： • やってきた技術： ◦ ゲーム作り ◦ フロントエンド ◦ AtCoder 水💧 • Twitter：@matumoto_1234
3. 今回つくったもの
7. https://github.com/matumoto1234/cp-crawler
8. きっかけ
9. 提出を検索したかった
10. • 任意のユーザーの提出コードから文字列検索を行う ◦ サービス名はac-predictorを意識してac-searcherとかにしたいなあとか思ってた ◦ 先人がいた 先人がいた
12. クローラーを作ろう! • クローラーを公開してcloneとかよしなにしてもらえばよさそう
13. クローラーをつくる
14. 参考 • https://github.com/key-moon/compro
15. 機能 • 各サイトのACのソースコードを持ってくる ◦ ACするソースコードが複数ある場合も複数持ってくる • headerとしてファイルの先頭行に提出のURLをコメントアウトしてのっ ける • GitHubActionsのcronで定期実行させる • 本家の方では提出ファイルの先頭行に `ignore` があったらクロールし ない機能があるが、それは実装しない
16. 構成 • https://github.com/key-moon/compro の構成
17. 構成
18. 構成
19. TODO: なおす • エラー管理がかなり雑 ◦ スクレイピング先がNot Foundとかだったりすると、そこでログを出 力するようにしちゃった • 言語と拡張子が違う ◦ C++の提出なのに拡張子がなぜか.cだったりする
20. 使ってみたい人向け
21. やってくれ～～ • cloneして、いまある提出(atcoder/)の部分を消して、variables.goを少 し編集するだけ ◦ AtCoderUserName の部分とかを変更する ◦ secrets.GIT_EMAIL とかを設定する
22. ご清聴ありがとうございました ほんとは別言語で再実装する予定だった