クローラーを作った話

競プロの提出クローラーを作った

自己紹介 • ハンドルネーム：matumoto • 本名：松本響輝 • 学年：28期 • 趣味：漫画アプリで毎日更新の漫画を読む •
今興味のある技術： • やってきた技術： ◦ ゲーム作り ◦ フロントエンド ◦ AtCoder 水💧 • Twitter：@matumoto_1234

今回つくったもの

https://github.com/matumoto1234/cp-crawler

きっかけ

提出を検索したかった

• 任意のユーザーの提出コードから文字列検索を行う ◦ サービス名はac-predictorを意識してac-searcherとかにしたいなあとか思ってた ◦ 先人がいた先人がいた

クローラーを作ろう! • クローラーを公開してcloneとかよしなにしてもらえばよさそう

クローラーをつくる

参考 • https://github.com/key-moon/compro

機能 • 各サイトのACのソースコードを持ってくる ◦ ACするソースコードが複数ある場合も複数持ってくる • headerとしてファイルの先頭行に提出のURLをコメントアウトしてのっける • GitHubActionsのcronで定期実行させる
• 本家の方では提出ファイルの先頭行に `ignore` があったらクロールしない機能があるが、それは実装しない

構成 • https://github.com/key-moon/compro の構成

構成

TODO: なおす • エラー管理がかなり雑 ◦ スクレイピング先がNot Foundとかだったりすると、そこでログを出力するようにしちゃった • 言語と拡張子が違う
◦ C++の提出なのに拡張子がなぜか.cだったりする

使ってみたい人向け

やってくれ～～ • cloneして、いまある提出(atcoder/)の部分を消して、variables.goを少し編集するだけ ◦ AtCoderUserName の部分とかを変更する ◦ secrets.GIT_EMAIL とかを設定する

ご清聴ありがとうございましたほんとは別言語で再実装する予定だった

クローラーを作った話

クローラーを作った話

matumoto

More Decks by matumoto

Other Decks in Technology

Featured

Transcript

競プロの提出クローラーを作った

自己紹介 • ハンドルネーム：matumoto • 本名：松本響輝 • 学年：28期 • 趣味：漫画アプリで毎日更新の漫画を読む •

今回つくったもの

https://github.com/matumoto1234/cp-crawler

きっかけ

提出を検索したかった

• 任意のユーザーの提出コードから文字列検索を行う ◦ サービス名はac-predictorを意識してac-searcherとかにしたいなあとか思ってた ◦ 先人がいた先人がいた

クローラーを作ろう! • クローラーを公開してcloneとかよしなにしてもらえばよさそう

クローラーをつくる

参考 • https://github.com/key-moon/compro

機能 • 各サイトのACのソースコードを持ってくる ◦ ACするソースコードが複数ある場合も複数持ってくる • headerとしてファイルの先頭行に提出のURLをコメントアウトしてのっける • GitHubActionsのcronで定期実行させる

構成 • https://github.com/key-moon/compro の構成

構成

構成

TODO: なおす • エラー管理がかなり雑 ◦ スクレイピング先がNot Foundとかだったりすると、そこでログを出力するようにしちゃった • 言語と拡張子が違う

使ってみたい人向け

やってくれ～～ • cloneして、いまある提出(atcoder/)の部分を消して、variables.goを少し編集するだけ ◦ AtCoderUserName の部分とかを変更する ◦ secrets.GIT_EMAIL とかを設定する

ご清聴ありがとうございましたほんとは別言語で再実装する予定だった