Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
クローラーを作った話
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
matumoto
May 07, 2022
Technology
45
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
クローラーを作った話
2022/5月に行われたすごくなりたいがくせいLT Vo.16での発表資料です
イベントページはこちら
https://teens.connpass.com/event/246542/
matumoto
May 07, 2022
Transcript
22 slides
競プロの 提出クローラーを作った
自己紹介 • ハンドルネーム:matumoto • 本名:松本響輝 • 学年:28期 • 趣味:漫画アプリで毎日更新の漫画を読む •
今興味のある技術: • やってきた技術: ◦ ゲーム作り ◦ フロントエンド ◦ AtCoder 水💧 • Twitter:@matumoto_1234
今回つくったもの
None
None
None
https://github.com/matumoto1234/cp-crawler
きっかけ
提出を検索したかった
• 任意のユーザーの提出コードから文字列検索を行う ◦ サービス名はac-predictorを意識してac-searcherとかにしたいなあとか思ってた ◦ 先人がいた 先人がいた
None
クローラーを作ろう! • クローラーを公開してcloneとかよしなにしてもらえばよさそう
クローラーをつくる
参考 • https://github.com/key-moon/compro
機能 • 各サイトのACのソースコードを持ってくる ◦ ACするソースコードが複数ある場合も複数持ってくる • headerとしてファイルの先頭行に提出のURLをコメントアウトしてのっ ける • GitHubActionsのcronで定期実行させる
• 本家の方では提出ファイルの先頭行に `ignore` があったらクロールし ない機能があるが、それは実装しない
構成 • https://github.com/key-moon/compro の構成
構成
構成
TODO: なおす • エラー管理がかなり雑 ◦ スクレイピング先がNot Foundとかだったりすると、そこでログを出 力するようにしちゃった • 言語と拡張子が違う
◦ C++の提出なのに拡張子がなぜか.cだったりする
使ってみたい人向け
やってくれ~~ • cloneして、いまある提出(atcoder/)の部分を消して、variables.goを少 し編集するだけ ◦ AtCoderUserName の部分とかを変更する ◦ secrets.GIT_EMAIL とかを設定する
ご清聴ありがとうございました ほんとは別言語で再実装する予定だった
More Decks by matumoto
See All by matumoto
Go標準パッケージのI/O処理をながめる
matumoto
0
550
testingを眺める
matumoto
1
230
sync/v2 プロポーザルの 背景と sync.Pool について
matumoto
0
860
Goトランザクション処理
matumoto
1
100
いまいちどスライスの 挙動を見直してみる
matumoto
0
440
Go1.22のリリース予定の機能を見る
matumoto
0
110
GoのUnderlying typeについて
matumoto
0
250
Typed-nilについて
matumoto
0
410
GoのType Setsという概念
matumoto
0
72
Other Decks in Technology
See All in Technology
さようならSSH鍵、こんにちはゼロトラスト ― AIフレンドリーで快適な自宅鯖SSH
atalie2m
14
7.2k
コピーオンライト型ファイルシステムと ランダム書き込み
sat
PRO
2
130
Biohub - Cell Tracking During Development 5th place solution
rist
0
180
個人ASを取得して、自宅Kubernetes上のVMをグローバルIPで公開した話
munenick
0
210
閉域網でのAPI公開の選択肢全部比較!
takano0131
4
580
エンタープライズIAMについて - ID・権限をどう統制するか
oidfj
1
240
Amazon Bedrock AgentCore の基礎とセキュリティ・ガバナンス
ren8k
0
190
マネジメントされる側の仕事は「文句」を言うこと
riyaamemiya
7
5.8k
IoTのデータ保存をSREの観点で考える
grimoh
1
110
Terraform 0 to 100:100個以上のリポジトリを常に最新にし続けるための自動化
sue445
2
890
re:Inventを楽しむために、 1日1つ「これが楽しみ」を決めよう
beli68
0
120
RAGの改善を速く回すための評価基盤
yosukeyoshida
6
3.3k
Featured
See All Featured
Tell your own story through comics
letsgokoyo
1
1.1k
Designing Powerful Visuals for Engaging Learning
tmiket
1
660
First, design no harm
axbom
PRO
2
1.4k
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
madoxten
70
69k
Digital Ethics as a Driver of Design Innovation
axbom
PRO
2
540
Reality Check: Gamification 10 Years Later
codingconduct
0
2.4k
New Earth Scene 8
popppiees
5
2.9k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
2.2k
Conquering PDFs: document understanding beyond plain text
inesmontani
PRO
4
3.3k
The Anti-SEO Checklist Checklist. Pubcon Cyber Week
ryanjones
0
310
Being A Developer After 40
akosma
PRO
92
590k
How to Align SEO within the Product Triangle To Get Buy-In & Support - #RIMC
aleyda
2
1.9k