Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
そうだったのか!札幌速報のしくみ
Search
Riku Kimura
June 05, 2024
Technology
1
250
そうだったのか!札幌速報のしくみ
Riku Kimura
June 05, 2024
Tweet
Share
Other Decks in Technology
See All in Technology
CEL(Common Expression Language)で書いた条件にマッチしたIAM Policyを見つける / iam-policy-finder
fujiwara3
0
710
Matterport を使ってクラスメソッド各拠点のバーチャルオフィスツアーを作成してみた
wakatsuki
0
160
【基調講演】変える、今ここから ― IoTとAIで紡ぐ未来
soracom
PRO
0
310
Git 研修 Advanced【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
200
ゆめみのアクセシビリティの現在地と今後
ryokatsuse
3
290
楽しくGoを学び合う、LayerXの勉強会文化 / LayerX's study culture of having fun and learning Go together
ar_tama
2
350
DevIO2024_レガシー運用からの脱却 -クラウド活用の実践事例とベストプラクティス-
jun2882
0
210
How to Think Like a Performance Engineer
csswizardry
4
590
データ分析を支える技術 生成AI再入門
ishikawa_satoru
0
380
E2Eテスト自動化プラットフォームにおけるAIの活用
shift_evolve
0
180
MySQLのロックの種類とその競合
yoku0825
6
1.6k
目標設定は好きですか? アジャイルとともに目標と向き合い続ける方法 / Do you like target Management?
kakehashi
10
3k
Featured
See All Featured
Debugging Ruby Performance
tmm1
71
11k
How STYLIGHT went responsive
nonsquared
93
5k
In The Pink: A Labor of Love
frogandcode
139
22k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
129
32k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
26
1.6k
Fashionably flexible responsive web design (full day workshop)
malarkey
399
65k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.9k
Practical Orchestrator
shlominoach
185
10k
The Cost Of JavaScript in 2023
addyosmani
31
4.7k
What’s in a name? Adding method to the madness
productmarketing
PRO
21
2.9k
WebSockets: Embracing the real-time Web
robhawkes
59
7.2k
Scaling GitHub
holman
458
140k
Transcript
そうだったのか! 札幌速報のしくみ
自己紹介 木村 陸(きむら りく) ❖ 札幌市出身 ➢ 特に南区好き ❖ 株式会社かまかす(2022年6月入社)
➢ お酒とランニング好きが集まる会社 ❖ WEB系エンジニア ➢ 主にPHPで開発 ❖ 個人で「札幌速報」を運営
札幌速報(https://sapporo-sokuho.com/)とは ★ 札幌の開店閉店情報・イベント情報・ニュース などを扱うブログ ★ 2018年2月開設 ★ 2020年3月に100万PVを記録 ★ グーグルアドセンスによる広告収益が主な運営資金
★ 開設当初はlivedoorブログ⇒Wordpress移行
札幌速報の開店閉店情報 ★ 一番PV数が多いページ ★ オープンする店舗や閉店する店舗を一覧で表示
なぜこんなことを始めたか ★ 札幌の開店閉店情報オタク ★ どうせ集めるだけなら公開しよう
開店閉店の情報源 1) プレスリリース・掲載依頼・情報提供 2) TwitterX API 3) Webスクレイピング 4) 地域住民の口コミ
今回だけ 特別に!
1)プレスリリース 掲載依頼・情報提供
1)プレスリリース・掲載依頼・情報提供 ★ PR TIMESなどのプレスリリース配信サービス ★ 個別にいただくプレスリリース・掲載依頼 ★ 読者からの情報提供
2)X API
2)X API ★ Xの検索APIで開店閉店情報を取得 ★ IFTTTでLINE・Slackに通知
3)Webスクレイピング
3)Webスクレイピング ★ アルバイト情報サイト ★ チェーン店のお知らせ ★ etc…
3)Webスクレイピング 環境 ★ Flask ★ DBに保存+LINE・Slackに通知 特に難しいことはしていないため 技術的な話は割愛
3)Webスクレイピング 注意点 • 利用規約で禁止されていないか • robots.txtで該当ページへのアクセスが拒否されていないか
4)地域住民の口コミ
できる限り市内全ての開店閉店 情報を知りたい! インターネット上に 公開されていない情報も 😱 しかし 4)地域住民の口コミ
そんな時は・・・ • ドライブ・ランニングがてらリサーチ ◦ 工事中の建物を見つける ◦ 貼り紙が貼ってある店舗を見つける • 居酒屋などでリサーチ ◦
その街に詳しい人に聞く オフラインでも情報収集! 4)地域住民の口コミ
今後やりたいこと ★ スクレイピングのサーバレス化 ★ 札幌市のオープンデータの活用 ★ 開店・閉店予測 ★ 昔あったお店を振り返る地図
おしまい