Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
そうだったのか!札幌速報のしくみ
Search
Riku Kimura
June 05, 2024
Technology
1
210
そうだったのか!札幌速報のしくみ
Riku Kimura
June 05, 2024
Tweet
Share
Other Decks in Technology
See All in Technology
変化と挑戦:NoSQLとNewSQL Serverless Databaseの技術革新とマルチテナンシーの秘密
yoshiitaka
18
4k
20240530_洲崎 Amazon Connectの概要と活用パターン
suzakiyoshito
0
250
大規模 SaaS の技術的意思決定を支える三要素 / Three elements that support technical decision-making for large-scale SaaS
_atsushisakai
0
120
不要な DNS リソースレコードは消そう / Delete unused DNS records
wa6sn
4
3.1k
オブジェクト指向考古学 〜人類は再びDCIの夢を見るか〜
a_suenami
4
880
SSM Inventory を使って便利に EC2 棚卸し(ハマりどころを添えて)
masahirokawahara
2
560
入門 電気通信事業者
kurochan
10
4.5k
SSII2024 [OS3] 生成AIと完全自動運転
ssii
PRO
0
220
株式会社EventHub・エンジニア採用資料
eventhub
0
2.3k
Adopting ZGC in HBase for LINE Messaging
lycorptech_jp
PRO
2
250
Guard を利用した AWS Config ルール
yhana
0
270
Dompter le chaos de l'information : Construire un Allié IA avec Langchain4J
magnette
0
160
Featured
See All Featured
YesSQL, Process and Tooling at Scale
rocio
165
14k
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
BBQ
matthewcrist
80
8.9k
Web Components: a chance to create the future
zenorocha
306
41k
Done Done
chrislema
178
15k
Statistics for Hackers
jakevdp
791
220k
Visualization
eitanlees
137
14k
Building Effective Engineering Teams - LeadDev
addyosmani
40
2k
What's new in Ruby 2.0
geeforr
338
31k
Building Adaptive Systems
keathley
33
2k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.8k
Build your cross-platform service in a week with App Engine
jlugia
227
17k
Transcript
そうだったのか! 札幌速報のしくみ
自己紹介 木村 陸(きむら りく) ❖ 札幌市出身 ➢ 特に南区好き ❖ 株式会社かまかす(2022年6月入社)
➢ お酒とランニング好きが集まる会社 ❖ WEB系エンジニア ➢ 主にPHPで開発 ❖ 個人で「札幌速報」を運営
札幌速報(https://sapporo-sokuho.com/)とは ★ 札幌の開店閉店情報・イベント情報・ニュース などを扱うブログ ★ 2018年2月開設 ★ 2020年3月に100万PVを記録 ★ グーグルアドセンスによる広告収益が主な運営資金
★ 開設当初はlivedoorブログ⇒Wordpress移行
札幌速報の開店閉店情報 ★ 一番PV数が多いページ ★ オープンする店舗や閉店する店舗を一覧で表示
なぜこんなことを始めたか ★ 札幌の開店閉店情報オタク ★ どうせ集めるだけなら公開しよう
開店閉店の情報源 1) プレスリリース・掲載依頼・情報提供 2) TwitterX API 3) Webスクレイピング 4) 地域住民の口コミ
今回だけ 特別に!
1)プレスリリース 掲載依頼・情報提供
1)プレスリリース・掲載依頼・情報提供 ★ PR TIMESなどのプレスリリース配信サービス ★ 個別にいただくプレスリリース・掲載依頼 ★ 読者からの情報提供
2)X API
2)X API ★ Xの検索APIで開店閉店情報を取得 ★ IFTTTでLINE・Slackに通知
3)Webスクレイピング
3)Webスクレイピング ★ アルバイト情報サイト ★ チェーン店のお知らせ ★ etc…
3)Webスクレイピング 環境 ★ Flask ★ DBに保存+LINE・Slackに通知 特に難しいことはしていないため 技術的な話は割愛
3)Webスクレイピング 注意点 • 利用規約で禁止されていないか • robots.txtで該当ページへのアクセスが拒否されていないか
4)地域住民の口コミ
できる限り市内全ての開店閉店 情報を知りたい! インターネット上に 公開されていない情報も 😱 しかし 4)地域住民の口コミ
そんな時は・・・ • ドライブ・ランニングがてらリサーチ ◦ 工事中の建物を見つける ◦ 貼り紙が貼ってある店舗を見つける • 居酒屋などでリサーチ ◦
その街に詳しい人に聞く オフラインでも情報収集! 4)地域住民の口コミ
今後やりたいこと ★ スクレイピングのサーバレス化 ★ 札幌市のオープンデータの活用 ★ 開店・閉店予測 ★ 昔あったお店を振り返る地図
おしまい