そうだったのか！札幌速報のしくみ

Slide 1

Slide 1 text

そうだったのか！札幌速報のしくみ

Slide 2

Slide 2 text

自己紹介木村陸（きむらりく） ❖ 札幌市出身 ➢ 特に南区好き ❖ 株式会社かまかす（2022年6月入社） ➢ お酒とランニング好きが集まる会社 ❖ WEB系エンジニア ➢ 主にPHPで開発 ❖ 個人で「札幌速報」を運営

Slide 3

Slide 3 text

札幌速報（https://sapporo-sokuho.com/）とは ★ 札幌の開店閉店情報・イベント情報・ニュースなどを扱うブログ ★ 2018年2月開設 ★ 2020年3月に100万PVを記録 ★ グーグルアドセンスによる広告収益が主な運営資金 ★ 開設当初はlivedoorブログ⇒Wordpress移行

Slide 4

Slide 4 text

札幌速報の開店閉店情報 ★ 一番PV数が多いページ ★ オープンする店舗や閉店する店舗を一覧で表示

Slide 5

Slide 5 text

なぜこんなことを始めたか ★ 札幌の開店閉店情報オタク ★ どうせ集めるだけなら公開しよう

Slide 6

Slide 6 text

開店閉店の情報源 1) プレスリリース・掲載依頼・情報提供 2) TwitterX API 3) Webスクレイピング 4) 地域住民の口コミ今回だけ特別に！

Slide 7

Slide 7 text

１）プレスリリース掲載依頼・情報提供

Slide 8

Slide 8 text

１）プレスリリース・掲載依頼・情報提供 ★ PR TIMESなどのプレスリリース配信サービス ★ 個別にいただくプレスリリース・掲載依頼 ★ 読者からの情報提供

Slide 9

Slide 9 text

２）X API

Slide 10

Slide 10 text

２）X API ★ Xの検索APIで開店閉店情報を取得 ★ IFTTTでLINE・Slackに通知

Slide 11

Slide 11 text

３）Webスクレイピング

Slide 12

Slide 12 text

３）Webスクレイピング ★ アルバイト情報サイト ★ チェーン店のお知らせ ★ etc…

Slide 13

Slide 13 text

３）Webスクレイピング環境 ★ Flask ★ DBに保存＋LINE・Slackに通知特に難しいことはしていないため技術的な話は割愛

Slide 14

Slide 14 text

３）Webスクレイピング注意点 ● 利用規約で禁止されていないか ● robots.txtで該当ページへのアクセスが拒否されていないか

Slide 15

Slide 15 text

４）地域住民の口コミ

Slide 16

Slide 16 text

できる限り市内全ての開店閉店情報を知りたい！インターネット上に公開されていない情報も 😱 しかし４）地域住民の口コミ

Slide 17

Slide 17 text

そんな時は・・・ ● ドライブ・ランニングがてらリサーチ ○ 工事中の建物を見つける ○ 貼り紙が貼ってある店舗を見つける ● 居酒屋などでリサーチ ○ その街に詳しい人に聞くオフラインでも情報収集！４）地域住民の口コミ

Slide 18

Slide 18 text

今後やりたいこと ★ スクレイピングのサーバレス化 ★ 札幌市のオープンデータの活用 ★ 開店・閉店予測 ★ 昔あったお店を振り返る地図

Slide 19

Slide 19 text

おしまい