Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
RSSフィードをもっと便利に / Make RSS feeds more convenient #camphor_lt
ぷらす
August 08, 2020
Technology
1
13k
RSSフィードをもっと便利に / Make RSS feeds more convenient #camphor_lt
CAMPHOR- LT 2020 Summerの発表スライドです。
https://camphor.connpass.com/event/182978/
ぷらす
August 08, 2020
Tweet
Share
More Decks by ぷらす
See All by ぷらす
趣味プロジェクトをリードする技術 / Technology to lead hobby projects
p1ass
20
8.1k
vercel/og-imageを使ったブログOGPの簡単自動生成 / Generate OGP easily using vercel og-image
p1ass
2
880
Webアプリケーションにおける並行処理の難しさ / #Gocon_Sendai
p1ass
4
2.2k
うじまる君の生活習慣の乱れを可視化したい! / uzimaru birthday LT
p1ass
2
15k
複数サービスを運用しやすい理想のコンテナ環境をVPS上に構築する #camphor_day / Building ideal container environment on VPS
p1ass
1
7.3k
Kubernetesのイメージタグの更新を楽にするツールを作った / p1ass/mikku - make updating Kubernetes image tags easier
p1ass
1
43
ドメインロジックと 永続化処理を分離する設計改善 を行って得られた知見 / Design improvements that separate domain logic and persistence function
p1ass
1
1.4k
Micro Frontends × gRPC-Web の挑戦 / The challenge of micro frontends and gRPC-Web
p1ass
0
79
LINEの就業型インターンに参加した話
p1ass
0
8k
Other Decks in Technology
See All in Technology
NGINXENG JP#2 - 4-NGINX-エンジニアリング勉強会
hiropo20
0
130
地方自治体業務あるある ーアナログ最適化編-
y150saya
1
290
はじめてスポンサー運営PMをやってみてわかった4つのこと
andpad
2
110
初めてのデータ移行プロジェクトから得た学び
tjmtmmnk
0
410
02_プロトタイピングの進め方
kouzoukaikaku
0
770
Dockerに疲れた人のためのLXDではじめるシステムコンテナ入門
devops_vtj
0
130
API連携に伴う規制と対応 / Regulations and responses to API linkage
moneyforward
0
170
スクラムマスターの悩みどころを赤裸々に告白します
nagata03
0
170
あつめたデータをどう扱うか
skrb
2
170
IoT から見る AWS re:invent 2022 ― AWSのIoTの歴史を添えて/Point of view the AWS re:invent 2022 with IoT - with a history of IoT in AWS
ma2shita
0
290
Periodic Multi-Agent Path Planning
hziwara
0
160
SSMパラメーターストアでクロススタック参照の罠を回避する
shuyakinjo
0
8k
Featured
See All Featured
Web Components: a chance to create the future
zenorocha
304
40k
Three Pipe Problems
jasonvnalue
89
8.9k
Designing Experiences People Love
moore
130
22k
Building a Scalable Design System with Sketch
lauravandoore
451
31k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
22
1.7k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
7
590
Building an army of robots
kneath
301
40k
Keith and Marios Guide to Fast Websites
keithpitt
407
21k
Bash Introduction
62gerente
601
210k
YesSQL, Process and Tooling at Scale
rocio
159
12k
Scaling GitHub
holman
453
140k
Large-scale JavaScript Application Architecture
addyosmani
499
110k
Transcript
344ϑΟʔυΛͬͱศརʹ $".1)03 -54VNNFS /BPLJ,JTIJ !QBTT
؛ ً Β͢ 5XJUUFSQBTT (JU)VCQBTT ࣗݾհ l $".1)03 ද
l αʔόαΠυϝΠϯ l (P 5ZQF4DSJQU એ ࠷ۙ3FMBZN͍ͬͯ͏8FCαʔϏ ε࡞Γ·ͨ͠ IUUQTSFMBZNDBNQIOFU
344ͬͯΔਓʁ
344 3FBMMZ4JNQMF4ZOEJDBUJPO l χϡʔεϒϩάͳͲ֤छͷΣϒαΠτͷߋ৽ใΛ ৴͢ΔͨΊͷจॻϑΥʔϚοτͷ૯শ l YNMܗࣜͳͷͰϓϩάϥϜͰ؆୯ʹύʔεग़དྷΔ IUUQTKBXJLJQFEJBPSHXJLJ344
344ͷϢʔεέʔε l ༷ʑͳςοΫϒϩάͷهࣄΛ344Ϧʔμʔʹొͯ͠ಡΉ l ͯͳϒϩά2JJUBσϑΥϧτͰରԠͯ͠Δ l ($1ͷϦϦʔεϊʔτΛ4MBDLʹྲྀ͢ l :PV5VCFνϟϯωϧͷߋ৽Λ344ͰνΣοΫ͢Δ
l IUUQTXXXZPVUVCFDPNGFFETWJEFPTYNM
[email protected]
6$UK+ H$I-RF571BEJE4X ใऩूʹ͍ͨن֨
344Ϧʔμʔ'FFEMZ
344ͷਏΈ l ྲྀΕͯ͘Δใ͕ଟ͗͢Δ l BTDJJKQͳͲͷχϡʔεαΠτΛߪಡ͢Δͱ͍ͬͺ͍ྲྀΕͯ͘Δ l ͦͦ344ʹରԠ͍ͯ͠ͳ͍αΠτ͕݁ߏ͋Δ l ΞʔςΟετͷ)1ͳͲ
344Λྑ͍ײ͡ʹѻ͏ϥΠϒϥϦΛ࡞͠·ͨ͠ QBTTGFFEFS 344 "UPN BOE+40/GFFEHFOFSBUPSGSPN NVMUJQMF344 "UPN BOEBOZFOUSJFTZPVXBOU
GFFEFSͰग़དྷΔ͜ͱ l 344ͷهࣄΛϑΟϧλͯ͠৽ͨͳ344Λ࡞ l ෳͷ344ΛϚʔδͯ̍ͭ͠ͷ344Λ࡞ l ग़ྗ344͚ͩͰͳ͘ɺ"UPN+40/ʹରԠ l ಠࣗʹJOUFSGBDFΛຬͨ͢ߏମΛ࡞Δ͜ͱͰɺ
ҙͷαΠτͷใ͔ΒϑΟʔυΛ࡞
GFFEFSͷجຊతͳ͍ํ import "github.com/p1ass/feeder" rss1 := feeder.NewRSSCrawler("https://example.com/rss1") // ここでRSSのURLを指定 rss2
:= feeder.NewRSSCrawler("https://example.com/rss2") items, _ := feeder.Crawl(rss1, rss2) // 複数のRSSから記事を取得 feed := &feeder.Feed{ // 新規のフィードを作成 Title: "My feeds", Created: time.Now(), Items: items, // 2つのRSSから取得した記事を新規で作成するフィードに追加 } json, _ := feed.ToJSON() // string rssReader, _:= feed.ToRSSReader() // io.Reader ޙ)551Ͱ৴͢Ε0,
GFFEFSͷجຊతͳ͍ํ import "github.com/p1ass/feeder" rss1 := feeder.NewRSSCrawler("https://example.com/rss1") // ここでRSSのURLを指定 rss2
:= feeder.NewRSSCrawler("https://example.com/rss2") items, _ := feeder.Crawl(rss1, rss2) // 複数のRSSから記事を取得 feed := &feeder.Feed{ // 新規のフィードを作成 Title: "My feeds", Created: time.Now(), Items: items, // 2つのRSSから取得した記事を新規で作成するフィードに追加 } json, _ := feed.ToJSON() // string rssReader, _:= feed.ToRSSReader() // io.Reader ޙੜͨ͠344ͳΓ+40/Λฦ͢)551αʔόΛ࡞͢Ε0, ϑΟϧλ͍ͨ͠ͳΒ TMJDF͔Βཉ͍͠Λ நग़͢ΔؔΛ ڬΊ0,
Ԡ༻ྫϙʔτϑΥϦΦʹ༷ʑͳഔମͷهࣄΛදࣔ GFFEFSͰࣗ࡞ϒϩάͱ2JJUBͷهࣄΛ$SBXMͯ͠+40/"1*ΛݐͯͯΔ
ٕज़తͳ l ݴޠ(P l ϥΠϒϥϦ࡞࣌ษڧͯ͠Δݴޠͩͬͨ l JP3FBEFSΠϯλʔϑΣʔεΛຬ͍ͨͯ͠Δ l (PͰ࠷ΘΕΔΠϯλʔϑΣʔεͷ̍ͭ l
͋ΒΏΔೖग़ྗΛநԽͯ͠ѻ͑Δ l JP8SJUFSΛຬͨ͢ϑΝΠϧ)551ͷϨεϙϯεͳͲʹ؆୯ʹίϐʔͰ ͖Δ type Reader interface { Read(p []byte) (n int, err error) } IUUQTHPMBOHPSHQLHJP3FBEFS
ҙͷαΠτͷใ͔ΒϑΟʔυΛ࡞ ΠϯλʔϑΣʔεΛຬͨ͢ߏମΛ࡞ͬͯGFFEFS$SBXMؔʹ͚ͩ͢ type Crawler interface { Crawl() ([]*Item, error) }
func (crawler *SamasoniCrawler) Crawl() (*feeder.Items, error) { query :=
url.Values{} query.Add("perform_id", "85895") query.Add("sort_key", "sale_start_at") query.Add("sort_order", "asc") res, err := http.Get(crawler.url + "?" + query.Encode()) if err != nil { return nil, errors.New("failed to get html document") } defer res.Body.Close() doc, err := goquery.NewDocumentFromReader(res.Body) if err != nil { return nil, errors.New("failed to read from response body") } sec := doc.Find("div#tickets").Find("div.list-ticket") items := &feeder.Items{} sec := doc.Find("div#tickets").Find("div.list-ticket") items := &feeder.Items{} sec.Each(func(index int, s *goquery.Selection) { if s.HasClass("list-ticket") { title := s.Find("h2").Find("a").Text() path, _ := s.Find("h2").Find("a").Attr("href") t := time.Now() item := &feeder.Item{ Title: title, Link: &feeder.Link{ Href: "https://tiketore.com" + path, Rel: "", Type: "", Length: "",}, Id: path, Created: &t, } items.Items = append(items.Items, item) } }) return items, nil } ྫνέοταΠτΛΫϩʔϧ
·ͱΊ l 344ΣϒαΠτͷߋ৽ใΛ৴͢ΔͨΊͷจॻϑΥʔϚοτͷ ૯শ l QBTTGFFEFSΛ͏͜ͱͰɺҙͷใ͔Β344+40/Λ࡞Ͱ ͖Δ l ৴͢ΔهࣄΛϓϩάϥϜͰࣗ༝ʹૢ࡞Ͱ͖Δ l
Ԡ༻ྫ͑Εͳ͍΄Ͳࢁʂ l 4POZ.VTJDͷ:PV5VCFνϟϯωϧ͔Βʮถݰࢣʯͷಈը͚ͩநग़ l ྑ͔ͬͨΒͬͯΈ͍ͯͩ͘͞ ͦͯ͠4UBS⭐͍ͩ͘͞