Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
RSSフィードをもっと便利に / Make RSS feeds more convenient #camphor_lt
ぷらす
August 08, 2020
Technology
1
12k
RSSフィードをもっと便利に / Make RSS feeds more convenient #camphor_lt
CAMPHOR- LT 2020 Summerの発表スライドです。
https://camphor.connpass.com/event/182978/
ぷらす
August 08, 2020
Tweet
Share
More Decks by ぷらす
See All by ぷらす
趣味プロジェクトをリードする技術 / Technology to lead hobby projects
p1ass
19
7.8k
vercel/og-imageを使ったブログOGPの簡単自動生成 / Generate OGP easily using vercel og-image
p1ass
2
750
Webアプリケーションにおける並行処理の難しさ / #Gocon_Sendai
p1ass
4
2k
うじまる君の生活習慣の乱れを可視化したい! / uzimaru birthday LT
p1ass
2
14k
複数サービスを運用しやすい理想のコンテナ環境をVPS上に構築する #camphor_day / Building ideal container environment on VPS
p1ass
1
6.9k
Kubernetesのイメージタグの更新を楽にするツールを作った / p1ass/mikku - make updating Kubernetes image tags easier
p1ass
0
37
ドメインロジックと 永続化処理を分離する設計改善 を行って得られた知見 / Design improvements that separate domain logic and persistence function
p1ass
1
1.2k
Micro Frontends × gRPC-Web の挑戦 / The challenge of micro frontends and gRPC-Web
p1ass
0
54
LINEの就業型インターンに参加した話
p1ass
0
7.5k
Other Decks in Technology
See All in Technology
プルリク作ったらデプロイされる仕組み on ECS / SRE NEXT 2022
carta_engineering
1
720
testing journey / テストが嫌いでIT業界を離れるはずだったのに〜テスト嫌いが現場で品質改善を実施するまでの物語〜
aki_moon
1
450
[SRE NEXT 2022]組織に対してSREを適用するとはどういうことか
srenext
0
640
ZOZOTOWNのProduction Readiness Checklistと信頼性向上の取り組み / Improvement the reliability of ZOZOTOWN with Production Readiness Checklist
akitok_
5
2.2k
大きくなるチームを支える技術 / Technology to support a growing SCX team
ku00
0
150
Remixの凄みを紹介したい
aiji42
5
3.4k
Uniswapで理解するWeb3の仕組み
sbtechnight
0
110
【初心者向け】ググらずに!? ターミナル上で Pythonオブジェクトを調べよう
yumihiki
0
170
モダンデータスタックとかの話(データエンジニアのお仕事とは)
foursue
0
500
[AKIBA.AWS] それ、t2.micro選んで大丈夫?
tsukuboshi
0
390
⚡Lightdashを試してみた
k_data_analyst
0
220
Embedded SRE at Mercari
tcnksm
0
870
Featured
See All Featured
What's in a price? How to price your products and services
michaelherold
229
9.3k
Stop Working from a Prison Cell
hatefulcrawdad
261
17k
Rebuilding a faster, lazier Slack
samanthasiow
62
7.2k
Put a Button on it: Removing Barriers to Going Fast.
kastner
56
2.3k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
29
4.3k
Web Components: a chance to create the future
zenorocha
303
40k
Building Flexible Design Systems
yeseniaperezcruz
310
33k
VelocityConf: Rendering Performance Case Studies
addyosmani
316
22k
Navigating Team Friction
lara
175
11k
Music & Morning Musume
bryan
35
4.2k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
38
12k
Fireside Chat
paigeccino
11
1.3k
Transcript
344ϑΟʔυΛͬͱศརʹ $".1)03 -54VNNFS /BPLJ,JTIJ !QBTT
؛ ً Β͢ 5XJUUFSQBTT (JU)VCQBTT ࣗݾհ l $".1)03 ද
l αʔόαΠυϝΠϯ l (P 5ZQF4DSJQU એ ࠷ۙ3FMBZN͍ͬͯ͏8FCαʔϏ ε࡞Γ·ͨ͠ IUUQTSFMBZNDBNQIOFU
344ͬͯΔਓʁ
344 3FBMMZ4JNQMF4ZOEJDBUJPO l χϡʔεϒϩάͳͲ֤छͷΣϒαΠτͷߋ৽ใΛ ৴͢ΔͨΊͷจॻϑΥʔϚοτͷ૯শ l YNMܗࣜͳͷͰϓϩάϥϜͰ؆୯ʹύʔεग़དྷΔ IUUQTKBXJLJQFEJBPSHXJLJ344
344ͷϢʔεέʔε l ༷ʑͳςοΫϒϩάͷهࣄΛ344Ϧʔμʔʹొͯ͠ಡΉ l ͯͳϒϩά2JJUBσϑΥϧτͰରԠͯ͠Δ l ($1ͷϦϦʔεϊʔτΛ4MBDLʹྲྀ͢ l :PV5VCFνϟϯωϧͷߋ৽Λ344ͰνΣοΫ͢Δ
l IUUQTXXXZPVUVCFDPNGFFETWJEFPTYNM DIBOOFM@JE6$UK+ H$I-RF571BEJE4X ใऩूʹ͍ͨن֨
344Ϧʔμʔ'FFEMZ
344ͷਏΈ l ྲྀΕͯ͘Δใ͕ଟ͗͢Δ l BTDJJKQͳͲͷχϡʔεαΠτΛߪಡ͢Δͱ͍ͬͺ͍ྲྀΕͯ͘Δ l ͦͦ344ʹରԠ͍ͯ͠ͳ͍αΠτ͕݁ߏ͋Δ l ΞʔςΟετͷ)1ͳͲ
344Λྑ͍ײ͡ʹѻ͏ϥΠϒϥϦΛ࡞͠·ͨ͠ QBTTGFFEFS 344 "UPN BOE+40/GFFEHFOFSBUPSGSPN NVMUJQMF344 "UPN BOEBOZFOUSJFTZPVXBOU
GFFEFSͰग़དྷΔ͜ͱ l 344ͷهࣄΛϑΟϧλͯ͠৽ͨͳ344Λ࡞ l ෳͷ344ΛϚʔδͯ̍ͭ͠ͷ344Λ࡞ l ग़ྗ344͚ͩͰͳ͘ɺ"UPN+40/ʹରԠ l ಠࣗʹJOUFSGBDFΛຬͨ͢ߏମΛ࡞Δ͜ͱͰɺ
ҙͷαΠτͷใ͔ΒϑΟʔυΛ࡞
GFFEFSͷجຊతͳ͍ํ import "github.com/p1ass/feeder" rss1 := feeder.NewRSSCrawler("https://example.com/rss1") // ここでRSSのURLを指定 rss2
:= feeder.NewRSSCrawler("https://example.com/rss2") items, _ := feeder.Crawl(rss1, rss2) // 複数のRSSから記事を取得 feed := &feeder.Feed{ // 新規のフィードを作成 Title: "My feeds", Created: time.Now(), Items: items, // 2つのRSSから取得した記事を新規で作成するフィードに追加 } json, _ := feed.ToJSON() // string rssReader, _:= feed.ToRSSReader() // io.Reader ޙ)551Ͱ৴͢Ε0,
GFFEFSͷجຊతͳ͍ํ import "github.com/p1ass/feeder" rss1 := feeder.NewRSSCrawler("https://example.com/rss1") // ここでRSSのURLを指定 rss2
:= feeder.NewRSSCrawler("https://example.com/rss2") items, _ := feeder.Crawl(rss1, rss2) // 複数のRSSから記事を取得 feed := &feeder.Feed{ // 新規のフィードを作成 Title: "My feeds", Created: time.Now(), Items: items, // 2つのRSSから取得した記事を新規で作成するフィードに追加 } json, _ := feed.ToJSON() // string rssReader, _:= feed.ToRSSReader() // io.Reader ޙੜͨ͠344ͳΓ+40/Λฦ͢)551αʔόΛ࡞͢Ε0, ϑΟϧλ͍ͨ͠ͳΒ TMJDF͔Βཉ͍͠Λ நग़͢ΔؔΛ ڬΊ0,
Ԡ༻ྫϙʔτϑΥϦΦʹ༷ʑͳഔମͷهࣄΛදࣔ GFFEFSͰࣗ࡞ϒϩάͱ2JJUBͷهࣄΛ$SBXMͯ͠+40/"1*ΛݐͯͯΔ
ٕज़తͳ l ݴޠ(P l ϥΠϒϥϦ࡞࣌ษڧͯ͠Δݴޠͩͬͨ l JP3FBEFSΠϯλʔϑΣʔεΛຬ͍ͨͯ͠Δ l (PͰ࠷ΘΕΔΠϯλʔϑΣʔεͷ̍ͭ l
͋ΒΏΔೖग़ྗΛநԽͯ͠ѻ͑Δ l JP8SJUFSΛຬͨ͢ϑΝΠϧ)551ͷϨεϙϯεͳͲʹ؆୯ʹίϐʔͰ ͖Δ type Reader interface { Read(p []byte) (n int, err error) } IUUQTHPMBOHPSHQLHJP3FBEFS
ҙͷαΠτͷใ͔ΒϑΟʔυΛ࡞ ΠϯλʔϑΣʔεΛຬͨ͢ߏମΛ࡞ͬͯGFFEFS$SBXMؔʹ͚ͩ͢ type Crawler interface { Crawl() ([]*Item, error) }
func (crawler *SamasoniCrawler) Crawl() (*feeder.Items, error) { query :=
url.Values{} query.Add("perform_id", "85895") query.Add("sort_key", "sale_start_at") query.Add("sort_order", "asc") res, err := http.Get(crawler.url + "?" + query.Encode()) if err != nil { return nil, errors.New("failed to get html document") } defer res.Body.Close() doc, err := goquery.NewDocumentFromReader(res.Body) if err != nil { return nil, errors.New("failed to read from response body") } sec := doc.Find("div#tickets").Find("div.list-ticket") items := &feeder.Items{} sec := doc.Find("div#tickets").Find("div.list-ticket") items := &feeder.Items{} sec.Each(func(index int, s *goquery.Selection) { if s.HasClass("list-ticket") { title := s.Find("h2").Find("a").Text() path, _ := s.Find("h2").Find("a").Attr("href") t := time.Now() item := &feeder.Item{ Title: title, Link: &feeder.Link{ Href: "https://tiketore.com" + path, Rel: "", Type: "", Length: "",}, Id: path, Created: &t, } items.Items = append(items.Items, item) } }) return items, nil } ྫνέοταΠτΛΫϩʔϧ
·ͱΊ l 344ΣϒαΠτͷߋ৽ใΛ৴͢ΔͨΊͷจॻϑΥʔϚοτͷ ૯শ l QBTTGFFEFSΛ͏͜ͱͰɺҙͷใ͔Β344+40/Λ࡞Ͱ ͖Δ l ৴͢ΔهࣄΛϓϩάϥϜͰࣗ༝ʹૢ࡞Ͱ͖Δ l
Ԡ༻ྫ͑Εͳ͍΄Ͳࢁʂ l 4POZ.VTJDͷ:PV5VCFνϟϯωϧ͔Βʮถݰࢣʯͷಈը͚ͩநग़ l ྑ͔ͬͨΒͬͯΈ͍ͯͩ͘͞ ͦͯ͠4UBS⭐͍ͩ͘͞