Slide 1
Slide 1 text
344ϑΟʔυΛͬͱศརʹ
$".1)03 -54VNNFS
/BPLJ,JTIJ !QBTT
Slide 2
Slide 2 text
؛ ً Β͢
5XJUUFSQBTT
(JU)VCQBTT
ࣗݾհ
l $".1)03 ද
l αʔόαΠυϝΠϯ
l (P
5ZQF4DSJQU
એ
࠷ۙ3FMBZN͍ͬͯ͏8FCαʔϏ
ε࡞Γ·ͨ͠
IUUQTSFMBZNDBNQIOFU
Slide 3
Slide 3 text
344ͬͯΔਓʁ
Slide 4
Slide 4 text
344 3FBMMZ4JNQMF4ZOEJDBUJPO
l χϡʔεϒϩάͳͲ֤छͷΣϒαΠτͷߋ৽ใΛ
৴͢ΔͨΊͷจॻϑΥʔϚοτͷ૯শ
l YNMܗࣜͳͷͰϓϩάϥϜͰ؆୯ʹύʔεग़དྷΔ
IUUQTKBXJLJQFEJBPSHXJLJ344
Slide 5
Slide 5 text
344ͷϢʔεέʔε
l ༷ʑͳςοΫϒϩάͷهࣄΛ344Ϧʔμʔʹొͯ͠ಡΉ
l ͯͳϒϩά2JJUBσϑΥϧτͰରԠͯ͠Δ
l ($1ͷϦϦʔεϊʔτΛ4MBDLʹྲྀ͢
l :PV5VCFνϟϯωϧͷߋ৽Λ344ͰνΣοΫ͢Δ
l IUUQTXXXZPVUVCFDPNGFFETWJEFPTYNM DIBOOFM@JE6$UK+
H$I-RF571BEJE4X
ใऩूʹ͍ͨن֨
Slide 6
Slide 6 text
344Ϧʔμʔ'FFEMZ
Slide 7
Slide 7 text
344ͷਏΈ
l ྲྀΕͯ͘Δใ͕ଟ͗͢Δ
l BTDJJKQͳͲͷχϡʔεαΠτΛߪಡ͢Δͱ͍ͬͺ͍ྲྀΕͯ͘Δ
l ͦͦ344ʹରԠ͍ͯ͠ͳ͍αΠτ͕݁ߏ͋Δ
l ΞʔςΟετͷ)1ͳͲ
Slide 8
Slide 8 text
344Λྑ͍ײ͡ʹѻ͏ϥΠϒϥϦΛ࡞͠·ͨ͠
QBTTGFFEFS 344
"UPN
BOE+40/GFFEHFOFSBUPSGSPN
NVMUJQMF344
"UPN
BOEBOZFOUSJFTZPVXBOU
Slide 9
Slide 9 text
GFFEFSͰग़དྷΔ͜ͱ
l 344ͷهࣄΛϑΟϧλͯ͠৽ͨͳ344Λ࡞
l ෳͷ344ΛϚʔδͯ̍ͭ͠ͷ344Λ࡞
l ग़ྗ344͚ͩͰͳ͘ɺ"UPN+40/ʹରԠ
l ಠࣗʹJOUFSGBDFΛຬͨ͢ߏମΛ࡞Δ͜ͱͰɺ
ҙͷαΠτͷใ͔ΒϑΟʔυΛ࡞
Slide 10
Slide 10 text
GFFEFSͷجຊతͳ͍ํ
import "github.com/p1ass/feeder"
rss1 := feeder.NewRSSCrawler("https://example.com/rss1") // ここでRSSのURLを指定
rss2 := feeder.NewRSSCrawler("https://example.com/rss2")
items, _ := feeder.Crawl(rss1, rss2) // 複数のRSSから記事を取得
feed := &feeder.Feed{ // 新規のフィードを作成
Title: "My feeds",
Created: time.Now(),
Items: items, // ２つのRSSから取得した記事を新規で作成するフィードに追加
}
json, _ := feed.ToJSON() // string
rssReader, _:= feed.ToRSSReader() // io.Reader
ޙ)551Ͱ৴͢Ε0,
Slide 11
Slide 11 text
GFFEFSͷجຊతͳ͍ํ
import "github.com/p1ass/feeder"
rss1 := feeder.NewRSSCrawler("https://example.com/rss1") // ここでRSSのURLを指定
rss2 := feeder.NewRSSCrawler("https://example.com/rss2")
items, _ := feeder.Crawl(rss1, rss2) // 複数のRSSから記事を取得
feed := &feeder.Feed{ // 新規のフィードを作成
Title: "My feeds",
Created: time.Now(),
Items: items, // ２つのRSSから取得した記事を新規で作成するフィードに追加
}
json, _ := feed.ToJSON() // string
rssReader, _:= feed.ToRSSReader() // io.Reader
ޙੜͨ͠344ͳΓ+40/Λฦ͢)551αʔόΛ࡞͢Ε0,
ϑΟϧλ͍ͨ͠ͳΒ
TMJDF͔Βཉ͍͠Λ
நग़͢ΔؔΛ
ڬΊ0,
Slide 12
Slide 12 text
Ԡ༻ྫϙʔτϑΥϦΦʹ༷ʑͳഔମͷهࣄΛදࣔ
GFFEFSͰࣗ࡞ϒϩάͱ2JJUBͷهࣄΛ$SBXMͯ͠+40/"1*ΛݐͯͯΔ
Slide 13
Slide 13 text
ٕज़తͳ
l ݴޠ(P
l ϥΠϒϥϦ࡞࣌ษڧͯ͠Δݴޠͩͬͨ
l JP3FBEFSΠϯλʔϑΣʔεΛຬ͍ͨͯ͠Δ
l (PͰ࠷ΘΕΔΠϯλʔϑΣʔεͷ̍ͭ
l ͋ΒΏΔೖग़ྗΛநԽͯ͠ѻ͑Δ
l JP8SJUFSΛຬͨ͢ϑΝΠϧ)551ͷϨεϙϯεͳͲʹ؆୯ʹίϐʔͰ
͖Δ
type Reader interface {
Read(p []byte) (n int, err error)
}
IUUQTHPMBOHPSHQLHJP3FBEFS
Slide 14
Slide 14 text
ҙͷαΠτͷใ͔ΒϑΟʔυΛ࡞
ΠϯλʔϑΣʔεΛຬͨ͢ߏମΛ࡞ͬͯGFFEFS$SBXMؔʹ͚ͩ͢
type Crawler interface {
Crawl() ([]*Item, error)
}
Slide 15
Slide 15 text
func (crawler *SamasoniCrawler) Crawl() (*feeder.Items, error) {
query := url.Values{}
query.Add("perform_id", "85895")
query.Add("sort_key", "sale_start_at")
query.Add("sort_order", "asc")
res, err := http.Get(crawler.url + "?" + query.Encode())
if err != nil {
return nil, errors.New("failed to get html document")
}
defer res.Body.Close()
doc, err := goquery.NewDocumentFromReader(res.Body)
if err != nil {
return nil, errors.New("failed to read from response body")
}
sec := doc.Find("div#tickets").Find("div.list-ticket")
items := &feeder.Items{}
sec := doc.Find("div#tickets").Find("div.list-ticket")
items := &feeder.Items{}
sec.Each(func(index int, s *goquery.Selection) {
if s.HasClass("list-ticket") {
title := s.Find("h2").Find("a").Text()
path, _ := s.Find("h2").Find("a").Attr("href")
t := time.Now()
item := &feeder.Item{ Title: title, Link: &feeder.Link{ Href:
"https://tiketore.com" + path,
Rel: "", Type: "", Length: "",},
Id: path,
Created: &t,
}
items.Items = append(items.Items, item)
}
})
return items, nil
}
ྫνέοταΠτΛΫϩʔϧ
Slide 16
Slide 16 text
·ͱΊ
l 344ΣϒαΠτͷߋ৽ใΛ৴͢ΔͨΊͷจॻϑΥʔϚοτͷ
૯শ
l QBTTGFFEFSΛ͏͜ͱͰɺҙͷใ͔Β344+40/Λ࡞Ͱ
͖Δ
l ৴͢ΔهࣄΛϓϩάϥϜͰࣗ༝ʹૢ࡞Ͱ͖Δ
l Ԡ༻ྫ͑Εͳ͍΄Ͳࢁʂ
l 4POZ.VTJDͷ:PV5VCFνϟϯωϧ͔Βʮถݰࢣʯͷಈը͚ͩநग़
l ྑ͔ͬͨΒͬͯΈ͍ͯͩ͘͞ ͦͯ͠4UBS⭐͍ͩ͘͞