新宿Geek Lounge#3 分析基盤Meetup 登壇資料
@৽॓Geek Lounge#3 ੳج൫Meetup@kimutyam2017/09/19ηϓςʔχͰੳج൫(Treasure Data)Λಋೖͨ͠
View Slide
໊લଜজ5XJUUFS!LJNVUZBNձࣾηϓςʔχɾΦϦδφϧ%%%ͱ*$0/*9ΛͬͨੳઃܭΛΈͱ͍ͯ͠Δ4DBMBΤϯδχΞۀࢧԉͷΞʔΩςΫνϟΛߟҊ͢Δ͏ͪʹੳج൫ܥͷۀʹ୧Γண͖·ͨࣗ͠ݾհ
PYXISͷྺ࢙ͱੳج൫ಋೖ·Ͱͷഎܠ
PYXISͱࠂ৴࠷దԽཧళۀվળσʔλੳ
σʔλੳॳظPYXISͷσʔλ ηϓςʔχͷ֤෦DBഔମࣾͷσʔλސ٬ͷσʔλࣾһͷσʔλ֎෦ϕϯμʔͷσʔλಛఆͷతʹԊͬͯߏԽ͞Εͨσʔλ͕ࢄཧ͞Εɺ࣍ར༻͞Ε͍ͯͨ
σʔλͷ࣍ར༻͕ͮ͠Β͍σʔλੳॳظͰͷύϑΥʔϚϯε͕ѱ͍σʔλ͕ࢄཧ͞Ε͍ͯΔ&5-ॲཧ"11ͷཚཱ
σʔλͷ࣍ར༻͕ͮ͠Β͍վળύϑΥʔϚϯε͕ѱ͍ &5-ॲཧ"11ͷཚཱඇߏԽσʔλͷੵࢄॲཧ "11ͷ؆ུԽπʔϧར༻σʔλͷूԽσʔλ͕ࢄཧ͞Ε͍ͯΔ
σʔλͷ࣍ར༻͕ͮ͠Β͍ιϦϡʔγϣϯ: σʔλϨΠΫύϑΥʔϚϯε͕ѱ͍ &5-ॲཧ"11ͷཚཱඇߏԽσʔλͷੵࢄॲཧ "11ͷ؆ུԽπʔϧར༻σʔλͷूԽσʔλ͕ࢄཧ͞Ε͍ͯΔ
σʔλͷ࣍ར༻͕ͮ͠Β͍ιϦϡʔγϣϯ: σʔλΣΞϋεύϑΥʔϚϯε͕ѱ͍σʔλ͕ࢄཧ͞Ε͍ͯΔ&5-ॲཧ"11ͷཚཱඇߏԽσʔλͷੵࢄॲཧ "11ͷ؆ུԽπʔϧར༻σʔλͷूԽ
σʔλͷ࣍ར༻͕ͮ͠Β͍ιϦϡʔγϣϯ: Treasure DataύϑΥʔϚϯε͕ѱ͍σʔλ͕ࢄཧ͞Ε͍ͯΔ&5-ॲཧ"11ͷཚཱඇߏԽσʔλͷੵࢄॲཧ "11ͷ؆ུԽπʔϧར༻σʔλͷूԽ
Treasure DataΛར༻ͨ͠ΞʔΩςΫνϟ
ΞʔΩςΫνϟߏ1MB[NB%# %BUB5BOL
S3Λ1͚࣍ʹ͢ΔετϨʔδͳ͍ͷͰ4Λར༻ੜσʔλͷσʔλܗࣜ +40/$479.-ͳͲͷ··อଘ4ϑΝʔετʹ͢Δ͜ͱͰ"UIFOB3FETIJGU&.3ͳͲͷαʔϏεͱͷ࿈ܞ͕ඞཁʹԠͯ͡ՄೳʹੜσʔλอଘͷࡍʹσʔλεΩʔϚΛߟྀ͠ͳ͍
ߏԽσʔλڥք͚ͮΒΕͨίϯςΩετʹด͡Δࠂ৴࠷దԽཧళۀվળσʔλੳʮཧళۀվળʯʮࠂ৴࠷దԽʯͷίϯςΩετʹσʔλ1:9*4ʹݶఆʮσʔλੳʯͷίϯςΩετͰ࣍ར༻͢ΔͨΊʹੜσʔλΛ4ʹอଘ
S3ͷϨΪϡϨʔγϣϯ#VDLFU1:9*4ͷΞϓϦέʔγϣϯڥքͷ໋໊ʹ͢Δ1BUI\5%ͷσʔλϕʔε໊^\5%ͷςʔϒϧ໊^[email protected]ΞϓϦέʔγϣϯؒͷڝ߹Λճආ͢ΔͨΊ &NCVMLଆͰ[email protected]Ͱ࣌ΛಈతʹࢦఆͰ͖ΔΑ͏ʹ "UIFOBͷύʔςΟγϣϯͰࢦఆ͘͢͠ͳΔΑ͏ʹ
S3 -> TD
Treasure DataͷྖҬ1MB[NB%# %BUB5BOL5SFBTVSF%BUBͷϑϧϚωʔδͷαʔϏεΛར༻5SFBTVSF8PSLqPX %JHEBH%BUB$POOFDUPS &NCVML5SFBTVSF8PSLqPXΛར༻͢Δ͜ͱͰɺಠࣗʹ%JHEBH4FSWFSΛཱͯΔߏஙɾอकίετΛݮ5SFBTVSF8PSLqPX͔Βར༻͠ɺඞཁʹԠͯ͡%JHEBH4FSWFSΛཱͯΔΑ͏ʹϓϩδΣΫτελʔτ
Treasure DataͷྖҬ1MB[NB%# %BUB5BOL4͔Β[email protected]1MB[NB%#͔Β1SFTUPͰूܭͯ͠൚ԽσʔλΛ1MB[NB%#ʹอଘ%BUB5BOL σʔλϚʔτʹར༻༻్ʹԊͬͨಛԽ͞ΕͨσʔλΛ֨ೲ˞%BUB5BOL5SFBTVSF%BUB͕ఏڙ͍ͯ͠Δ1PTUHSFTRM
ࣗલͰDigdag ServerΛݕ౼ͨ͠ྫ1MB[NB%# %BUB5BOL42-͚ͩͰूܭग़དྷͳ͍߹%JHEBHͷQZUIPOSVCZTIFMMΦϖϨʔλʔΛར༻ͯ͠ɺಠࣗʹ࣮ 5SFBTVSF8PSLqPXະରԠ%BUB$POOFDUPSͰཉ͍͠ूܭཻ͕ಘΒΕͳ͍߹&NCVMLϓϥάΠϯΛΈࠐΈPS։ൃ
Treasure DataΛར༻ͨ͠ۀϑϩʔσʔλੵσʔλੳɾՁݕূ%JHEBHʹΑΔΦʔτϝʔγϣϯԽ։ൃऀ͕5SFBTVSF%BUBʹσʔλ֨ೲσʔλΞφϦετ ฐࣾͰඇΤϯδχΞ͕ଟ͍͕5SFBTVSF%BUBͷ(6*Λར༻։ൃऀ͕ཧ͢Δ5SFBTVSF%BUBΛհͯ͠։ൃऀͱσʔλΞφϦετͷۀ࿈ܞΛ͢Δ
Treasure DataΛબͨ͠Α͔ͬͨ
ϑϧϚωʔδυͳੳج൫ΛεϐʔσΟʔʹखʹೖΓɺੳۀʹूத͕Ͱ͖Δ"84($1Ͱੳج൫Λࣗલߏங͢Δ߹ɺαʔϏεͷݟΛ্࣋ͬͨͰอकɾӡ༻Λߦ͏ඞཁ͕͋Δ˞ಋೖޙʹඇػೳཁٻ͕໌֬Խͨ͠Βࣗલݕ౼ੳۀʹूதͰ͖Δ
σʔλͷΠϯϙʔτΤΫεϙʔτͷΤίγεςϜͷॆ࣮͍ͯ͠·֤͢छσʔλϕʔεϑΝΠϧαʔόʔͱͷૄ௨ͷόϦΤʔγϣϯ͕ଟ͘ɺଟ͘ͷ֎෦γεςϜͱͷ࿈ܞΛ༰қͰ͢֎෦γεςϜͱͷ࿈ܞ͕༰қ
5SFBTVSF%BUBʹσʔλੵΛ͢ΕɺσʔλΞφϦετ͕ੳͰ͖Δঢ়ଶʹ ۃΫΤϦ՝ۚసૹྔ՝ۚͰͳ͍ͷͰ42-ʹਫ਼௨͍ͯ͠ͳ͍͕ΫΤϦൃߦͯ͠Ϋϥυഁ࢈͠ͳ͍σʔλੳɾՁݕূ·Ͱͷεϐʔυײͱ҆৺ײ
͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠