Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
セプテーニで分析基盤(Treasure Data)を導入した話
Search
kimutyam
September 19, 2017
Technology
0
1.3k
セプテーニで分析基盤(Treasure Data)を導入した話
新宿Geek Lounge#3 分析基盤Meetup 登壇資料
kimutyam
September 19, 2017
Tweet
Share
More Decks by kimutyam
See All by kimutyam
NestJSのDIコンテナで作るクリーンなレイヤー境界
kimutyam
2
1.3k
Embulk / Presto / Sparkを用いたETL事情
kimutyam
4
1.9k
Reactive Messaging Patternsを使った境界づけられたコンテキストの統合
kimutyam
3
1.1k
アジャイルでのドメイン・ユースケースモデリング
kimutyam
5
2k
Introduction of ScalaTest
kimutyam
3
2k
Scalaで学ぶヘキサゴナルアーキテクチャ実践入門
kimutyam
15
6.3k
Other Decks in Technology
See All in Technology
「スニダン」開発組織の構造に込めた意図 ~組織作りはパッションや政治ではない!~
rinchsan
3
480
Next'24 事例セッションの紹介とクラウド資格を活用したキャリア形成について語りMuscle
yasumuusan
1
420
複雑な構成要素を持つUIとの向き合い方 〜新・支出グラフでの実例〜 / B43 TECH TALK
nakamuuu
0
130
推しは推せるときに推せ! プロダクトにフィードバックしていこう
nakasho
0
250
ChatworkのSRE部って実は 半分くらいPlatform Engineering部かもしれない
saramune
0
150
Meta Quest 3 で動く桜マシマシ WebXR アプリを IBM Cloud Code Engine と Babylon.js で作った話
1ftseabass
PRO
0
120
EMとして2023年度に頑張ったこと / What we did well in FY2023 as a EM
pauli
1
150
〜小さく始めて大きく育てる〜データ分析基盤の開発から活用まで
kniino
0
2.1k
[PlatformCon 24] Platform Orchestrators: The Missing Middle of Internal Developer Platforms?
danielbryantuk
1
820
チームでロジカルシンキングに改めて向き合っている話 〜学習環境と実践⽅法〜
sansantech
PRO
0
290
Databricks における 『MLOps』
databricksjapan
2
160
GraphQL 成熟度モデルの紹介と、プロダクトに当てはめた事例 / GraphQL maturity model
mh4gf
7
1.3k
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
27
6.3k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
It's Worth the Effort
3n
180
27k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
39
4.4k
Being A Developer After 40
akosma
56
580k
What’s in a name? Adding method to the madness
productmarketing
PRO
15
2.6k
Fantastic passwords and where to find them - at NoRuKo
philnash
36
2.5k
How to name files
jennybc
64
93k
Building Applications with DynamoDB
mza
88
5.6k
What's new in Ruby 2.0
geeforr
337
31k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.9k
The Brand Is Dead. Long Live the Brand.
mthomps
48
28k
Transcript
@৽॓Geek Lounge#3 ੳج൫Meetup @kimutyam 2017/09/19 ηϓςʔχͰੳج൫ (Treasure Data)Λಋೖͨ͠
໊લଜজ 5XJUUFS!LJNVUZBN ձࣾηϓςʔχɾΦϦδφϧ %%%ͱ*$0/*9ΛͬͨੳઃܭΛΈͱ͍ͯ͠Δ4DBMBΤϯδχΞ ۀࢧԉͷΞʔΩςΫνϟΛߟҊ͢Δ͏ͪʹੳج൫ܥͷۀʹ୧Γண͖·ͨ͠ ࣗݾհ
PYXISͷྺ࢙ͱੳج൫ಋೖ·Ͱͷഎܠ
PYXISͱ ࠂ৴ ࠷దԽ ཧళۀ վળ σʔλ ੳ
σʔλੳॳظ PYXISͷσʔλ ηϓςʔχͷ֤෦DB ഔମࣾͷσʔλ ސ٬ͷσʔλ ࣾһͷσʔλ ֎෦ϕϯμʔͷσʔλ ಛఆͷతʹԊͬͯߏԽ͞Εͨσʔλ͕ࢄཧ͞Εɺ࣍ར༻͞Ε͍ͯͨ
σʔλͷ࣍ར༻͕ͮ͠Β͍ σʔλੳॳظͰͷ ύϑΥʔϚϯε͕ѱ͍ σʔλ͕ࢄཧ͞Ε͍ͯΔ &5-ॲཧ"11ͷཚཱ
σʔλͷ࣍ར༻͕ͮ͠Β͍ վળ ύϑΥʔϚϯε͕ѱ͍ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻ σʔλͷूԽ σʔλ͕ࢄཧ͞Ε͍ͯΔ
σʔλͷ࣍ར༻͕ͮ͠Β͍ ιϦϡʔγϣϯ: σʔλϨΠΫ ύϑΥʔϚϯε͕ѱ͍ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻ σʔλͷूԽ σʔλ͕ࢄཧ͞Ε͍ͯΔ
σʔλͷ࣍ར༻͕ͮ͠Β͍ ιϦϡʔγϣϯ: σʔλΣΞϋε ύϑΥʔϚϯε͕ѱ͍ σʔλ͕ࢄཧ͞Ε͍ͯΔ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻ σʔλͷूԽ
σʔλͷ࣍ར༻͕ͮ͠Β͍ ιϦϡʔγϣϯ: Treasure Data ύϑΥʔϚϯε͕ѱ͍ σʔλ͕ࢄཧ͞Ε͍ͯΔ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻
σʔλͷूԽ
Treasure DataΛར༻ͨ͠ΞʔΩςΫνϟ
ΞʔΩςΫνϟߏ 1MB[NB%# %BUB5BOL
S3Λ1͚࣍ʹ͢Δ ετϨʔδͳ͍ͷͰ4Λར༻ ੜσʔλͷσʔλܗࣜ +40/$479.-ͳͲ ͷ··อଘ 4ϑΝʔετʹ͢Δ͜ͱͰ"UIFOB3FETIJGU&.3ͳͲͷ αʔϏεͱͷ࿈ܞ͕ඞཁʹԠͯ͡Մೳʹ ੜσʔλอଘͷࡍʹσʔλεΩʔϚΛߟྀ͠ͳ͍
ߏԽσʔλڥք͚ͮΒΕͨίϯςΩετʹด͡Δ ࠂ৴ ࠷దԽ ཧళۀ վળ σʔλ ੳ ʮཧళۀվળʯʮࠂ৴࠷దԽʯͷίϯς Ωετʹσʔλ1:9*4ʹݶఆ ʮσʔλੳʯͷίϯςΩετͰ࣍ར༻͢Δͨ
ΊʹੜσʔλΛ4ʹอଘ
S3ͷϨΪϡϨʔγϣϯ #VDLFU1:9*4ͷΞϓϦέʔγϣϯڥքͷ໋໊ʹ͢Δ 1BUI\5%ͷσʔλϕʔε໊^\5%ͷςʔϒϧ໊^ZZZZ..ZZZZ..EE@ ΞϓϦέʔγϣϯؒͷڝ߹Λճආ͢ΔͨΊ &NCVMLଆͰQBUI@QSFpYͰ࣌ΛಈతʹࢦఆͰ͖ΔΑ͏ʹ "UIFOBͷύʔςΟγϣϯͰࢦఆ͘͢͠ͳΔΑ͏ʹ
S3 -> TD
Treasure DataͷྖҬ 1MB[NB%# %BUB5BOL 5SFBTVSF%BUBͷϑϧϚωʔδͷαʔϏεΛར༻ 5SFBTVSF8PSLqPX %JHEBH %BUB$POOFDUPS &NCVML
5SFBTVSF8PSLqPXΛར༻͢Δ͜ͱͰɺಠࣗʹ%JHEBH 4FSWFSΛཱͯΔߏஙɾอकίετΛݮ 5SFBTVSF8PSLqPX͔Βར༻͠ɺඞཁʹԠͯ͡%JHEBH 4FSWFSΛཱͯΔΑ͏ʹϓϩδΣΫτελʔτ
Treasure DataͷྖҬ 1MB[NB%# %BUB5BOL 4͔ΒUE@MPBE 1MB[NB%#͔Β1SFTUPͰूܭͯ͠൚ԽσʔλΛ1MB[NB%# ʹอଘ %BUB5BOL σʔλϚʔτ ʹར༻༻్ʹԊͬͨಛԽ͞Εͨ
σʔλΛ֨ೲ ˞%BUB5BOL5SFBTVSF%BUB͕ఏڙ͍ͯ͠Δ1PTUHSFTRM
ࣗલͰDigdag ServerΛݕ౼ͨ͠ྫ 1MB[NB%# %BUB5BOL 42-͚ͩͰूܭग़དྷͳ͍߹ %JHEBHͷQZUIPOSVCZTIFMMΦϖϨʔλʔΛར༻ ͯ͠ɺಠࣗʹ࣮ 5SFBTVSF8PSLqPXະରԠ %BUB$POOFDUPSͰཉ͍͠ूܭཻ͕ಘΒΕͳ͍߹ &NCVMLϓϥάΠϯΛΈࠐΈPS։ൃ
Treasure DataΛར༻ͨ͠ۀϑϩʔ σʔλੵ σʔλੳɾՁݕূ %JHEBHʹΑΔΦʔτϝʔγϣϯԽ ։ൃऀ͕5SFBTVSF%BUBʹσʔλ֨ೲ σʔλΞφϦετ ฐࣾͰඇΤϯδχΞ͕ଟ͍ ͕5SFBTVSF%BUBͷ(6*Λར༻ ։ൃऀ͕ཧ͢Δ
5SFBTVSF%BUBΛհͯ͠։ൃऀͱσʔλΞφϦετͷۀ࿈ܞΛ͢Δ
Treasure DataΛબͨ͠Α͔ͬͨ
ϑϧϚωʔδυͳੳج൫ΛεϐʔσΟʔʹखʹೖΓɺੳۀʹूத͕Ͱ͖Δ "84($1Ͱੳج൫Λࣗલߏங͢Δ߹ɺ αʔϏεͷݟΛ্࣋ͬͨͰอकɾӡ༻Λߦ͏ඞཁ͕͋Δ ˞ಋೖޙʹඇػೳཁٻ͕໌֬Խͨ͠Βࣗલݕ౼ ੳۀʹूதͰ͖Δ
σʔλͷΠϯϙʔτΤΫεϙʔτͷΤίγεςϜͷॆ࣮͍ͯ͠·͢ ֤छσʔλϕʔεϑΝΠϧαʔόʔͱͷૄ௨ͷόϦΤʔγϣϯ͕ଟ͘ɺ ଟ͘ͷ֎෦γεςϜͱͷ࿈ܞΛ༰қͰ͢ ֎෦γεςϜͱͷ࿈ܞ͕༰қ
5SFBTVSF%BUBʹσʔλੵΛ͢ΕɺσʔλΞφϦετ͕ੳͰ͖Δঢ়ଶʹ ۃ ΫΤϦ՝ۚసૹྔ՝ۚͰͳ͍ͷͰ42-ʹਫ਼௨͍ͯ͠ͳ͍͕ΫΤϦൃߦͯ͠Ϋϥυഁ࢈͠ͳ ͍ σʔλੳɾՁݕূ·Ͱͷεϐʔυײͱ҆৺ײ
͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠