Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
セプテーニで分析基盤(Treasure Data)を導入した話
Search
kimutyam
September 19, 2017
Technology
0
1.5k
セプテーニで分析基盤(Treasure Data)を導入した話
新宿Geek Lounge#3 分析基盤Meetup 登壇資料
kimutyam
September 19, 2017
Tweet
Share
More Decks by kimutyam
See All by kimutyam
NestJSのDIコンテナで作るクリーンなレイヤー境界
kimutyam
2
1.9k
Embulk / Presto / Sparkを用いたETL事情
kimutyam
4
2.1k
Reactive Messaging Patternsを使った境界づけられたコンテキストの統合
kimutyam
3
1.3k
アジャイルでのドメイン・ユースケースモデリング
kimutyam
5
2.2k
Introduction of ScalaTest
kimutyam
3
2.2k
Scalaで学ぶヘキサゴナルアーキテクチャ実践入門
kimutyam
15
6.7k
Other Decks in Technology
See All in Technology
2/18 Making Security Scale: メルカリが考えるセキュリティ戦略 - Coincheck x LayerX x Mercari
jsonf
0
110
日経のデータベース事業とElasticsearch
hinatades
PRO
0
210
Exadata Database Service on Cloud@Customer セキュリティ、ネットワーク、および管理について
oracle4engineer
PRO
2
1.5k
デスクトップだけじゃないUbuntu
mtyshibata
0
780
Iceberg Meetup Japan #1 : Iceberg and Databricks
databricksjapan
0
310
Apache Iceberg Case Study in LY Corporation
lycorptech_jp
PRO
0
280
1行のコードから社会課題の解決へ: EMの探究、事業・技術・組織を紡ぐ実践知 / EM Conf 2025
9ma3r
8
3.3k
LINEギフトにおけるバックエンド開発
lycorptech_jp
PRO
0
230
クラウドサービス事業者におけるOSS
tagomoris
4
990
あなたが人生で成功するための5つの普遍的法則 #jawsug #jawsdays2025 / 20250301 HEROZ
yoshidashingo
2
240
データエンジニアリング領域におけるDuckDBのユースケース
chanyou0311
8
2.1k
アジャイルな開発チームでテスト戦略の話は誰がする? / Who Talks About Test Strategy?
ak1210
1
400
Featured
See All Featured
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Rebuilding a faster, lazier Slack
samanthasiow
80
8.9k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
100
18k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
45
9.4k
Product Roadmaps are Hard
iamctodd
PRO
50
11k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Designing Experiences People Love
moore
140
23k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
BBQ
matthewcrist
87
9.5k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
It's Worth the Effort
3n
184
28k
Transcript
@৽॓Geek Lounge#3 ੳج൫Meetup @kimutyam 2017/09/19 ηϓςʔχͰੳج൫ (Treasure Data)Λಋೖͨ͠
໊લଜজ 5XJUUFS!LJNVUZBN ձࣾηϓςʔχɾΦϦδφϧ %%%ͱ*$0/*9ΛͬͨੳઃܭΛΈͱ͍ͯ͠Δ4DBMBΤϯδχΞ ۀࢧԉͷΞʔΩςΫνϟΛߟҊ͢Δ͏ͪʹੳج൫ܥͷۀʹ୧Γண͖·ͨ͠ ࣗݾհ
PYXISͷྺ࢙ͱੳج൫ಋೖ·Ͱͷഎܠ
PYXISͱ ࠂ৴ ࠷దԽ ཧళۀ վળ σʔλ ੳ
σʔλੳॳظ PYXISͷσʔλ ηϓςʔχͷ֤෦DB ഔମࣾͷσʔλ ސ٬ͷσʔλ ࣾһͷσʔλ ֎෦ϕϯμʔͷσʔλ ಛఆͷతʹԊͬͯߏԽ͞Εͨσʔλ͕ࢄཧ͞Εɺ࣍ར༻͞Ε͍ͯͨ
σʔλͷ࣍ར༻͕ͮ͠Β͍ σʔλੳॳظͰͷ ύϑΥʔϚϯε͕ѱ͍ σʔλ͕ࢄཧ͞Ε͍ͯΔ &5-ॲཧ"11ͷཚཱ
σʔλͷ࣍ར༻͕ͮ͠Β͍ վળ ύϑΥʔϚϯε͕ѱ͍ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻ σʔλͷूԽ σʔλ͕ࢄཧ͞Ε͍ͯΔ
σʔλͷ࣍ར༻͕ͮ͠Β͍ ιϦϡʔγϣϯ: σʔλϨΠΫ ύϑΥʔϚϯε͕ѱ͍ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻ σʔλͷूԽ σʔλ͕ࢄཧ͞Ε͍ͯΔ
σʔλͷ࣍ར༻͕ͮ͠Β͍ ιϦϡʔγϣϯ: σʔλΣΞϋε ύϑΥʔϚϯε͕ѱ͍ σʔλ͕ࢄཧ͞Ε͍ͯΔ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻ σʔλͷूԽ
σʔλͷ࣍ར༻͕ͮ͠Β͍ ιϦϡʔγϣϯ: Treasure Data ύϑΥʔϚϯε͕ѱ͍ σʔλ͕ࢄཧ͞Ε͍ͯΔ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻
σʔλͷूԽ
Treasure DataΛར༻ͨ͠ΞʔΩςΫνϟ
ΞʔΩςΫνϟߏ 1MB[NB%# %BUB5BOL
S3Λ1͚࣍ʹ͢Δ ετϨʔδͳ͍ͷͰ4Λར༻ ੜσʔλͷσʔλܗࣜ +40/$479.-ͳͲ ͷ··อଘ 4ϑΝʔετʹ͢Δ͜ͱͰ"UIFOB3FETIJGU&.3ͳͲͷ αʔϏεͱͷ࿈ܞ͕ඞཁʹԠͯ͡Մೳʹ ੜσʔλอଘͷࡍʹσʔλεΩʔϚΛߟྀ͠ͳ͍
ߏԽσʔλڥք͚ͮΒΕͨίϯςΩετʹด͡Δ ࠂ৴ ࠷దԽ ཧళۀ վળ σʔλ ੳ ʮཧళۀվળʯʮࠂ৴࠷దԽʯͷίϯς Ωετʹσʔλ1:9*4ʹݶఆ ʮσʔλੳʯͷίϯςΩετͰ࣍ར༻͢Δͨ
ΊʹੜσʔλΛ4ʹอଘ
S3ͷϨΪϡϨʔγϣϯ #VDLFU1:9*4ͷΞϓϦέʔγϣϯڥքͷ໋໊ʹ͢Δ 1BUI\5%ͷσʔλϕʔε໊^\5%ͷςʔϒϧ໊^ZZZZ..ZZZZ..EE@ ΞϓϦέʔγϣϯؒͷڝ߹Λճආ͢ΔͨΊ &NCVMLଆͰQBUI@QSFpYͰ࣌ΛಈతʹࢦఆͰ͖ΔΑ͏ʹ "UIFOBͷύʔςΟγϣϯͰࢦఆ͘͢͠ͳΔΑ͏ʹ
S3 -> TD
Treasure DataͷྖҬ 1MB[NB%# %BUB5BOL 5SFBTVSF%BUBͷϑϧϚωʔδͷαʔϏεΛར༻ 5SFBTVSF8PSLqPX %JHEBH %BUB$POOFDUPS &NCVML
5SFBTVSF8PSLqPXΛར༻͢Δ͜ͱͰɺಠࣗʹ%JHEBH 4FSWFSΛཱͯΔߏஙɾอकίετΛݮ 5SFBTVSF8PSLqPX͔Βར༻͠ɺඞཁʹԠͯ͡%JHEBH 4FSWFSΛཱͯΔΑ͏ʹϓϩδΣΫτελʔτ
Treasure DataͷྖҬ 1MB[NB%# %BUB5BOL 4͔ΒUE@MPBE 1MB[NB%#͔Β1SFTUPͰूܭͯ͠൚ԽσʔλΛ1MB[NB%# ʹอଘ %BUB5BOL σʔλϚʔτ ʹར༻༻్ʹԊͬͨಛԽ͞Εͨ
σʔλΛ֨ೲ ˞%BUB5BOL5SFBTVSF%BUB͕ఏڙ͍ͯ͠Δ1PTUHSFTRM
ࣗલͰDigdag ServerΛݕ౼ͨ͠ྫ 1MB[NB%# %BUB5BOL 42-͚ͩͰूܭग़དྷͳ͍߹ %JHEBHͷQZUIPOSVCZTIFMMΦϖϨʔλʔΛར༻ ͯ͠ɺಠࣗʹ࣮ 5SFBTVSF8PSLqPXະରԠ %BUB$POOFDUPSͰཉ͍͠ूܭཻ͕ಘΒΕͳ͍߹ &NCVMLϓϥάΠϯΛΈࠐΈPS։ൃ
Treasure DataΛར༻ͨ͠ۀϑϩʔ σʔλੵ σʔλੳɾՁݕূ %JHEBHʹΑΔΦʔτϝʔγϣϯԽ ։ൃऀ͕5SFBTVSF%BUBʹσʔλ֨ೲ σʔλΞφϦετ ฐࣾͰඇΤϯδχΞ͕ଟ͍ ͕5SFBTVSF%BUBͷ(6*Λར༻ ։ൃऀ͕ཧ͢Δ
5SFBTVSF%BUBΛհͯ͠։ൃऀͱσʔλΞφϦετͷۀ࿈ܞΛ͢Δ
Treasure DataΛબͨ͠Α͔ͬͨ
ϑϧϚωʔδυͳੳج൫ΛεϐʔσΟʔʹखʹೖΓɺੳۀʹूத͕Ͱ͖Δ "84($1Ͱੳج൫Λࣗલߏங͢Δ߹ɺ αʔϏεͷݟΛ্࣋ͬͨͰอकɾӡ༻Λߦ͏ඞཁ͕͋Δ ˞ಋೖޙʹඇػೳཁٻ͕໌֬Խͨ͠Βࣗલݕ౼ ੳۀʹूதͰ͖Δ
σʔλͷΠϯϙʔτΤΫεϙʔτͷΤίγεςϜͷॆ࣮͍ͯ͠·͢ ֤छσʔλϕʔεϑΝΠϧαʔόʔͱͷૄ௨ͷόϦΤʔγϣϯ͕ଟ͘ɺ ଟ͘ͷ֎෦γεςϜͱͷ࿈ܞΛ༰қͰ͢ ֎෦γεςϜͱͷ࿈ܞ͕༰қ
5SFBTVSF%BUBʹσʔλੵΛ͢ΕɺσʔλΞφϦετ͕ੳͰ͖Δঢ়ଶʹ ۃ ΫΤϦ՝ۚసૹྔ՝ۚͰͳ͍ͷͰ42-ʹਫ਼௨͍ͯ͠ͳ͍͕ΫΤϦൃߦͯ͠Ϋϥυഁ࢈͠ͳ ͍ σʔλੳɾՁݕূ·Ͱͷεϐʔυײͱ҆৺ײ
͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠