Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
セプテーニで分析基盤(Treasure Data)を導入した話
Search
kimutyam
September 19, 2017
Technology
0
1.4k
セプテーニで分析基盤(Treasure Data)を導入した話
新宿Geek Lounge#3 分析基盤Meetup 登壇資料
kimutyam
September 19, 2017
Tweet
Share
More Decks by kimutyam
See All by kimutyam
NestJSのDIコンテナで作るクリーンなレイヤー境界
kimutyam
2
1.7k
Embulk / Presto / Sparkを用いたETL事情
kimutyam
4
2.1k
Reactive Messaging Patternsを使った境界づけられたコンテキストの統合
kimutyam
3
1.2k
アジャイルでのドメイン・ユースケースモデリング
kimutyam
5
2.2k
Introduction of ScalaTest
kimutyam
3
2.1k
Scalaで学ぶヘキサゴナルアーキテクチャ実践入門
kimutyam
15
6.5k
Other Decks in Technology
See All in Technology
物価高なラスベガスでの過ごし方
zakky
0
380
30万人が利用するチャットをFirebase Realtime DatabaseからActionCableへ移行する方法
ryosk7
5
350
ガバメントクラウド単独利用方式におけるIaC活用
techniczna
3
270
ABEMA のコンテンツ制作を最適化!生成 AI x クラウド映像編集システム / abema-ai-editor
cyberagentdevelopers
PRO
1
180
来年もre:Invent2024 に行きたいあなたへ - “集中”と“つながり”で楽しむ -
ny7760
0
470
生成AIの強みと弱みを理解して、生成AIがもたらすパワーをプロダクトの価値へ繋げるために実践したこと / advance-ai-generating
cyberagentdevelopers
PRO
1
180
【若手エンジニア応援LT会】AWS Security Hubの活用に苦労した話
kazushi_ohata
0
170
いまさらのStorybook
ikumatadokoro
0
140
ガチ勢によるPipeCD運用大全〜滑らかなCI/CDを添えて〜 / ai-pipecd-encyclopedia
cyberagentdevelopers
PRO
3
210
バクラクにおける可観測性向上の取り組み
yuu26
3
420
pandasはPolarsに性能面で追いつき追い越せるのか
vaaaaanquish
4
4.6k
最速最小からはじめるデータプロダクト / Data Product MVP
amaotone
5
740
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
328
21k
Fashionably flexible responsive web design (full day workshop)
malarkey
404
65k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
What's in a price? How to price your products and services
michaelherold
243
12k
The Language of Interfaces
destraynor
154
24k
Visualization
eitanlees
144
15k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
228
52k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
33k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.2k
Become a Pro
speakerdeck
PRO
24
5k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
4
290
Transcript
@৽॓Geek Lounge#3 ੳج൫Meetup @kimutyam 2017/09/19 ηϓςʔχͰੳج൫ (Treasure Data)Λಋೖͨ͠
໊લଜজ 5XJUUFS!LJNVUZBN ձࣾηϓςʔχɾΦϦδφϧ %%%ͱ*$0/*9ΛͬͨੳઃܭΛΈͱ͍ͯ͠Δ4DBMBΤϯδχΞ ۀࢧԉͷΞʔΩςΫνϟΛߟҊ͢Δ͏ͪʹੳج൫ܥͷۀʹ୧Γண͖·ͨ͠ ࣗݾհ
PYXISͷྺ࢙ͱੳج൫ಋೖ·Ͱͷഎܠ
PYXISͱ ࠂ৴ ࠷దԽ ཧళۀ վળ σʔλ ੳ
σʔλੳॳظ PYXISͷσʔλ ηϓςʔχͷ֤෦DB ഔମࣾͷσʔλ ސ٬ͷσʔλ ࣾһͷσʔλ ֎෦ϕϯμʔͷσʔλ ಛఆͷతʹԊͬͯߏԽ͞Εͨσʔλ͕ࢄཧ͞Εɺ࣍ར༻͞Ε͍ͯͨ
σʔλͷ࣍ར༻͕ͮ͠Β͍ σʔλੳॳظͰͷ ύϑΥʔϚϯε͕ѱ͍ σʔλ͕ࢄཧ͞Ε͍ͯΔ &5-ॲཧ"11ͷཚཱ
σʔλͷ࣍ར༻͕ͮ͠Β͍ վળ ύϑΥʔϚϯε͕ѱ͍ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻ σʔλͷूԽ σʔλ͕ࢄཧ͞Ε͍ͯΔ
σʔλͷ࣍ར༻͕ͮ͠Β͍ ιϦϡʔγϣϯ: σʔλϨΠΫ ύϑΥʔϚϯε͕ѱ͍ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻ σʔλͷूԽ σʔλ͕ࢄཧ͞Ε͍ͯΔ
σʔλͷ࣍ར༻͕ͮ͠Β͍ ιϦϡʔγϣϯ: σʔλΣΞϋε ύϑΥʔϚϯε͕ѱ͍ σʔλ͕ࢄཧ͞Ε͍ͯΔ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻ σʔλͷूԽ
σʔλͷ࣍ར༻͕ͮ͠Β͍ ιϦϡʔγϣϯ: Treasure Data ύϑΥʔϚϯε͕ѱ͍ σʔλ͕ࢄཧ͞Ε͍ͯΔ &5-ॲཧ"11ͷཚཱ ඇߏԽσʔλͷੵ ࢄॲཧ "11ͷ؆ུԽπʔϧར༻
σʔλͷूԽ
Treasure DataΛར༻ͨ͠ΞʔΩςΫνϟ
ΞʔΩςΫνϟߏ 1MB[NB%# %BUB5BOL
S3Λ1͚࣍ʹ͢Δ ετϨʔδͳ͍ͷͰ4Λར༻ ੜσʔλͷσʔλܗࣜ +40/$479.-ͳͲ ͷ··อଘ 4ϑΝʔετʹ͢Δ͜ͱͰ"UIFOB3FETIJGU&.3ͳͲͷ αʔϏεͱͷ࿈ܞ͕ඞཁʹԠͯ͡Մೳʹ ੜσʔλอଘͷࡍʹσʔλεΩʔϚΛߟྀ͠ͳ͍
ߏԽσʔλڥք͚ͮΒΕͨίϯςΩετʹด͡Δ ࠂ৴ ࠷దԽ ཧళۀ վળ σʔλ ੳ ʮཧళۀվળʯʮࠂ৴࠷దԽʯͷίϯς Ωετʹσʔλ1:9*4ʹݶఆ ʮσʔλੳʯͷίϯςΩετͰ࣍ར༻͢Δͨ
ΊʹੜσʔλΛ4ʹอଘ
S3ͷϨΪϡϨʔγϣϯ #VDLFU1:9*4ͷΞϓϦέʔγϣϯڥքͷ໋໊ʹ͢Δ 1BUI\5%ͷσʔλϕʔε໊^\5%ͷςʔϒϧ໊^ZZZZ..ZZZZ..EE@ ΞϓϦέʔγϣϯؒͷڝ߹Λճආ͢ΔͨΊ &NCVMLଆͰQBUI@QSFpYͰ࣌ΛಈతʹࢦఆͰ͖ΔΑ͏ʹ "UIFOBͷύʔςΟγϣϯͰࢦఆ͘͢͠ͳΔΑ͏ʹ
S3 -> TD
Treasure DataͷྖҬ 1MB[NB%# %BUB5BOL 5SFBTVSF%BUBͷϑϧϚωʔδͷαʔϏεΛར༻ 5SFBTVSF8PSLqPX %JHEBH %BUB$POOFDUPS &NCVML
5SFBTVSF8PSLqPXΛར༻͢Δ͜ͱͰɺಠࣗʹ%JHEBH 4FSWFSΛཱͯΔߏஙɾอकίετΛݮ 5SFBTVSF8PSLqPX͔Βར༻͠ɺඞཁʹԠͯ͡%JHEBH 4FSWFSΛཱͯΔΑ͏ʹϓϩδΣΫτελʔτ
Treasure DataͷྖҬ 1MB[NB%# %BUB5BOL 4͔ΒUE@MPBE 1MB[NB%#͔Β1SFTUPͰूܭͯ͠൚ԽσʔλΛ1MB[NB%# ʹอଘ %BUB5BOL σʔλϚʔτ ʹར༻༻్ʹԊͬͨಛԽ͞Εͨ
σʔλΛ֨ೲ ˞%BUB5BOL5SFBTVSF%BUB͕ఏڙ͍ͯ͠Δ1PTUHSFTRM
ࣗલͰDigdag ServerΛݕ౼ͨ͠ྫ 1MB[NB%# %BUB5BOL 42-͚ͩͰूܭग़དྷͳ͍߹ %JHEBHͷQZUIPOSVCZTIFMMΦϖϨʔλʔΛར༻ ͯ͠ɺಠࣗʹ࣮ 5SFBTVSF8PSLqPXະରԠ %BUB$POOFDUPSͰཉ͍͠ूܭཻ͕ಘΒΕͳ͍߹ &NCVMLϓϥάΠϯΛΈࠐΈPS։ൃ
Treasure DataΛར༻ͨ͠ۀϑϩʔ σʔλੵ σʔλੳɾՁݕূ %JHEBHʹΑΔΦʔτϝʔγϣϯԽ ։ൃऀ͕5SFBTVSF%BUBʹσʔλ֨ೲ σʔλΞφϦετ ฐࣾͰඇΤϯδχΞ͕ଟ͍ ͕5SFBTVSF%BUBͷ(6*Λར༻ ։ൃऀ͕ཧ͢Δ
5SFBTVSF%BUBΛհͯ͠։ൃऀͱσʔλΞφϦετͷۀ࿈ܞΛ͢Δ
Treasure DataΛબͨ͠Α͔ͬͨ
ϑϧϚωʔδυͳੳج൫ΛεϐʔσΟʔʹखʹೖΓɺੳۀʹूத͕Ͱ͖Δ "84($1Ͱੳج൫Λࣗલߏங͢Δ߹ɺ αʔϏεͷݟΛ্࣋ͬͨͰอकɾӡ༻Λߦ͏ඞཁ͕͋Δ ˞ಋೖޙʹඇػೳཁٻ͕໌֬Խͨ͠Βࣗલݕ౼ ੳۀʹूதͰ͖Δ
σʔλͷΠϯϙʔτΤΫεϙʔτͷΤίγεςϜͷॆ࣮͍ͯ͠·͢ ֤छσʔλϕʔεϑΝΠϧαʔόʔͱͷૄ௨ͷόϦΤʔγϣϯ͕ଟ͘ɺ ଟ͘ͷ֎෦γεςϜͱͷ࿈ܞΛ༰қͰ͢ ֎෦γεςϜͱͷ࿈ܞ͕༰қ
5SFBTVSF%BUBʹσʔλੵΛ͢ΕɺσʔλΞφϦετ͕ੳͰ͖Δঢ়ଶʹ ۃ ΫΤϦ՝ۚసૹྔ՝ۚͰͳ͍ͷͰ42-ʹਫ਼௨͍ͯ͠ͳ͍͕ΫΤϦൃߦͯ͠Ϋϥυഁ࢈͠ͳ ͍ σʔλੳɾՁݕূ·Ͱͷεϐʔυײͱ҆৺ײ
͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠