Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
etl-in-the-media-company
Search
Masatoshi Shimada
September 19, 2017
Technology
7
5.5k
etl-in-the-media-company
ETLの実際
- 分析基盤刷新PoC
- ETL実例紹介
- ETLでぶつかった壁
Masatoshi Shimada
September 19, 2017
Tweet
Share
More Decks by Masatoshi Shimada
See All by Masatoshi Shimada
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
smdmts
3
4.8k
Lakehouseプラットフォームを 採用するまでの話/Lakehouse Platform Adoption
smdmts
1
720
Sparkから利用するAirframe/Spark-With-Airframe
smdmts
0
1.4k
Redashで何をみるのか/What Do You Wanna See Redash?
smdmts
1
1.4k
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
smdmts
0
1.5k
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
smdmts
5
2.1k
作らない分析基板のススメ/DWH For Startup With YAGNI
smdmts
1
670
エンジニアのためのドメイン駆動設計実践入門 / DDD for Engineer newbie
smdmts
18
3.4k
How to growth the delish kitchen team to data-driven team
smdmts
1
1k
Other Decks in Technology
See All in Technology
MySQLのロックの種類とその競合
yoku0825
6
1.6k
Azure AI ことはじめ
tsubakimoto_s
0
130
公共領域から学ぶ クラウド移行についてエンジニアが意識していること
kawakawa2222
0
140
たくさん本を読んだけど 1年後には綺麗サッパリ!を乗り越えて 学習の鬼になるぞ👹
yum3
0
160
データ分析を支える技術 生成AI再入門
ishikawa_satoru
0
380
20240717_イケコパ代表Copilot_in_Teams会社でこう使ってます
ponponmikankan
2
430
ACRiルーム最新情報とAMD GPUサーバーのご紹介
anjn
0
150
目標設定は好きですか? アジャイルとともに目標と向き合い続ける方法 / Do you like target Management?
kakehashi
10
3k
E2Eテスト自動化プラットフォームにおけるAIの活用
shift_evolve
0
180
[NIKKEI Tech Talk]Bias for Action!! 実践から学ぶための仕組とコミュニティ / Community for Practice and Learning
kanamasa
0
260
What if...? 처음부터 다시 LLM 어플리케이션을 개발한다면
huffon
0
1k
VPoEの視点から見た、ヘンリーがサーバーサイドKotlinを使う理由 / Why Server-side Kotlin 2024
cho0o0
1
420
Featured
See All Featured
Raft: Consensus for Rubyists
vanstee
134
6.5k
A better future with KSS
kneath
231
17k
Learning to Love Humans: Emotional Interface Design
aarron
269
39k
Fireside Chat
paigeccino
25
2.8k
The Pragmatic Product Professional
lauravandoore
29
6.1k
The World Runs on Bad Software
bkeepers
PRO
63
11k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
44
4.7k
Building Better People: How to give real-time feedback that sticks.
wjessup
357
18k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
189
16k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
24
1.8k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
277
13k
How GitHub Uses GitHub to Build GitHub
holman
471
290k
Transcript
ಈըܥϝσΟΞاۀͰ ߦΘΕ͍ͯΔ&5-ͷ࣮ࡍ ౡాխ!TNENUT
ࣗݾհ w ౡాխ!TNENUT w ιϑτΣΞΤϯδχΞ w 4DBMBc1ZUIPOc+BWBc(PMBOHc%%% w
גࣜձࣾΤϒϦʔॴଐ w %&-*4),*5$)&/σʔλੳܥશൠ୲
ΞϓϦհ
࣍ w ੳج൫৽1P$ w &5-࣮ྫհ w &5-ͰͿ͔ͭͬͨน
ੳج൫৽1P$
4JOHMFTPVSDFPGUSVUI The state of your whole application is stored in
an object tree within a single store. by redux. w ΞϓϦέʔγϣϯͷঢ়ଶҰݩཧ͞ΕΔ͖ Ͱ͋Δ w ϏοάσʔλͰҰͭͷॴʹूͯ͠ɺ42- ͰݕࡧՄೳʹ͓͖ͯ͘͠Ͱ͋Δ w ݱ࣮తʹاۀͷσʔλ༷ʑͳܗͰଘࡏ͠ ͓ͯΓ݁߹͢Δ͜ͱ͍͠
γεςϜߏਤʢॳʣ "1*αʔό ࠂޮՌଌఆ Πϕϯτܭଌ "UIFOB #JH2VFSZ ݁߹͕ग़དྷͳ͍ͨΊɺ 4405͕ຬͨͤͳ͍ ՄࢹԽ %8)
ॳͷੳج൫ʹ͓͚Δ՝ w εΩϟϯྔʢΫΤϦ՝ۚʣ͕ʑ૿େ͍ͯͨ͠ w ΫΤϦɺ5#ͷεΩϟϯ͕ଟ w #2ͷσʔλߏ͕ෳࡶͰ42-͕ಡঢ়ଶ w Ϩίʔυܕͷղ͕ओͳݪҼ w
"UIFOBͱ#JH2VFSZͷ+0*/͕ग़དྷͳ͍ w SFEBTIͳΒ݁߹Մೳ w ͔͠͠σʔλ࿈Λॏࢹͨͨ͠Ίߟྀ֎ͱͨ͠ w ࠂޮՌଌఆͷϩά͕࿈ܞ͞Ε͍ͯͳ͍ "UIFOB #JH2VFSZ
w 4405͕࣮ݱ͞Ε͍ͯΔ͜ͱ w εΩϟϯྔΛؾʹ͢Δ͜ͱແ͍ੳج൫Ͱ͋Δ͜ͱ w ੳ༻42-ɺͳΔ͘؆қͳ42-ͱ͍ͨ͠ w ಛघͳ8JOEPXؔ+0*/ͷআڈΛఆ w ඇΤϯδχΞ͚ʹੳͷෑډΛԼ͍͛ͨ
w ϨίʔυͷߏՄมͰεΩʔϚϨεʹ͍ͨ͠ w શͯϑϧϚωʔδυͰ࣮ݱ͞ΕΔ͜ͱ ৽ੳج൫ʹ͚ͨ1P$
৽ੳج൫ʹ͚ͨ1P$ w Ϧιʔε՝ۚͰ͋Δ͜ͱ w ϑϧϚωʔδυɾδϣϒεέδϡʔϥ͕ଘࡏ͢Δ͜ͱ w ϑϧϚωʔδυɾόϧΫΠϯϙʔτ͕ଘࡏ͢Δ͜ͱ w εΩʔϚϨε%#ͰεΩʔϚࣗಈߋ৽͕ଘࡏ͢Δ͜ͱ w
3&45ͰσʔλೖՄೳͳίʔϧόοΫ༻ͷΤϯυϙ Πϯτ͕ଘࡏ͢Δ͜ͱ w σʔλ࿈ܞʢ*NQPSU&YQPSU ͕༰қͰ͋Δ͜ͱ
"1*αʔό ࠂޮՌଌఆ Πϕϯτܭଌ %BUB-BLF %8) 4405 1P$ ୡ σʔλ͕Ұݩཧ͞ΕΔͨΊ ͲͷΑ͏ͳσʔλͰ݁߹Մೳ
#JH2VFSZ ՄࢹԽ 3&45"1* $PODMVTJPO
&5-࣮ྫհ
&5-࣮ྫհ "1*αʔό ࠂޮՌଌఆ Πϕϯτܭଌ %BUB-BLF %8) #JH2VFSZ ՄࢹԽ 3&45"1* ͜ͷ෦ͷ
'JSFCBTF"OBMZUJDT w #BB4πʔϧ w ओʹ"#ςετɺϓογϡ௨ɺΠϕϯτϩ άܭଌͰར༻͍ͯ͠Δ w #JH2VFSZʹΠϕϯτܭଌϩά͕࿈ܞՄೳ w #JH2VFSZͰੜϩάΛੳʹճ͍͕ͯͨ͠ɺɹ
εΩϟϯྔ૿େͱ42-ಡԽ͕͋ͬͨ
'JSFCBTF 4%, #JH2VFSZ 5SFBTVSF %BUB ($4 4 &.3 5SFBTVSF8PSLqPX 'JSFCBTF
"OBMZUJDT &5-"SDIJUFDUVSF .3FDPSE%BZ
'JSFCBTF 4%, &5-"SDIJUFDUVSF 'JSFCBTF "OBMZUJDT #JH2VFSZ 5SFBTVSF %BUB ($4 4
&.3 ϑϧϚωʔδυ .3FDPSE%BZ 5SFBTVSF8PSLqPX
5SFBTVSF8PSLqPX w %JHEBHͷϑϧϚʔωδυδϣϒεέδϡʔϥ w 3VCZ1ZUIPO4IFMM͕͑ͳ͍ w Πϯϑϥૢ࡞"84-BNCEBΛར༻͢Δ w "84($1$-*Λ-BNCEBͰىಈ͢Δ w
&.3ΦϖϨʔλΑΓॊೈʹ੍ޚ͔ͨͬͨ͠ w ॲཧܥϑϧϚωʔδυͳαʔόϨεߏ
%JHEBH8PSLqPX CR@FYUSBDU #JH2VFSZ ($4 TUFQ IUUQ "1*(BUFXBZ -BNCEB &.3 ($4
4 5% TUFQ 45&1 #JH2VFSZ͔Β($4ʹμϯϓ 45&1 ($4͔Β&.3Ͱ5%ʹ࿈ܞ
&NCVMLPO&.3 &.3 w .BQ3FEVDF&YFDVUPSΛར༻͢Εɺɹ )BEPPQΫϥελʔ্Ͱࢄ࣮ߦͰ͖Δ IUUQTHJTUHJUIVCDPNTNENUTDGEFCFCEEDBCCCE IUUQRJJUBDPNKPLFSJUFNTECBFCGBBF w Լهͷ̎εςοϓͰར༻ՄೳʢUIBOLT!KPLFS
w MPH༻ͷ+"3Λ&.3֤ϊʔυʹࣄલʹϩʔυ w ϚελʔϊʔυͰ.BQ3FEVDF&YFDVUPSΛ ར༻ͯ͠&NCVMLΛىಈ͢Δ
($4 4 4 5% 4UFQ"730ʢ#JH2VFSZʣ+40/ʢ3FDPSE&WFOUʣ 4UFQ+40/ʢ3FDPSE&WFOUʣ1MB[NB%# 5% "730ʢ3FDPSE.BOZ&WFOUʣΛɺ +40/ʢ3FDPSE&WFOUʣʹม͍ͯ͠Δ %BUB$POOFDUPSͰ+40/ͷ+40/ܕΛղ͢ΔͨΊɺ
5%ΦϓγϣϯͷFYQMPEF@KTPO@DPMVNOTΛར༻͍ͯ͠Δ FYQMPEF@KTPO@DPMVNOT%BUB$POOFDUPSઐ༻Ͱ&.3͔Βར༻Ͱ͖ͳ͍ &.3Ͱ࣮ߦͯͬ͠ͱߴԽ͍ͨ͠ͷͰ044൛Ͱ͜ͷΦϓγϣϯΛެ։ͯ͠ཉ͍͠ʢཁʣ &NCVML࣮ߦܭը
Ϩίʔυͷঢ়ଶભҠ $ % " # ' $ % " #
& ' Ћ Ћ Ћ Ћ Ћ Ћ Ћ Ϩίʔυ ܕ" ຌྫ ׂ & " # $ % & ' Ћ Ћ Ћ " # $ % & ' ൃࢄ ܕ# ܕ$ 4UFQ"730+40/ʢ3FDPSE&WFOUʣ 4UFQ+40/ʢ3FDPSE&WFOUʣ1MB[NB%# 5%
$PODMVTJPO w .BQ3FEVDF&YFDVUPSΛར༻ͯ͠&.3Ͱࢄ࣮ ߦ͢Δ͜ͱͰେྔσʔλͷऔΓࠐΈΛՄೳͱͨ͠ w ϨίʔυΠϕϯτʹׂ͢Δ͜ͱͰੳ༻42- ͷқΛԼ͛ΔࣄΛ࣮ݱͨ͠ w ྻࢦ%#Λੜ͔ͯ͠+40/Λൃࢄͤ͞Δ͜ͱͰɺε ΩʔϚཧίετͷݮΛ࣮ݱͨ͠
w ϑϧϚωʔδυͰ&5-Λ࣮ݱ͢Δ͜ͱͰཧίετ ݮΛ࣮ݱͨ͠
&5-ͰͿ͔ͭͬͨน
'JSFCBTFऔΓࠐΈ༻ &NCVMLϓϥάΠϯ͕ͳ͍
&NCVMLϓϥάΠϯ͕ͳ͍ 'JSFCBTFऔΓࠐΈ༻ ແ͔ͬͨΒ࡞Δ
&NCVMLϓϥάΠϯ͕ͳ͍ 'JSFCBTFऔΓࠐΈ༻ ແ͔ͬͨΒ࡞Δ ͦͯ͠ɺΈ߹ΘͤΔ
ՌҰཡ w FNCVMLpMUFSLFZ@JO@SFEJT w FNCVMLpMUFSKTPO@LFZ@KPJOFS w FNCVMLGPSNBUUFSGBTU@KTPOM w FNCVMLQBSTFSpSFCBTF@BWSP w
FNCVMLEFDPEFSSFNPWF@OPOTUBOEBSE@VUG@CZUFT w FNCVMLPVUQVUqVFOUEʢFYQFSJNFOUBMBTXBJUJOHGPS+BWB w FNCVMLPVUQVULFZ@UP@SFEJT ͱͷ֨ಆͷɺੜ͞ΕͨϓϥάΠϯ
&NCVMLϓϥάΠϯΈ߹Θͤհ &NCVMLΛར༻ͨ͠ େྔϨίʔυࠩ࿈ܞͷհ
&NCVMLϓϥάΠϯΈ߹Θͤհ w ຊϨίʔυ#2ͷຊςʔϒϧ JOUSBEBZ ʹ࿈ܞ͞ΕΔ w ఆࠁʢே࣌ࠒʣʹຊςʔϒϧ͔Βࡢςʔϒϧ͕࡞͞ ΕͯຊϨίʔυ͕ࡢςʔϒϧʹҠಈ͢Δ w ࠷େͰաڈલ·ͰͷΠϕϯτϩά͕ςʔϒϧʹఆࠁ
ʢே࣌ࠒʣͰ࿈ܞ͞ΕΔ w ࡢ͕࡞ɺ̎લɾ̏લ͕هͷ̏छྨ w ͲͷϨίʔυ͕ه͞Ε͔ͨ42-Ͱ͔Βͳ͍ #JH2VFSZ
&NCVMLϓϥάΠϯΈ߹Θͤհ ຊ ࡢ લ લ աڈϩά ੵΈ্͛ ఆࠁʢே࣌ࠒͷڍಈʣ ࡞ ه
ه JOUSBEBZ #JH2VFSZ
&NCVMLϓϥάΠϯΈ߹Θͤհ Ұࡢ ຊ࿈ܞ͍ͨ͠σʔλ ࡢ࿈ܞࡁΈ w ຊ࿈ܞ͍ͨ͠σʔλΛநग़͢Δʹɺશྔσʔλͱࡢ࿈ ܞࡁΈσʔλͱ%J⒎ΛऔΔඞཁ͕͋Δ ɹʢ3FETIJGUʢ42-ʣͰ࣮ݱՄೳ͕ͩ&NCVMLͰ࣮ݱ͔ͨͬͨ͠ʣ શྔ ͷϨίʔυʹ͍ͭͯղ͢ΔͱԼهͷΑ͏ʹͳΔ
ʹ
&NCVMLϓϥάΠϯΈ߹Θͤհ ࿈ܞࡁΈσʔλ 4UFQ FNCVMLPVUQVULFZ@UP@SFEJT 4UFQ શྔσʔλʢ.%ʣ ʹ ຊ࿈ܞϨίʔυ FNCVMLpMUFSLFZ@JO@SFEJT
#JH2VFSZ 4UFQ FNCVMLQBSTFSpSFCBTF@BWSP ࿈ܞࡁΈσʔλʢ.%ʣ ࿈ܞࡁΈσʔλʢ.%ʣ શྔσʔλ
&NCVMLϓϥάΠϯΈ߹Θͤհ w Έ߹Θͤͯ͏&NCVMLϓϥάΠϯ w େྔσʔλͷࠩΛൈͨ͘ΊʹɺϩʔυࡁΈͷঢ়ଶ͕ඞཁͱ ͳΓ3FEJTͷ4FUΛར༻ͨ͠ w BLLBΛར༻্ͯ͠ྲྀ͔ΒྲྀΕΔϨίʔυ 1BHF ΛόοϑΝϦ
ϯάͯ͠ɺҰఆྔஷ·͔ͬͯΒϑϥογϡ͢Δ͜ͱͰɺ3FEJT ͷ͍߹Θͤޮ্Λૂͬͨ FNCVMLPVUQVULFZ@UP@SFEJT FNCVMLpMUFSLFZ@JO@SFEJT
$PODMVTJPO w &NCVMLϓϥάΠϯΛΈ߹Θ࣮ͤͯߦܭըΛߟྀ͢ Εɺଟछଟ༷ͳ&5-͕࣮ݱՄೳͱͳΔ w ྑ͍&NCVMLϓϥάΠϯ͕ແ͔ͬͨΒ13͢Δ͔ɹ ࡞ͬͯ044Ͱެ։͠Α͏ ࠔͬͨΒ5XJUUFSͰͭͿ͘ͱ৭ʑͱڭ͑ͯ͘ΕΔʢUIBOLT!IJSPZTBUP w
&NCVMLϓϥάΠϯ։ൃʹ4DBMBڧྗͳϒΩʹͳΔ BLLBͱ͔DJSDFͱ͔DBUTͱ͔TDBMB[ͱ͔TIBQFMFTTͱ͔
ձࣾ֓ཁ FOOD FAMILY BEAUTY NEWS ಈըΛ௨ͯ͡ ੈքΛͬͱָ͘͠ ͬͱॆ࣮ͨ͠ຖʹ
https://corp.every.tv/recruits We are hiring! Chief Dog Officer EVE
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠