Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Sparkから利用するAirframe/Spark-With-Airframe
Search
Masatoshi Shimada
October 23, 2019
Technology
0
1.7k
Sparkから利用するAirframe/Spark-With-Airframe
Masatoshi Shimada
October 23, 2019
Tweet
Share
More Decks by Masatoshi Shimada
See All by Masatoshi Shimada
データプラットフォーム技術におけるメダリオンアーキテクチャという考え方/DataPlatformWithMedallionArchitecture
smdmts
6
2.5k
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
smdmts
3
8k
Lakehouseプラットフォームを 採用するまでの話/Lakehouse Platform Adoption
smdmts
1
1k
Redashで何をみるのか/What Do You Wanna See Redash?
smdmts
1
1.6k
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
smdmts
0
1.7k
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
smdmts
5
2.3k
作らない分析基板のススメ/DWH For Startup With YAGNI
smdmts
1
770
エンジニアのためのドメイン駆動設計実践入門 / DDD for Engineer newbie
smdmts
18
3.8k
How to growth the delish kitchen team to data-driven team
smdmts
1
1.1k
Other Decks in Technology
See All in Technology
“2件同時配達”の開発舞台裏 〜出前館PMが挑んだダブルピック実現に向けた体験設計〜
demaecan
0
170
ユニットテストに対する考え方の変遷 / Everyone should watch his live coding
mdstoy
0
110
非同期処理実行基盤 Delayed脱出 → Solid Queue完全移行への旅路。
srockstyle
3
1.5k
BirdCLEF+2025 Noir 5位解法紹介
myso
0
170
[2025-09-30] Databricks Genie を利用した分析基盤とデータモデリングの IVRy の現在地
wxyzzz
0
430
いま注目しているデータエンジニアリングの論点
ikkimiyazaki
0
550
後進育成のしくじり〜任せるスキルとリーダーシップの両立〜
matsu0228
1
810
Windows で省エネ
murachiakira
0
150
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
11
77k
pprof vs runtime/trace (FlightRecorder)
task4233
0
140
北海道の人に知ってもらいたいGISスポット / gis-spot-in-hokkaido-2025
sakaik
0
200
SoccerNet GSRの紹介と技術応用:選手視点映像を提供するサッカー作戦盤ツール
mixi_engineers
PRO
1
130
Featured
See All Featured
BBQ
matthewcrist
89
9.8k
Git: the NoSQL Database
bkeepers
PRO
431
66k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
61k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
A Tale of Four Properties
chriscoyier
160
23k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
45
2.5k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.2k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
53k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6.1k
Being A Developer After 40
akosma
90
590k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
600
Transcript
4QBSLXJUI"JSGSBNF ౡాխ!TNENUT "JSGSBNF.FFUVQ
ࣗݾհ w ౡాխ!TNENUT w %8)ΞʔΩςΫτσʔλΞφϦετ w 4DBMBc1ZUIPOc+BWBc(PMBOHc%%% w
גࣜձࣾΤϒϦʔॴଐ w ։ൃ෦%"5""*νʔϜ.(3
4QBSLͰར༻͍ͯ͠Δɺ "JSGSBNFϞδϡʔϧͷΛ͠·͢ ΞδΣϯμ
ຊհ͢ΔϞδϡʔϧ BJSGSBNFNFUSJDT BJSGSBNFDPEFD BJSGSBNFDPOUSPM
BJSGSBNFNFUSJDT ࣌ܥྻσʔλ૬ର࣌ؒΛѻ͏࣮͕සग़͢Δ KBWBUJNFׂͱ໘ʢੲʹൺָʹͳͬͨͱ͍͑ʣ λΠϜκʔϯͷ࣮ϛεͳͲͰΤϯόά͢Δ͜ͱ͕͋Δ 4QBSL࣌ܥྻσʔλΛසൟʹѻ͏
BJSGSBNFNFUSJDT 3FMBUJWF5JNF8JOEPXT 4QBSL42-Ͱ5%@*/5&37"-ͷΑ͏ͳ͜ͱ͕࣮Ͱ͖Δ
BJSGSBNFDPEFD 4QBSLΫϥελؒͷ௨৴௨ৗετϦʔϛϯάͰߦ͏ ,JOFTJTͷ߹ɺ,$-Λར༻͢Δ͕4FS%F͕ඞཁ ௨ৗ4FS%Fʹ+40/Λར༻͢Δ͕ɺߴͩͱͳ͓ྑ͍ 4QBSLؒ௨৴Λߦ͍͍ͨ͜ͱ͕͋Δ
BJSGSBNFDPEFD 1VCMJTIFSʢૹ৴ଆʣ 8PSLFSͷλεΫຖʹ,$-ΛΠϯελϯεԽ BJSGSBNFDPEFDͰγϦΞϥΠζ
BJSGSBNFDPEFD $POTVNFSʢड৴ଆʣ BJSGSBNFDPEFDͰσγϦΞϥΠζ
BJSGSBNFDPEFD WBMDPEFD .FTTBHF$PEFDPG<4FR<1VTI3FRVFTU>> 1VCMJTIFSʢૹ৴ଆʣ DPEFDUP.TH1BDL SPXTUP4FR $POTVNFSʢड৴ଆʣ DPEFDVOQBDL.TH1BDL WHFU
BT*OTUBODF0G<"SSBZ<#ZUF>> DBTFDMBTTͷ4FS%FΛࣗಈԽͯ͘͠ΕΔ .FTTBHF1BDLͷͨΊ+40/ͷ4FS%FΑΓߴ
BJSGSBNFDPOUSPM 4QBSLΫϥελ֤ΫϥελͰࢄ࣮ߦ͢ΔͨΊɺ όοΫϓϨογϟͳͲͷྲྀྔ੍ޚ͕͍͠ ฐࣾͰ1VTIج൫ʹ(BVSVOΛ'BSHBUFͰར༻͍ͯ͠Δ (BVSVOҰఆͷྲྀྔΛ͑Δͱ #BE3FRVFTU͕ฦ٫͞ΕΔ 4QBSL͔Β3&45αʔϏεΛݺͼ͍ͨ͜ͱ͕͋Δ
BJSGSBNFDPOUSPM ٯઆతʹɺҎ֎ͷϨεϙϯε͕ൃੜͨ͠Β 'BSHBUF͕εέʔϧΞτ͞ΕΔ·Ͱͪ࠶։͢Εྑ͍ +JUUFSʢ࣌ؒͷ༳Β͗ʣ͖ͷϦτϥΠϠΛར༻͢Εྑ͍ +JUUFSʹΑΓॴఆ࣌ؒ૭ͷେྔΞΫηεΛආ͚Δ͜ͱ͕ग़དྷΔ
BJSGSBNFDPOUSPM 4QBSLΫϥελͷBJSGSBNFDPOUSPMʹΑΔ੍ޚͱ࿈ಈͯ͠ɺ (BVSVOPO'BSHBUF͕Φʔτεέʔϧͯ͠ॲཧ͍ͯ͠Δ༷ࢠ $16ར༻্͕͕Δ εέʔϧΞτ͕࢝·Δ
·ͱΊ w"JSGSBNFͷ֤छϞδϡʔϧɺ4QBSL͔Βศརʹར༻ग़དྷΔ BJSGSBNFNFUSJDʢ4QBSL42-ͷ࣌ܥྻॲཧʣ BJSGSBNFDPEFDʢΫϥελؒͷ4FS%Fॲཧʣ BJSGSBNFDPOUSPMʢ"84'BSHBUF੍ޚʣ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠