Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Sparkから利用するAirframe/Spark-With-Airframe
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
Masatoshi Shimada
October 23, 2019
Technology
1.9k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Sparkから利用するAirframe/Spark-With-Airframe
Masatoshi Shimada
October 23, 2019
More Decks by Masatoshi Shimada
See All by Masatoshi Shimada
データプラットフォーム技術におけるメダリオンアーキテクチャという考え方/DataPlatformWithMedallionArchitecture
smdmts
12
4.2k
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
smdmts
3
9.1k
Lakehouseプラットフォームを 採用するまでの話/Lakehouse Platform Adoption
smdmts
1
1.1k
Redashで何をみるのか/What Do You Wanna See Redash?
smdmts
1
1.9k
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
smdmts
1
1.8k
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
smdmts
6
2.5k
作らない分析基板のススメ/DWH For Startup With YAGNI
smdmts
1
830
エンジニアのためのドメイン駆動設計実践入門 / DDD for Engineer newbie
smdmts
18
4k
How to growth the delish kitchen team to data-driven team
smdmts
1
1.2k
Other Decks in Technology
See All in Technology
ガバメント AI 源内を地方自治体は活用できるのか可能性と課題、期待について
takeda_h
2
460
AI開発に用いられるHPC技術について
gpuunite_official
0
180
コネクションをピン留めさせずに SELECTクエリのタイムアウトを設定した話
codmoninc
0
180
SmartHR Engineering Team Deck
smarthr
1
3.1k
社内の7割が使うデータ基盤を、 データチーム2人で回すためにやったこと
koh_yoshi
4
1.5k
NANDでも描画したい!
nichica906
0
220
What's new in Go 1.27?
ciarana
0
280
まちスペース®とデジタルツインと「まちづくり」
hiro_ogi
0
130
【GCC2026】鉄拳8でのVFX開発事例
bandainamcostudios
PRO
0
120
生成 AI の基礎 〜 サンプル実装で学ぶ基本原理
enakai00
7
4.5k
同じWAFが、攻撃の“形”は弾く── 正当な“形”の不正は通す
kuroneko13
0
250
AI画像認識を活用したゲーム内決済処理検証の自動化
gree_tech
PRO
0
100
Featured
See All Featured
The Director’s Chair: Orchestrating AI for Truly Effective Learning
tmiket
1
270
Mozcon NYC 2025: Stop Losing SEO Traffic
samtorres
1
490
Code Reviewing Like a Champion
maltzj
528
40k
Agile Leadership in an Agile Organization
kimpetersen
PRO
0
210
Context Engineering - Making Every Token Count
addyosmani
9
1.1k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Breaking role norms: Why Content Design is so much more than writing copy - Taylor Woolridge
uxyall
0
370
The Mindset for Success: Future Career Progression
greggifford
PRO
0
460
Un-Boring Meetings
codingconduct
0
390
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
254
22k
Java REST API Framework Comparison - PWX 2021
mraible
34
9.7k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
970
Transcript
4QBSLXJUI"JSGSBNF ౡాխ!TNENUT "JSGSBNF.FFUVQ
ࣗݾհ w ౡాխ!TNENUT w %8)ΞʔΩςΫτσʔλΞφϦετ w 4DBMBc1ZUIPOc+BWBc(PMBOHc%%% w
גࣜձࣾΤϒϦʔॴଐ w ։ൃ෦%"5""*νʔϜ.(3
4QBSLͰར༻͍ͯ͠Δɺ "JSGSBNFϞδϡʔϧͷΛ͠·͢ ΞδΣϯμ
ຊհ͢ΔϞδϡʔϧ BJSGSBNFNFUSJDT BJSGSBNFDPEFD BJSGSBNFDPOUSPM
BJSGSBNFNFUSJDT ࣌ܥྻσʔλ૬ର࣌ؒΛѻ͏࣮͕සग़͢Δ KBWBUJNFׂͱ໘ʢੲʹൺָʹͳͬͨͱ͍͑ʣ λΠϜκʔϯͷ࣮ϛεͳͲͰΤϯόά͢Δ͜ͱ͕͋Δ 4QBSL࣌ܥྻσʔλΛසൟʹѻ͏
BJSGSBNFNFUSJDT 3FMBUJWF5JNF8JOEPXT 4QBSL42-Ͱ5%@*/5&37"-ͷΑ͏ͳ͜ͱ͕࣮Ͱ͖Δ
BJSGSBNFDPEFD 4QBSLΫϥελؒͷ௨৴௨ৗετϦʔϛϯάͰߦ͏ ,JOFTJTͷ߹ɺ,$-Λར༻͢Δ͕4FS%F͕ඞཁ ௨ৗ4FS%Fʹ+40/Λར༻͢Δ͕ɺߴͩͱͳ͓ྑ͍ 4QBSLؒ௨৴Λߦ͍͍ͨ͜ͱ͕͋Δ
BJSGSBNFDPEFD 1VCMJTIFSʢૹ৴ଆʣ 8PSLFSͷλεΫຖʹ,$-ΛΠϯελϯεԽ BJSGSBNFDPEFDͰγϦΞϥΠζ
BJSGSBNFDPEFD $POTVNFSʢड৴ଆʣ BJSGSBNFDPEFDͰσγϦΞϥΠζ
BJSGSBNFDPEFD WBMDPEFD .FTTBHF$PEFDPG<4FR<1VTI3FRVFTU>> 1VCMJTIFSʢૹ৴ଆʣ DPEFDUP.TH1BDL SPXTUP4FR $POTVNFSʢड৴ଆʣ DPEFDVOQBDL.TH1BDL WHFU
BT*OTUBODF0G<"SSBZ<#ZUF>> DBTFDMBTTͷ4FS%FΛࣗಈԽͯ͘͠ΕΔ .FTTBHF1BDLͷͨΊ+40/ͷ4FS%FΑΓߴ
BJSGSBNFDPOUSPM 4QBSLΫϥελ֤ΫϥελͰࢄ࣮ߦ͢ΔͨΊɺ όοΫϓϨογϟͳͲͷྲྀྔ੍ޚ͕͍͠ ฐࣾͰ1VTIج൫ʹ(BVSVOΛ'BSHBUFͰར༻͍ͯ͠Δ (BVSVOҰఆͷྲྀྔΛ͑Δͱ #BE3FRVFTU͕ฦ٫͞ΕΔ 4QBSL͔Β3&45αʔϏεΛݺͼ͍ͨ͜ͱ͕͋Δ
BJSGSBNFDPOUSPM ٯઆతʹɺҎ֎ͷϨεϙϯε͕ൃੜͨ͠Β 'BSHBUF͕εέʔϧΞτ͞ΕΔ·Ͱͪ࠶։͢Εྑ͍ +JUUFSʢ࣌ؒͷ༳Β͗ʣ͖ͷϦτϥΠϠΛར༻͢Εྑ͍ +JUUFSʹΑΓॴఆ࣌ؒ૭ͷେྔΞΫηεΛආ͚Δ͜ͱ͕ग़དྷΔ
BJSGSBNFDPOUSPM 4QBSLΫϥελͷBJSGSBNFDPOUSPMʹΑΔ੍ޚͱ࿈ಈͯ͠ɺ (BVSVOPO'BSHBUF͕Φʔτεέʔϧͯ͠ॲཧ͍ͯ͠Δ༷ࢠ $16ར༻্͕͕Δ εέʔϧΞτ͕࢝·Δ
·ͱΊ w"JSGSBNFͷ֤छϞδϡʔϧɺ4QBSL͔Βศརʹར༻ग़དྷΔ BJSGSBNFNFUSJDʢ4QBSL42-ͷ࣌ܥྻॲཧʣ BJSGSBNFDPEFDʢΫϥελؒͷ4FS%Fॲཧʣ BJSGSBNFDPOUSPMʢ"84'BSHBUF੍ޚʣ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠