Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Sparkから利用するAirframe/Spark-With-Airframe
Search
Masatoshi Shimada
October 23, 2019
Technology
1.9k
0
Share
Sparkから利用するAirframe/Spark-With-Airframe
Masatoshi Shimada
October 23, 2019
More Decks by Masatoshi Shimada
See All by Masatoshi Shimada
データプラットフォーム技術におけるメダリオンアーキテクチャという考え方/DataPlatformWithMedallionArchitecture
smdmts
12
4k
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
smdmts
3
8.8k
Lakehouseプラットフォームを 採用するまでの話/Lakehouse Platform Adoption
smdmts
1
1k
Redashで何をみるのか/What Do You Wanna See Redash?
smdmts
1
1.8k
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
smdmts
1
1.8k
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
smdmts
6
2.4k
作らない分析基板のススメ/DWH For Startup With YAGNI
smdmts
1
820
エンジニアのためのドメイン駆動設計実践入門 / DDD for Engineer newbie
smdmts
18
4k
How to growth the delish kitchen team to data-driven team
smdmts
1
1.2k
Other Decks in Technology
See All in Technology
2026年春のAgentCoreアプデ 細かいやつ全部まとめ
minorun365
3
220
AI-Assisted Contributions and Maintainer Load - PyCon US 2026
pauloxnet
1
110
AI時代の品質はテストプロセスの作り直し #scrumniigata
kyonmm
PRO
4
1.5k
サンプリングは「作る」のか「使う」のか? 分散トレースのコストと運用を両立する実践的戦略 / Why you need the tail sampling and why you don't want it
ymotongpoo
4
170
「強制アップデート」か「チームの自律」か?エンタープライズが辿り着いたプラットフォームのハイブリッド運用/cloudnative-kaigi-hybrid-platform-operations
mhrtech
0
180
Vision Banana: Image Generators are Generalist Vision Learners
kzykmyzw
0
360
可視化から活用へ — Mesh化・Segmentation・アライメントの研究動向
gpuunite_official
0
170
「背中を見て育て」からの卒業 〜専門技術としてのテスト設計を軸に、品質保証のバトンを繋ぐ〜 #genda_tech_talk
nihonbuson
PRO
3
1.3k
AI飲み会幹事エージェントを作っただけなのに
ykimi
0
170
多角的な視点から見たAGI
terisuke
0
130
(きっとたぶん)人材育成や教育のような何かの話
sejima
0
720
The 7 pitfalls of AI
ufried
0
210
Featured
See All Featured
Redefining SEO in the New Era of Traffic Generation
szymonslowik
1
300
Fashionably flexible responsive web design (full day workshop)
malarkey
408
66k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
Lightning Talk: Beautiful Slides for Beginners
inesmontani
PRO
1
540
Thoughts on Productivity
jonyablonski
76
5.1k
Mobile First: as difficult as doing things right
swwweet
225
10k
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
konakalab
0
420
Leo the Paperboy
mayatellez
7
1.8k
Lessons Learnt from Crawling 1000+ Websites
charlesmeaden
PRO
1
1.2k
From Legacy to Launchpad: Building Startup-Ready Communities
dugsong
0
210
Navigating Weather and Climate Data
rabernat
0
190
Unlocking the hidden potential of vector embeddings in international SEO
frankvandijk
0
790
Transcript
4QBSLXJUI"JSGSBNF ౡాխ!TNENUT "JSGSBNF.FFUVQ
ࣗݾհ w ౡాխ!TNENUT w %8)ΞʔΩςΫτσʔλΞφϦετ w 4DBMBc1ZUIPOc+BWBc(PMBOHc%%% w
גࣜձࣾΤϒϦʔॴଐ w ։ൃ෦%"5""*νʔϜ.(3
4QBSLͰར༻͍ͯ͠Δɺ "JSGSBNFϞδϡʔϧͷΛ͠·͢ ΞδΣϯμ
ຊհ͢ΔϞδϡʔϧ BJSGSBNFNFUSJDT BJSGSBNFDPEFD BJSGSBNFDPOUSPM
BJSGSBNFNFUSJDT ࣌ܥྻσʔλ૬ର࣌ؒΛѻ͏࣮͕සग़͢Δ KBWBUJNFׂͱ໘ʢੲʹൺָʹͳͬͨͱ͍͑ʣ λΠϜκʔϯͷ࣮ϛεͳͲͰΤϯόά͢Δ͜ͱ͕͋Δ 4QBSL࣌ܥྻσʔλΛසൟʹѻ͏
BJSGSBNFNFUSJDT 3FMBUJWF5JNF8JOEPXT 4QBSL42-Ͱ5%@*/5&37"-ͷΑ͏ͳ͜ͱ͕࣮Ͱ͖Δ
BJSGSBNFDPEFD 4QBSLΫϥελؒͷ௨৴௨ৗετϦʔϛϯάͰߦ͏ ,JOFTJTͷ߹ɺ,$-Λར༻͢Δ͕4FS%F͕ඞཁ ௨ৗ4FS%Fʹ+40/Λར༻͢Δ͕ɺߴͩͱͳ͓ྑ͍ 4QBSLؒ௨৴Λߦ͍͍ͨ͜ͱ͕͋Δ
BJSGSBNFDPEFD 1VCMJTIFSʢૹ৴ଆʣ 8PSLFSͷλεΫຖʹ,$-ΛΠϯελϯεԽ BJSGSBNFDPEFDͰγϦΞϥΠζ
BJSGSBNFDPEFD $POTVNFSʢड৴ଆʣ BJSGSBNFDPEFDͰσγϦΞϥΠζ
BJSGSBNFDPEFD WBMDPEFD .FTTBHF$PEFDPG<4FR<1VTI3FRVFTU>> 1VCMJTIFSʢૹ৴ଆʣ DPEFDUP.TH1BDL SPXTUP4FR $POTVNFSʢड৴ଆʣ DPEFDVOQBDL.TH1BDL WHFU
BT*OTUBODF0G<"SSBZ<#ZUF>> DBTFDMBTTͷ4FS%FΛࣗಈԽͯ͘͠ΕΔ .FTTBHF1BDLͷͨΊ+40/ͷ4FS%FΑΓߴ
BJSGSBNFDPOUSPM 4QBSLΫϥελ֤ΫϥελͰࢄ࣮ߦ͢ΔͨΊɺ όοΫϓϨογϟͳͲͷྲྀྔ੍ޚ͕͍͠ ฐࣾͰ1VTIج൫ʹ(BVSVOΛ'BSHBUFͰར༻͍ͯ͠Δ (BVSVOҰఆͷྲྀྔΛ͑Δͱ #BE3FRVFTU͕ฦ٫͞ΕΔ 4QBSL͔Β3&45αʔϏεΛݺͼ͍ͨ͜ͱ͕͋Δ
BJSGSBNFDPOUSPM ٯઆతʹɺҎ֎ͷϨεϙϯε͕ൃੜͨ͠Β 'BSHBUF͕εέʔϧΞτ͞ΕΔ·Ͱͪ࠶։͢Εྑ͍ +JUUFSʢ࣌ؒͷ༳Β͗ʣ͖ͷϦτϥΠϠΛར༻͢Εྑ͍ +JUUFSʹΑΓॴఆ࣌ؒ૭ͷେྔΞΫηεΛආ͚Δ͜ͱ͕ग़དྷΔ
BJSGSBNFDPOUSPM 4QBSLΫϥελͷBJSGSBNFDPOUSPMʹΑΔ੍ޚͱ࿈ಈͯ͠ɺ (BVSVOPO'BSHBUF͕Φʔτεέʔϧͯ͠ॲཧ͍ͯ͠Δ༷ࢠ $16ར༻্͕͕Δ εέʔϧΞτ͕࢝·Δ
·ͱΊ w"JSGSBNFͷ֤छϞδϡʔϧɺ4QBSL͔Βศརʹར༻ग़དྷΔ BJSGSBNFNFUSJDʢ4QBSL42-ͷ࣌ܥྻॲཧʣ BJSGSBNFDPEFDʢΫϥελؒͷ4FS%Fॲཧʣ BJSGSBNFDPOUSPMʢ"84'BSHBUF੍ޚʣ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠