Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Sparkから利用するAirframe/Spark-With-Airframe
Search
Masatoshi Shimada
October 23, 2019
Technology
0
1.6k
Sparkから利用するAirframe/Spark-With-Airframe
Masatoshi Shimada
October 23, 2019
Tweet
Share
More Decks by Masatoshi Shimada
See All by Masatoshi Shimada
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
smdmts
3
6.5k
Lakehouseプラットフォームを 採用するまでの話/Lakehouse Platform Adoption
smdmts
1
890
Redashで何をみるのか/What Do You Wanna See Redash?
smdmts
1
1.5k
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
smdmts
0
1.6k
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
smdmts
5
2.2k
作らない分析基板のススメ/DWH For Startup With YAGNI
smdmts
1
730
エンジニアのためのドメイン駆動設計実践入門 / DDD for Engineer newbie
smdmts
18
3.6k
How to growth the delish kitchen team to data-driven team
smdmts
1
1.1k
etl-in-the-media-company
smdmts
7
5.6k
Other Decks in Technology
See All in Technology
AIエージェント時代のエンジニアになろう #jawsug #jawsdays2025 / 20250301 Agentic AI Engineering
yoshidashingo
8
3.9k
OSS構成管理ツールCMDBuildを使ったAWSリソース管理の自動化
satorufunai
0
660
Autonomous Database Serverless 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
17
45k
JAWS FESTA 2024「バスロケ」GPS×サーバーレスの開発と運用の舞台裏/jawsfesta2024-bus-gps-serverless
ma2shita
3
270
AI Agent時代なのでAWSのLLMs.txtが欲しい!
watany
3
290
OCI Success Journey OCIの何が評価されてる?疑問に答える事例セミナー(2025年2月実施)
oracle4engineer
PRO
2
170
わたしがEMとして入社した「最初の100日」の過ごし方 / EMConfJp2025
daiksy
14
5.3k
Amazon Q Developerの無料利用枠を使い倒してHello worldを表示させよう!
nrinetcom
PRO
2
120
Snowflakeの開発・運用コストをApache Icebergで効率化しよう!~機能と活用例のご紹介~
sagara
1
490
偏光画像処理ライブラリを作った話
elerac
1
180
開発者のための FinOps/FinOps for Engineers
oracle4engineer
PRO
1
140
Visualize, Visualize, Visualize and rclone
tomoaki0705
9
83k
Featured
See All Featured
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Visualization
eitanlees
146
15k
Become a Pro
speakerdeck
PRO
26
5.2k
Unsuck your backbone
ammeep
669
57k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Rails Girls Zürich Keynote
gr2m
94
13k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
Designing for humans not robots
tammielis
250
25k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
175
52k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
Transcript
4QBSLXJUI"JSGSBNF ౡాխ!TNENUT "JSGSBNF.FFUVQ
ࣗݾհ w ౡాխ!TNENUT w %8)ΞʔΩςΫτσʔλΞφϦετ w 4DBMBc1ZUIPOc+BWBc(PMBOHc%%% w
גࣜձࣾΤϒϦʔॴଐ w ։ൃ෦%"5""*νʔϜ.(3
4QBSLͰར༻͍ͯ͠Δɺ "JSGSBNFϞδϡʔϧͷΛ͠·͢ ΞδΣϯμ
ຊհ͢ΔϞδϡʔϧ BJSGSBNFNFUSJDT BJSGSBNFDPEFD BJSGSBNFDPOUSPM
BJSGSBNFNFUSJDT ࣌ܥྻσʔλ૬ର࣌ؒΛѻ͏࣮͕සग़͢Δ KBWBUJNFׂͱ໘ʢੲʹൺָʹͳͬͨͱ͍͑ʣ λΠϜκʔϯͷ࣮ϛεͳͲͰΤϯόά͢Δ͜ͱ͕͋Δ 4QBSL࣌ܥྻσʔλΛසൟʹѻ͏
BJSGSBNFNFUSJDT 3FMBUJWF5JNF8JOEPXT 4QBSL42-Ͱ5%@*/5&37"-ͷΑ͏ͳ͜ͱ͕࣮Ͱ͖Δ
BJSGSBNFDPEFD 4QBSLΫϥελؒͷ௨৴௨ৗετϦʔϛϯάͰߦ͏ ,JOFTJTͷ߹ɺ,$-Λར༻͢Δ͕4FS%F͕ඞཁ ௨ৗ4FS%Fʹ+40/Λར༻͢Δ͕ɺߴͩͱͳ͓ྑ͍ 4QBSLؒ௨৴Λߦ͍͍ͨ͜ͱ͕͋Δ
BJSGSBNFDPEFD 1VCMJTIFSʢૹ৴ଆʣ 8PSLFSͷλεΫຖʹ,$-ΛΠϯελϯεԽ BJSGSBNFDPEFDͰγϦΞϥΠζ
BJSGSBNFDPEFD $POTVNFSʢड৴ଆʣ BJSGSBNFDPEFDͰσγϦΞϥΠζ
BJSGSBNFDPEFD WBMDPEFD .FTTBHF$PEFDPG<4FR<1VTI3FRVFTU>> 1VCMJTIFSʢૹ৴ଆʣ DPEFDUP.TH1BDL SPXTUP4FR $POTVNFSʢड৴ଆʣ DPEFDVOQBDL.TH1BDL WHFU
BT*OTUBODF0G<"SSBZ<#ZUF>> DBTFDMBTTͷ4FS%FΛࣗಈԽͯ͘͠ΕΔ .FTTBHF1BDLͷͨΊ+40/ͷ4FS%FΑΓߴ
BJSGSBNFDPOUSPM 4QBSLΫϥελ֤ΫϥελͰࢄ࣮ߦ͢ΔͨΊɺ όοΫϓϨογϟͳͲͷྲྀྔ੍ޚ͕͍͠ ฐࣾͰ1VTIج൫ʹ(BVSVOΛ'BSHBUFͰར༻͍ͯ͠Δ (BVSVOҰఆͷྲྀྔΛ͑Δͱ #BE3FRVFTU͕ฦ٫͞ΕΔ 4QBSL͔Β3&45αʔϏεΛݺͼ͍ͨ͜ͱ͕͋Δ
BJSGSBNFDPOUSPM ٯઆతʹɺҎ֎ͷϨεϙϯε͕ൃੜͨ͠Β 'BSHBUF͕εέʔϧΞτ͞ΕΔ·Ͱͪ࠶։͢Εྑ͍ +JUUFSʢ࣌ؒͷ༳Β͗ʣ͖ͷϦτϥΠϠΛར༻͢Εྑ͍ +JUUFSʹΑΓॴఆ࣌ؒ૭ͷେྔΞΫηεΛආ͚Δ͜ͱ͕ग़དྷΔ
BJSGSBNFDPOUSPM 4QBSLΫϥελͷBJSGSBNFDPOUSPMʹΑΔ੍ޚͱ࿈ಈͯ͠ɺ (BVSVOPO'BSHBUF͕Φʔτεέʔϧͯ͠ॲཧ͍ͯ͠Δ༷ࢠ $16ར༻্͕͕Δ εέʔϧΞτ͕࢝·Δ
·ͱΊ w"JSGSBNFͷ֤छϞδϡʔϧɺ4QBSL͔Βศརʹར༻ग़དྷΔ BJSGSBNFNFUSJDʢ4QBSL42-ͷ࣌ܥྻॲཧʣ BJSGSBNFDPEFDʢΫϥελؒͷ4FS%Fॲཧʣ BJSGSBNFDPOUSPMʢ"84'BSHBUF੍ޚʣ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠