Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Datab...
Search
Masatoshi Shimada
November 09, 2018
Technology
5
2.3k
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
Scala関西Summit 2018
Masatoshi Shimada
November 09, 2018
Tweet
Share
More Decks by Masatoshi Shimada
See All by Masatoshi Shimada
データプラットフォーム技術におけるメダリオンアーキテクチャという考え方/DataPlatformWithMedallionArchitecture
smdmts
6
2.1k
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
smdmts
3
7.8k
Lakehouseプラットフォームを 採用するまでの話/Lakehouse Platform Adoption
smdmts
1
990
Sparkから利用するAirframe/Spark-With-Airframe
smdmts
0
1.7k
Redashで何をみるのか/What Do You Wanna See Redash?
smdmts
1
1.6k
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
smdmts
0
1.7k
作らない分析基板のススメ/DWH For Startup With YAGNI
smdmts
1
760
エンジニアのためのドメイン駆動設計実践入門 / DDD for Engineer newbie
smdmts
18
3.8k
How to growth the delish kitchen team to data-driven team
smdmts
1
1.1k
Other Decks in Technology
See All in Technology
.NET開発者のためのAzureの概要
tomokusaba
0
230
広島銀行におけるAWS活用の取り組みについて
masakimori
0
120
歴代のWeb Speed Hackathonの出題から考えるデグレしないパフォーマンス改善
shuta13
6
590
サービスロボット最前線:ugoが挑むPhysical AI活用
kmatsuiugo
0
190
Backboneとしてのtimm2025
yu4u
3
1.3k
AIエージェント就活入門 - MCPが履歴書になる未来
eltociear
0
270
生成AI利用プログラミング:誰でもプログラムが書けると 世の中どうなる?/opencampus202508
okana2ki
0
190
あなたの知らない OneDrive
murachiakira
0
230
第4回 関東Kaggler会 [Training LLMs with Limited VRAM]
tascj
11
1.6k
いま、あらためて考えてみるアカウント管理 with IaC / Account management with IaC
kohbis
2
670
Evolution on AI Agent and Beyond - AGI への道のりと、シンギュラリティの3つのシナリオ
masayamoriofficial
0
130
20250818_KGX・One Hokkaidoコラボイベント
tohgeyukihiro
0
130
Featured
See All Featured
Balancing Empowerment & Direction
lara
2
580
GitHub's CSS Performance
jonrohan
1031
460k
Scaling GitHub
holman
462
140k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
Done Done
chrislema
185
16k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
560
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
890
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
Transcript
%BUBCSJDLTͱ4QBSLͰ͡ΊΔ <σʔλੳػցֶश> ࣮ફೖ ౡాխ 4DBMBؔ4VNNJU
ࣗݾհ w ౡాխ!TNENUT w σʔλΣΞϋεΞʔΩςΫτ 4DBMBc1ZUIPOc(PMBOHc+BWBc%%% w גࣜձࣾΤϒϦʔॴଐ w
%&-*4),*5$)&/σʔλੳܥશൠ୲ ओʹੳج൫ɺ৴໘࠷దԽͳͲΛ୲
ΞϓϦϦϦʔε μϯϩʔυɿສ Ϩγϐɿສ݅Ҏ্ ݄ؒಈը࠶ੜɿԯສճҎ্ "QQ4UPSF#&450' (PPHMF1MBZϕετΦϒ ࠃΞϓϦμϯϩʔυୈ̏Ґ ʢ̍Ґ-*/&ɺ̎Ґ:BIPP+"1"/˞ඇήʔϜɹ"QQ"OOJFௐʣ ɾຖ৽ணϨγϐಈը͕৴͞ΕΔ ɹɾྉཧϨγϐಈըʢௐཧݙཱखॱʣ
ɹɾࠂओλΠΞοϓಈը <13>%&-*4),*5$)&/ͷհʢ͔ΜͨΜʹʣ
ΞδΣϯμʢ֓ཁʣ %&-*4),*5$)&/Ͱɺσʔλੳͷجװٕज़ͷҰͭͱͯ͠ 4QBSLͷϗεςΟϯάαʔϏεͰ͋Δ%BUBCSJDLTΛར༻͍ͯ͠·͢ ຊαϯϓϧίʔυΛަ͑ͯɺ%BUBCSJDLTͷ֓ཁͱ σʔλੳػցֶशͰར༻͍ͯ͠Δ4QBSLͷίʔυʹ͍ͭͯ ղઆ͖ͤͯ͞·͢
ΞδΣϯμ w %BUBCSJDLTͷ֓ཁɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ ίϯηϓτΠϯϑϥߏྫ/PUFCPPL࣮ߦσϞ w %BUBCSJDLTʢ4QBSLʣͷίʔυ࣮ྫɹɹɹɹɹɹɹɹɹɹɹ ؆୯ͳαϯϓϧίʔυػցֶशʢڠௐϑΟϧλϦϯάʣɹɹɹ ɿσʔλੳʢϚδοΫφϯόʔੳʣ
%BUBCSJDLTͷ֓ཁ ίϯηϓτΠϝʔδ Πϯϑϥߏྫ /PUFCPPL࣮ߦσϞ
%BUBCSJDLTͷίϯηϓτΠϝʔδ
%BUBCSJDLTͷίϯηϓτΠϝʔδ ɾ4QBSLΛ࣮ߦج൫ͱͨ͠σʔλੳϓϥοτϑΥʔϜ 6OJpFE"OBMZUJDT1MBUGPSNΛࢦ͍ͯͯ͠࡞ΒΕ͍ͯΔ ɾ "84"[VSF ͷϢʔβΞΧϯτʹ71$࡞ͳͲॴఆͷΠϯετʔϧͰಋೖ ར༻ऀͷ "84"[VSF ΞΧϯτͰΫϥελ͕ىಈ͞ΕΔ ɾଞͷػցֶशج൫ͱͷͭͳ͗ࠐΈ͕Մೳ
5FOTPS'MPX9(#PPTUTDJLJUMFBSO ɾσʔλΤϯδχΞαΠΤϯςΟετ ɹ/PUFCPPLͰεΫϦϓτΛॻ͍ͯ։ൃ͢Δ 4DBMB1ZUIPO34IFMM42-͕ར༻Մ &5-ॲཧ/PUFCPPLͰ࣮Մ
Πϯϑϥߏྫʢ%&-*4),*5$)&/ͷ߹ʣ %BUBCSJDLT71$ ΞϓϦέʔγϣϯ71$ εέʔϥϒϧ 71/PS*OUFSOFU 71$ϐΞϦϯάଓ 4 &MBTUJ $BDIF 3%4
3FETIJGU %BUBCSJDLT $MPVE ʢཧը໘ʣ ىಈઃఆ /PUFCPPL
%BUBCSJDLTʹΑΔܧଓతσϦόϦ ɾ%BUBCSJDLT$MPVEͷ/PUFCPPL্Ͱσʔλੳίʔυͷ։ൃΛߦ͏ ɾ$-*ʹΑΔσϓϩΠΫϥελ࡞͕ग़དྷͯ$*$%Ͱར༻Մೳ ɾैདྷͷTQBSLTVCNJUͰɺKBS͔ΒNBJOΫϥεΛىಈ͢Δํࣜར༻Մೳ 1VMM 1VTIBOE3VO 1VMM 1VTI %FQMPZ PS
.FSHF ຊ൪ڥ ։ൃڥ ʢ։ൃऀͷϫʔΫεϖʔεʣ ຊ൪ڥ
%BUBCSJDLTཧը໘ʢτοϓʣ ɾ։ൃऀʢσʔλΤϯδχΞσʔλαΠΤϯςΟετʣ ɹ%BUBCSJDLT$MPVEͷ63-Λ։͖ɺཧը໘ʹଓͯ͠։ൃΛ࢝ΊΔ
%BUBCSJDLTཧը໘ʢΫϥελઃఆʣ ɾ4QBSLΫϥελͷΠϯελϯελΠϓઃఆը໘ ɹΦʔτεέʔϧىಈΫϥελ $16(16 4QBSLόʔδϣϯ͕ࢦఆՄೳ εϙοτೖࡳ ΠϯελϯελΠϓ ׂ߹ Φʔτεέʔϧઃఆ Φʔτλʔϛωʔτઃఆ
%BUBCSJDLTཧը໘ʢ/PUFCPPLʣ ɾ։ൃऀຖʹׂΓͯΒΕͨ8PSLTQBDF্ͷɺ/PUFCPPLͰ։ൃΛ͢͢ΊΔ ɹ4DBMB1ZUIPO342-͕બՄೳʢͲΕΛબΜͰ૬ޓݺͼग़͠Ͱ͖Δʣ
ɾ/PUFCPPL্ʹෳͷίϚϯυΛ࣮͠ɺ4UFQCZ4UFQͰॲཧΛ࣮ߦ͢Δ ΠϯλϥΫςΟϒʢରతʣʹίϚϯυ͕ஞ࣮࣍ߦ͞ΕΔ ɾίϚϯυؒͷσʔλ࿈ܞɺ4DBMBͷΠϯελϯε4QBSL42-Ͱߦ͏ ɾ42-%4-ͳͲͰ్தஅ໘ͷσʔλΛ֬ೝ͠ͳ͕Β։ൃΛ͢͢ΊΔ /PUFCPPLʹΑΔ։ൃͷ͢͢Ίํ 5%4QBSL
/PUFCPPL࣮ߦσϞ
%BUBCSJDLTʢ4QBSLʣͷίʔυ࣮ྫ ؆୯ͳαϯϓϧίʔυ ػցֶश ڠௐϑΟϧλϦϯά ɿσʔλੳ ϚδοΫφϯόʔੳ
IUUQTHJUIVCDPNTNENUTECDTDBMB@LT@ αϯϓϧίʔυ044ͱͯ͠ެ։͍ͯ͠·͢ ͪ͜ΒΛ͝ࢀর͍ͩ͘͞
؆୯ͳαϯϓϧίʔυ
σʔλఆٛ 7*&8࡞ 42-࣮ߦ σʔλఆٛ 7*&8࡞
42-࣮ߦ 4DBMBίʔυ
݁Ռ֬ೝ 1ZUIPOίʔυ
ػցֶश ڠௐϑΟϧλϦϯά
ڠௐϑΟϧλϦϯάͱ ୭͔͕ݟͨϨγϐΛجʹɺରऀʹ͓͢͢Ί͢ΔϨγϐΛࢉग़͢Δݹయతػցֶश ࣅͨΑ͏ͳϨγϐΛݟͨϢʔβಉ࢜Ͱɺ͓ޓ͍ʹະࢹௌͷϨγϐΛަ͢Δ ʢυϝΠϯ͕ࣝແͯ͘ҎԼͷΑ͏ʹࢉग़Մೳʣ ͕ࢹௌࡁΈͷϨγϐ ʹఏҊ͢ΔະࢹௌͷϨγϐ
σʔλఆٛ ʢ௨ৗ%#4ͳͲʣ
7JFX࡞ *OEFYFS࡞ ܭࢉྔݮͷͨΊ*OUԽ͢Δఆٛ ػցֶश ܭࢉࣜఆٛ
ܭࢉ༻ ύΠϓϥΠϯ࡞ 7JFX࡞ σʔλՄࢹԽ
*OEFYFS݁Ռఆٛ *OUVTFS@JEͷඥ͚༻7*&8 *OEFYFS݁Ռఆٛ Ϩγϐ໊VTFS@JEͷ ඥ͚༻7*&8
VTFS@JE JOEFYࡁΈVTFS@JE Ϩγϐ໊ JOEFYࡁΈϨγϐ໊ *OEFYFS݁Ռ֬ೝ *OEFYFS݁Ռ֬ೝ
σʔλՄࢹԽ Ϟσϧܭࢉ Ϩίϝϯυࢉग़ 7JFX࡞
݁Ռऔಘ7*&8
݁Ռ֬ೝ
ڠௐϑΟϧλϦϯά݁Ռ ͕ࢹௌࡁΈͷϨγϐ ʹఏҊ͢ΔະࢹௌͷϨγϐ ΦϨϯδͷํ͕Ԡ͕ڧ͍
࣭ٙɾԠ
σʔλੳ ϚδοΫφϯόʔੳ
ϚδοΫφϯόʔੳͱ ྫ͑ɺ͜ͷαϜωΠϧ෦ΛΫϦοΫͨ͠ࣄͷ͋ΔϢʔβͷܧଓɺͲͷ͘Β͍ͩΖ͏͔ʁ ʮ͓ؾʹೖΓͨ͠ಈըࢹௌͨ͠ݕࡧͨ͠ʯɺผͷΞΫγϣϯͱൺܧଓߴ͍ͩΖ͏͔ʁ ܧଓ͕ߴ͍ͷͲΜͳϢʔβͩΖ͏͔ʁڥଐੑʁ ϚδοΫφϯόʔੳͱɺ༷ʑͳཁૉΛΈ߹Θͤͨ݅ ूஂ ͷத͔Β ܧଓͷߴ͍ϢʔβΞΫγϣϯͷΛൃݟ͍ͯ͘͠ੳख๏ͷ͜ͱɻ ྑ͍ΞΫγϣϯΛݟ͚ͭͨΒɺͦͷಋઢΛڧԽ͍͚ͯ͠ྑ͍ɻ ʮରΞΫγϣϯɾϢʔβଐੑɾܧଓʯΛΈ߹Θͤɺ֤ूஂͷܧଓΛಋ͖ൺֱ͢Δɻ
֤ूஂͷΞΫγϣϯຖͷܧଓΛࢉग़͢Δ ܧଓಉ࢜Λൺֱ͠ੳ͢Δ ॲཧϑϩʔ
֤ूஂͷΞΫγϣϯຖͷܧଓΛࢉग़͢Δ ʢॳʣ ʢ̎ʣ ʢʣ
ࢉग़ํ๏ ྫɿαϜωΠϧΛݟͨਓ
σʔλఆٛ ʢ௨ৗ%#4ͳͲʣ
7JFX࡞ σʔλՄࢹԽ
ܧଓܭࢉ
ܧଓܭࢉ ݁ՌՄࢹԽ
݁ՌՄࢹԽ
ʢॳʣ ʢ̎ʣ ʢʣ
ص্ܭࢉͷ݁ՌͱҰக ֤ूஂͷΞΫγϣϯຖͷܧଓࢉग़݁Ռ
ܧଓಉ࢜Λൺֱ͠ੳ͢Δ wαϜωΠϧΛݟͨूஂ ˋ w͓ؾʹೖΓΛͨ͠ूஂ ˋ ࢉग़ͨ݁͠Ռ্͕هͷΑ͏ʹͳͬͨ߹ ͓ؾʹೖΓͷಋઢΛڧԽ͢Εྑ͍ͱ͔Δ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠