Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
Search
Masatoshi Shimada
November 09, 2018
Technology
5
2.1k
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
Scala関西Summit 2018
Masatoshi Shimada
November 09, 2018
Tweet
Share
More Decks by Masatoshi Shimada
See All by Masatoshi Shimada
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
smdmts
3
4.8k
Lakehouseプラットフォームを 採用するまでの話/Lakehouse Platform Adoption
smdmts
1
720
Sparkから利用するAirframe/Spark-With-Airframe
smdmts
0
1.4k
Redashで何をみるのか/What Do You Wanna See Redash?
smdmts
1
1.4k
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
smdmts
0
1.5k
作らない分析基板のススメ/DWH For Startup With YAGNI
smdmts
1
670
エンジニアのためのドメイン駆動設計実践入門 / DDD for Engineer newbie
smdmts
18
3.4k
How to growth the delish kitchen team to data-driven team
smdmts
1
1k
etl-in-the-media-company
smdmts
7
5.5k
Other Decks in Technology
See All in Technology
AWSサービスメニュー開発をしていてAWSを好きだ!と感じた瞬間
toru_kubota
0
130
頼られるのが大好きな 皆さんへ - 支援相手との期待の合わせ方、突き放し方 -/For_people_who_like_to_be_relied_on
naitosatoshi
1
290
テスト・設計研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
170
[NIKKEI Tech Talk]Bias for Action!! 実践から学ぶための仕組とコミュニティ / Community for Practice and Learning
kanamasa
0
260
ここがすごいよ! AWS Systems Manager!
saichan11
0
1.8k
コンテナ・K8s研修 - 後半 Kubernetes 基礎&ハンズオン【MIXI 24新卒技術研修】
mixi_engineers
PRO
1
120
AOAI Dev Day - Opening Session
yoshidashingo
2
430
AWSでRAGを作る法方
sonoda_mj
1
140
How to Think Like a Performance Engineer
csswizardry
4
590
データベース研修 DB基礎【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
210
【基調講演】変える、今ここから ― IoTとAIで紡ぐ未来
soracom
PRO
0
310
LINE WORKSへ簡単通知!Incoming Webhookアプリの紹介
mmclsntr
0
110
Featured
See All Featured
The Art of Programming - Codeland 2020
erikaheidi
48
13k
A Modern Web Designer's Workflow
chriscoyier
689
190k
Code Review Best Practice
trishagee
58
16k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
52k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
325
21k
Building a Modern Day E-commerce SEO Strategy
aleyda
25
6.7k
Clear Off the Table
cherdarchuk
89
320k
Embracing the Ebb and Flow
colly
81
4.3k
BBQ
matthewcrist
82
9k
How to Think Like a Performance Engineer
csswizardry
4
590
Ruby is Unlike a Banana
tanoku
96
10k
Side Projects
sachag
451
42k
Transcript
%BUBCSJDLTͱ4QBSLͰ͡ΊΔ <σʔλੳػցֶश> ࣮ફೖ ౡాխ 4DBMBؔ4VNNJU
ࣗݾհ w ౡాխ!TNENUT w σʔλΣΞϋεΞʔΩςΫτ 4DBMBc1ZUIPOc(PMBOHc+BWBc%%% w גࣜձࣾΤϒϦʔॴଐ w
%&-*4),*5$)&/σʔλੳܥશൠ୲ ओʹੳج൫ɺ৴໘࠷దԽͳͲΛ୲
ΞϓϦϦϦʔε μϯϩʔυɿສ Ϩγϐɿສ݅Ҏ্ ݄ؒಈը࠶ੜɿԯສճҎ্ "QQ4UPSF#&450' (PPHMF1MBZϕετΦϒ ࠃΞϓϦμϯϩʔυୈ̏Ґ ʢ̍Ґ-*/&ɺ̎Ґ:BIPP+"1"/˞ඇήʔϜɹ"QQ"OOJFௐʣ ɾຖ৽ணϨγϐಈը͕৴͞ΕΔ ɹɾྉཧϨγϐಈըʢௐཧݙཱखॱʣ
ɹɾࠂओλΠΞοϓಈը <13>%&-*4),*5$)&/ͷհʢ͔ΜͨΜʹʣ
ΞδΣϯμʢ֓ཁʣ %&-*4),*5$)&/Ͱɺσʔλੳͷجװٕज़ͷҰͭͱͯ͠ 4QBSLͷϗεςΟϯάαʔϏεͰ͋Δ%BUBCSJDLTΛར༻͍ͯ͠·͢ ຊαϯϓϧίʔυΛަ͑ͯɺ%BUBCSJDLTͷ֓ཁͱ σʔλੳػցֶशͰར༻͍ͯ͠Δ4QBSLͷίʔυʹ͍ͭͯ ղઆ͖ͤͯ͞·͢
ΞδΣϯμ w %BUBCSJDLTͷ֓ཁɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ ίϯηϓτΠϯϑϥߏྫ/PUFCPPL࣮ߦσϞ w %BUBCSJDLTʢ4QBSLʣͷίʔυ࣮ྫɹɹɹɹɹɹɹɹɹɹɹ ؆୯ͳαϯϓϧίʔυػցֶशʢڠௐϑΟϧλϦϯάʣɹɹɹ ɿσʔλੳʢϚδοΫφϯόʔੳʣ
%BUBCSJDLTͷ֓ཁ ίϯηϓτΠϝʔδ Πϯϑϥߏྫ /PUFCPPL࣮ߦσϞ
%BUBCSJDLTͷίϯηϓτΠϝʔδ
%BUBCSJDLTͷίϯηϓτΠϝʔδ ɾ4QBSLΛ࣮ߦج൫ͱͨ͠σʔλੳϓϥοτϑΥʔϜ 6OJpFE"OBMZUJDT1MBUGPSNΛࢦ͍ͯͯ͠࡞ΒΕ͍ͯΔ ɾ "84"[VSF ͷϢʔβΞΧϯτʹ71$࡞ͳͲॴఆͷΠϯετʔϧͰಋೖ ར༻ऀͷ "84"[VSF ΞΧϯτͰΫϥελ͕ىಈ͞ΕΔ ɾଞͷػցֶशج൫ͱͷͭͳ͗ࠐΈ͕Մೳ
5FOTPS'MPX9(#PPTUTDJLJUMFBSO ɾσʔλΤϯδχΞαΠΤϯςΟετ ɹ/PUFCPPLͰεΫϦϓτΛॻ͍ͯ։ൃ͢Δ 4DBMB1ZUIPO34IFMM42-͕ར༻Մ &5-ॲཧ/PUFCPPLͰ࣮Մ
Πϯϑϥߏྫʢ%&-*4),*5$)&/ͷ߹ʣ %BUBCSJDLT71$ ΞϓϦέʔγϣϯ71$ εέʔϥϒϧ 71/PS*OUFSOFU 71$ϐΞϦϯάଓ 4 &MBTUJ $BDIF 3%4
3FETIJGU %BUBCSJDLT $MPVE ʢཧը໘ʣ ىಈઃఆ /PUFCPPL
%BUBCSJDLTʹΑΔܧଓతσϦόϦ ɾ%BUBCSJDLT$MPVEͷ/PUFCPPL্Ͱσʔλੳίʔυͷ։ൃΛߦ͏ ɾ$-*ʹΑΔσϓϩΠΫϥελ࡞͕ग़དྷͯ$*$%Ͱར༻Մೳ ɾैདྷͷTQBSLTVCNJUͰɺKBS͔ΒNBJOΫϥεΛىಈ͢Δํࣜར༻Մೳ 1VMM 1VTIBOE3VO 1VMM 1VTI %FQMPZ PS
.FSHF ຊ൪ڥ ։ൃڥ ʢ։ൃऀͷϫʔΫεϖʔεʣ ຊ൪ڥ
%BUBCSJDLTཧը໘ʢτοϓʣ ɾ։ൃऀʢσʔλΤϯδχΞσʔλαΠΤϯςΟετʣ ɹ%BUBCSJDLT$MPVEͷ63-Λ։͖ɺཧը໘ʹଓͯ͠։ൃΛ࢝ΊΔ
%BUBCSJDLTཧը໘ʢΫϥελઃఆʣ ɾ4QBSLΫϥελͷΠϯελϯελΠϓઃఆը໘ ɹΦʔτεέʔϧىಈΫϥελ $16(16 4QBSLόʔδϣϯ͕ࢦఆՄೳ εϙοτೖࡳ ΠϯελϯελΠϓ ׂ߹ Φʔτεέʔϧઃఆ Φʔτλʔϛωʔτઃఆ
%BUBCSJDLTཧը໘ʢ/PUFCPPLʣ ɾ։ൃऀຖʹׂΓͯΒΕͨ8PSLTQBDF্ͷɺ/PUFCPPLͰ։ൃΛ͢͢ΊΔ ɹ4DBMB1ZUIPO342-͕બՄೳʢͲΕΛબΜͰ૬ޓݺͼग़͠Ͱ͖Δʣ
ɾ/PUFCPPL্ʹෳͷίϚϯυΛ࣮͠ɺ4UFQCZ4UFQͰॲཧΛ࣮ߦ͢Δ ΠϯλϥΫςΟϒʢରతʣʹίϚϯυ͕ஞ࣮࣍ߦ͞ΕΔ ɾίϚϯυؒͷσʔλ࿈ܞɺ4DBMBͷΠϯελϯε4QBSL42-Ͱߦ͏ ɾ42-%4-ͳͲͰ్தஅ໘ͷσʔλΛ֬ೝ͠ͳ͕Β։ൃΛ͢͢ΊΔ /PUFCPPLʹΑΔ։ൃͷ͢͢Ίํ 5%4QBSL
/PUFCPPL࣮ߦσϞ
%BUBCSJDLTʢ4QBSLʣͷίʔυ࣮ྫ ؆୯ͳαϯϓϧίʔυ ػցֶश ڠௐϑΟϧλϦϯά ɿσʔλੳ ϚδοΫφϯόʔੳ
IUUQTHJUIVCDPNTNENUTECDTDBMB@LT@ αϯϓϧίʔυ044ͱͯ͠ެ։͍ͯ͠·͢ ͪ͜ΒΛ͝ࢀর͍ͩ͘͞
؆୯ͳαϯϓϧίʔυ
σʔλఆٛ 7*&8࡞ 42-࣮ߦ σʔλఆٛ 7*&8࡞
42-࣮ߦ 4DBMBίʔυ
݁Ռ֬ೝ 1ZUIPOίʔυ
ػցֶश ڠௐϑΟϧλϦϯά
ڠௐϑΟϧλϦϯάͱ ୭͔͕ݟͨϨγϐΛجʹɺରऀʹ͓͢͢Ί͢ΔϨγϐΛࢉग़͢Δݹయతػցֶश ࣅͨΑ͏ͳϨγϐΛݟͨϢʔβಉ࢜Ͱɺ͓ޓ͍ʹະࢹௌͷϨγϐΛަ͢Δ ʢυϝΠϯ͕ࣝແͯ͘ҎԼͷΑ͏ʹࢉग़Մೳʣ ͕ࢹௌࡁΈͷϨγϐ ʹఏҊ͢ΔະࢹௌͷϨγϐ
σʔλఆٛ ʢ௨ৗ%#4ͳͲʣ
7JFX࡞ *OEFYFS࡞ ܭࢉྔݮͷͨΊ*OUԽ͢Δఆٛ ػցֶश ܭࢉࣜఆٛ
ܭࢉ༻ ύΠϓϥΠϯ࡞ 7JFX࡞ σʔλՄࢹԽ
*OEFYFS݁Ռఆٛ *OUVTFS@JEͷඥ͚༻7*&8 *OEFYFS݁Ռఆٛ Ϩγϐ໊VTFS@JEͷ ඥ͚༻7*&8
VTFS@JE JOEFYࡁΈVTFS@JE Ϩγϐ໊ JOEFYࡁΈϨγϐ໊ *OEFYFS݁Ռ֬ೝ *OEFYFS݁Ռ֬ೝ
σʔλՄࢹԽ Ϟσϧܭࢉ Ϩίϝϯυࢉग़ 7JFX࡞
݁Ռऔಘ7*&8
݁Ռ֬ೝ
ڠௐϑΟϧλϦϯά݁Ռ ͕ࢹௌࡁΈͷϨγϐ ʹఏҊ͢ΔະࢹௌͷϨγϐ ΦϨϯδͷํ͕Ԡ͕ڧ͍
࣭ٙɾԠ
σʔλੳ ϚδοΫφϯόʔੳ
ϚδοΫφϯόʔੳͱ ྫ͑ɺ͜ͷαϜωΠϧ෦ΛΫϦοΫͨ͠ࣄͷ͋ΔϢʔβͷܧଓɺͲͷ͘Β͍ͩΖ͏͔ʁ ʮ͓ؾʹೖΓͨ͠ಈըࢹௌͨ͠ݕࡧͨ͠ʯɺผͷΞΫγϣϯͱൺܧଓߴ͍ͩΖ͏͔ʁ ܧଓ͕ߴ͍ͷͲΜͳϢʔβͩΖ͏͔ʁڥଐੑʁ ϚδοΫφϯόʔੳͱɺ༷ʑͳཁૉΛΈ߹Θͤͨ݅ ूஂ ͷத͔Β ܧଓͷߴ͍ϢʔβΞΫγϣϯͷΛൃݟ͍ͯ͘͠ੳख๏ͷ͜ͱɻ ྑ͍ΞΫγϣϯΛݟ͚ͭͨΒɺͦͷಋઢΛڧԽ͍͚ͯ͠ྑ͍ɻ ʮରΞΫγϣϯɾϢʔβଐੑɾܧଓʯΛΈ߹Θͤɺ֤ूஂͷܧଓΛಋ͖ൺֱ͢Δɻ
֤ूஂͷΞΫγϣϯຖͷܧଓΛࢉग़͢Δ ܧଓಉ࢜Λൺֱ͠ੳ͢Δ ॲཧϑϩʔ
֤ूஂͷΞΫγϣϯຖͷܧଓΛࢉग़͢Δ ʢॳʣ ʢ̎ʣ ʢʣ
ࢉग़ํ๏ ྫɿαϜωΠϧΛݟͨਓ
σʔλఆٛ ʢ௨ৗ%#4ͳͲʣ
7JFX࡞ σʔλՄࢹԽ
ܧଓܭࢉ
ܧଓܭࢉ ݁ՌՄࢹԽ
݁ՌՄࢹԽ
ʢॳʣ ʢ̎ʣ ʢʣ
ص্ܭࢉͷ݁ՌͱҰக ֤ूஂͷΞΫγϣϯຖͷܧଓࢉग़݁Ռ
ܧଓಉ࢜Λൺֱ͠ੳ͢Δ wαϜωΠϧΛݟͨूஂ ˋ w͓ؾʹೖΓΛͨ͠ूஂ ˋ ࢉग़ͨ݁͠Ռ্͕هͷΑ͏ʹͳͬͨ߹ ͓ؾʹೖΓͷಋઢΛڧԽ͢Εྑ͍ͱ͔Δ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠