Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Apache Spark による推薦システム案件例
Search
soonraah
March 21, 2015
Technology
11
8k
Apache Spark による推薦システム案件例
2015-03-21 #TokyoWebmining 44th の発表資料です。
soonraah
March 21, 2015
Tweet
Share
More Decks by soonraah
See All by soonraah
MLCT #5 Pipeline Jungles とたたかう話
soonraah
0
1.9k
Amazon EMR でのバッチ処理 Spark アプリケーション運用で気をつけたいこと
soonraah
1
630
Spark MLlib でやってみる協調フィルタリング
soonraah
8
7.6k
Other Decks in Technology
See All in Technology
コミュニティと計画的偶発性理論 - 出会いが人生を変える / Life-Changing Encounters
soudai
PRO
7
1.2k
意志の力が9割。アニメから学ぶAI時代のこれから。
endohizumi
1
110
R-SCoRe: Revisiting Scene Coordinate Regression for Robust Large-Scale Visual Localization
takmin
0
300
kintone開発チームの紹介
cybozuinsideout
PRO
0
73k
Telemetry APIから学ぶGoogle Cloud ObservabilityとOpenTelemetryの現在 / getting-started-telemetry-api-with-google-cloud
k6s4i53rx
0
170
AI時代の大規模データ活用とセキュリティ戦略
ken5scal
1
270
MCPサーバーを活用したAWSコスト管理
arie0703
0
140
[CV勉強会@関東 CVPR2025 読み会] MegaSaM: Accurate, Fast, and Robust Structure and Motion from Casual Dynamic Videos (Li+, CVPR2025)
abemii
0
170
Mackerel in さくらのクラウド
cubicdaiya
1
370
あとはAIに任せて人間は自由に生きる
kentaro
3
970
[OCI Technical Deep Dive] OracleのAI戦略(2025年8月5日開催)
oracle4engineer
PRO
1
250
会社にデータエンジニアがいることでできるようになること
10xinc
9
1.3k
Featured
See All Featured
Embracing the Ebb and Flow
colly
86
4.8k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Testing 201, or: Great Expectations
jmmastey
45
7.6k
Visualization
eitanlees
146
16k
YesSQL, Process and Tooling at Scale
rocio
173
14k
GitHub's CSS Performance
jonrohan
1031
460k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
Producing Creativity
orderedlist
PRO
347
40k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Transcript
"QBDIF4QBSLʹΑΔ ਪનγεςϜҊ݅ྫ 5PLZP8FCNJOJOH !TPPOSBBI
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 2
ਪનγεςϜ 3 Ҿ༻BNB[PODPKQ
Ҋ݅֓ཁ • &$αΠτ͚ͷਪનγεςϜʢडୗ։ൃʣ • ࣍ͷόονॲཧͰશରϢʔβ͚ͷਪન݁ՌΛఏڙ • छྨͷਪન݁ՌΛఏڙ • ඪαΠτച্૿Ճ 4
نײ • Γ͍ͨ͜ͱ • ձһϢʔβສ໊ͷݸਓݸਓʹ • ສͷͷத͔Β • ਪનϦετΛੜ •
ֶशσʔλ • Ӿཡϩάʙԯ݅ ˞ࣈʹएׯϑΣΠΫ͕͋Γ·͢ɻ 5
"QBDIF4QBSL • ߴɾ൚༻ͷΦϯϝϞϦࢄॲཧ • 6$#FSLFMFZͰ։ൃ͞Εɺڈ͔Β"QBDIFͷτοϓϨϕϧ 1+ʹ • )BEPPQ:"3/"QBDIF.FTPTͷ্Ͱ࣮ߦՄೳ • 4DBMB
+BWB 1ZUIPOͷ"1*Λఏڙ 6
4QBSLϥΠϒϥϦ 7 Ҿ༻IUUQTTQBSLBQBDIFPSH
.-MJC • ࣮͞Ε͍ͯΔΞϧΰϦζϜʢࣈͰԼઢWͰՃʣ • MJOFBS47.BOEMPHJTUJDSFHSFTTJPO • DMBTTJpDBUJPOBOESFHSFTTJPOUSFF • DMVTUFSJOH LNFBOT
(.. QPXFSJUFSBUJPODMVTUFSJOH FUD • SFDPNNFOEBUJPOWJBBMUFSOBUJOHMFBTUTRVBSFT ޙड़ • TJOHVMBSWBMVFEFDPNQPTJUJPO • MJOFBSSFHSFTTJPOXJUI-BOE-SFHVMBSJ[BUJPO • NVMUJOPNJBMOBJWF#BZFT • CBTJDTUBUJTUJDT • GFBUVSFUSBOTGPSNBUJPOT • -%"GPSUPQJDNPEFMJOH • '1HSPXUIGPSGSFRVFOUQBUUFSONJOJOH 8
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 9
ސ٬ &$αΠτ γεςϜ γεςϜߏ 10 &.3 ϩάऩू༻XFCαʔό δϣϒཧαʔό ϑΝΠϧ࿈ܞαʔό 4
ϩάੵ ਪન݁Ռ ਪન݁Ռ
ਪનγεςϜ ΞϓϦέʔγϣϯͷ࣮ߦ 4 Ӿཡϩά &$ δϣϒཧαʔό &.3 &MBTUJD.BQ3FEVDF ᶄ&.3δϣϒ։࢝
ᶃαʔόଆΞϓϦىಈ ᶆΫϥελىಈ Ϋϥελ ᶇ4QBSLڥ༻ҙ ᶈӾཡϩάऔಘ ᶉਪનԋࢉ ᶊԋࢉ݁Ռ 11
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 12
ͭͷਪનΞϧΰϦζϜ • ༰ϕʔεϑΟϧλϦϯά • ϢʔβͷଐੑͷಛΛ༻͍Δํ๏ • ڠௐϑΟϧλϦϯά • ͦΕΒಛΘͣɺϢʔβίϛϡχςΟͷ ᅂσʔλͷΈΛ༻͍Δํ๏
13
༰ϕʔεϑΟϧλϦϯάͷ ࣮ ສ݅ ಛສछྨ Ϣʔβ" ͲͷΞΠςϜ ͕࠷͍ۙʁ ✕ສਓ ಛྔ
14
༰ϕʔεϑΟϧλϦϯάͷ ࣮ ສ݅ ಛສछྨ Ϣʔβ" ͲͷΞΠςϜ ͕࠷͍ۙʁ ✕ສਓ ϚοϓܗࣜͷϕΫτϧදݱ
సஔ ΠϯσοΫε 4QBSLࢄॲཧ ಛྔ 15
ڠௐϑΟϧλϦϯάͷ࣮ • .-MJCͷPSHBQBDIFTQBSLSFDPNNFOEBUJPO"-4Λར༻ • ߦྻҼࢠղϞσϧʢ.BUSJY'BDUPSJ[BUJPO.PEFMʣΛ ަޓ࠷খೋ๏ʢ"-4"MUFSOBUJOH-FBTU4RVBSFʣͰֶश 16
ߦྻҼࢠղ • ϢʔβͷͷධՁΛϢʔβºͷߦྻͰද͢ • ͜ͷߦྻΛO G ݸͷಛΛ࣋ͭϢʔβಛྔߦྻͱಛྔ ߦྻͷੵͰද͢͜ͱΛతͱ͢Δ 17
ߦྻҼࢠղ 18
"-4 • ަޓ࠷খೋ๏ʢ"MUFSOBUJWF-FBTU4RVBSFʣ • ͭͷಛྔߦྻΛަޓʹֶश • 4QBSLͷಘҙͱ͢Δ܁Γฦ͠ॲཧ 19
"-4TUFQ Ϣʔβ ಛྔߦྻ ಛྔߦྻ ࠷ॳͷಛྔΛͦΕͧΕͷͷ ฏۉͷධՁͰॳظԽ ͦΕҎ֎ϥϯμϜͳ খ͍͞ͰॳظԽ 20
"-4TUFQ Ϣʔβ ಛྔߦྻ ಛྔߦྻ ֤Ϣʔβʹ͍ͭͯɺ ༧ଌͱ࣮ࡍͷධՁͷޡࠩΛ࠷খԽ ଆݻఆ 21
"-4TUFQ Ϣʔβ ಛྔߦྻ ಛྔߦྻ ֤ʹ͍ͭͯɺ ༧ଌͱ࣮ࡍͷධՁͷޡࠩΛ࠷খԽ Ϣʔβଆݻఆ ҎԼɺऩଋ͢Δ·ͰTUFQ Λ܁Γฦ͠
22
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 23
ຊҊ݅ʹ͓͚Δ Ϋϥελʹؔ͢Δࣈ • $16ίΞ • ϝϞϦ૯ܭ(# • &$Πϯελϯε • .BTUFSSYMBSHF
• 4MBWFDYMBSHF • ࣍ॲཧʙI 24
νϡʔχϯά • ΦϑϥΠϯධՁ • ."1ʢ.FBO"WFSBHF1SFDJTJPOʣʹΑΓ ϋΠύʔύϥϝʔλͷόϦΤʔγϣϯΛΦϑϥΠϯධՁ • ਪન݁ՌͱϢʔβͷߪങϩάΛॱҐΛߟྀͯ͠ൺֱ • ͜Ε4QBSLͰ࡞ͬͨ
• ΦϯϥΠϯධՁ • ϢʔβผʹϥϯμϜͰ • ཁ"#ςετ 25
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 26
4QBSL.-MJCΛҊ݅Ͱ ։ൃɾӡ༻ͯ͠Έͯᶃ • ͭΒ͍ • ޮͱඅ༻ͱϦιʔεͷύζϧ • ϋϚΓͲ͜Ζ͕͋Δ • &$Πϯελϯεधཁͷߴ·ΓͷઞΓΛड͚Δ
• ςετͷͭΒΈ 27
4QBSL.-MJCΛҊ݅Ͱ ։ൃɾӡ༻ͯ͠Έͯᶄ • Ͱ໘ന͍ • ίʔσΟϯάָ͕͍͠ʂ • γʔϜϨεʹࢄॲཧ͕ॻ͚Δ • )BEPPQΑΓগͳ͍ίʔυྔ
• ͍ • .-MJCͷਐԽʹظ 28
4QBSLΞϓϦέʔγϣϯ ։ൃͷצॴ • Ϧιʔε༗ݶ • ιʔεͷதͰಛʹԋࢉྔΛཁ͢Δ෦ϩʔΧϧͷ࣮ݧͰ ेʹ࠷దԽ͓ͯ͘͠ • ಉ͡ܭࢉ݁ՌΛಘΔͷʹΑΓޮతͳํ๏ͳ͍ͷ͔ʁ •
ίϨΫγϣϯΫϥεͷબ • ԋࢉ࣌ؒϝϞϦྔΛݟੵΔ • ܧଓతΠϯςάϨʔγϣϯΛڧ͘ҙࣝ͢Δ 29
·ͱΊ • "QBDIF4QBSL .-MJCͰ༰ϕʔεϑΟϧλϦϯά ͓ΑͼڠௐϑΟϧλϦϯάʹΑΔਪનγεςϜΛ ͭͬͨ͘ • &$αΠτͷ,1*ΛվળͰ͖ͨ • 4QBSLϓϩάϥϛϯάɺָ͍͔͠ΒͬͯΈͯΑʂ
30