Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Apache Spark による推薦システム案件例
Search
soonraah
March 21, 2015
Technology
11
8k
Apache Spark による推薦システム案件例
2015-03-21 #TokyoWebmining 44th の発表資料です。
soonraah
March 21, 2015
Tweet
Share
More Decks by soonraah
See All by soonraah
MLCT #5 Pipeline Jungles とたたかう話
soonraah
0
1.9k
Amazon EMR でのバッチ処理 Spark アプリケーション運用で気をつけたいこと
soonraah
1
630
Spark MLlib でやってみる協調フィルタリング
soonraah
8
7.6k
Other Decks in Technology
See All in Technology
AI Agentと MCP Serverで実現する iOSアプリの 自動テスト作成の効率化
spiderplus_cb
0
400
o11yで育てる、強い内製開発組織
_awache
3
100
DataOpsNight#8_Terragruntを用いたスケーラブルなSnowflakeインフラ管理
roki18d
1
320
Sidekiq その前に:Webアプリケーションにおける非同期ジョブ設計原則
morihirok
17
7.1k
BirdCLEF+2025 Noir 5位解法紹介
myso
0
180
PLaMoの事後学習を支える技術 / PFN LLMセミナー
pfn
PRO
9
3.7k
「技術負債にならない・間違えない」 権限管理の設計と実装
naro143
35
10k
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
9k
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
20k
Windows で省エネ
murachiakira
0
150
定期的な価値提供だけじゃない、スクラムが導くチームの共創化 / 20251004 Naoki Takahashi
shift_evolve
PRO
3
220
【新卒研修資料】LLM・生成AI研修 / Large Language Model・Generative AI
brainpadpr
23
16k
Featured
See All Featured
Practical Orchestrator
shlominoach
190
11k
The Cost Of JavaScript in 2023
addyosmani
53
9k
BBQ
matthewcrist
89
9.8k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.9k
Making the Leap to Tech Lead
cromwellryan
135
9.5k
We Have a Design System, Now What?
morganepeng
53
7.8k
The Power of CSS Pseudo Elements
geoffreycrofte
79
6k
Visualization
eitanlees
148
16k
Music & Morning Musume
bryan
46
6.8k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
Transcript
"QBDIF4QBSLʹΑΔ ਪનγεςϜҊ݅ྫ 5PLZP8FCNJOJOH !TPPOSBBI
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 2
ਪનγεςϜ 3 Ҿ༻BNB[PODPKQ
Ҋ݅֓ཁ • &$αΠτ͚ͷਪનγεςϜʢडୗ։ൃʣ • ࣍ͷόονॲཧͰશରϢʔβ͚ͷਪન݁ՌΛఏڙ • छྨͷਪન݁ՌΛఏڙ • ඪαΠτച্૿Ճ 4
نײ • Γ͍ͨ͜ͱ • ձһϢʔβສ໊ͷݸਓݸਓʹ • ສͷͷத͔Β • ਪનϦετΛੜ •
ֶशσʔλ • Ӿཡϩάʙԯ݅ ˞ࣈʹएׯϑΣΠΫ͕͋Γ·͢ɻ 5
"QBDIF4QBSL • ߴɾ൚༻ͷΦϯϝϞϦࢄॲཧ • 6$#FSLFMFZͰ։ൃ͞Εɺڈ͔Β"QBDIFͷτοϓϨϕϧ 1+ʹ • )BEPPQ:"3/"QBDIF.FTPTͷ্Ͱ࣮ߦՄೳ • 4DBMB
+BWB 1ZUIPOͷ"1*Λఏڙ 6
4QBSLϥΠϒϥϦ 7 Ҿ༻IUUQTTQBSLBQBDIFPSH
.-MJC • ࣮͞Ε͍ͯΔΞϧΰϦζϜʢࣈͰԼઢWͰՃʣ • MJOFBS47.BOEMPHJTUJDSFHSFTTJPO • DMBTTJpDBUJPOBOESFHSFTTJPOUSFF • DMVTUFSJOH LNFBOT
(.. QPXFSJUFSBUJPODMVTUFSJOH FUD • SFDPNNFOEBUJPOWJBBMUFSOBUJOHMFBTUTRVBSFT ޙड़ • TJOHVMBSWBMVFEFDPNQPTJUJPO • MJOFBSSFHSFTTJPOXJUI-BOE-SFHVMBSJ[BUJPO • NVMUJOPNJBMOBJWF#BZFT • CBTJDTUBUJTUJDT • GFBUVSFUSBOTGPSNBUJPOT • -%"GPSUPQJDNPEFMJOH • '1HSPXUIGPSGSFRVFOUQBUUFSONJOJOH 8
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 9
ސ٬ &$αΠτ γεςϜ γεςϜߏ 10 &.3 ϩάऩू༻XFCαʔό δϣϒཧαʔό ϑΝΠϧ࿈ܞαʔό 4
ϩάੵ ਪન݁Ռ ਪન݁Ռ
ਪનγεςϜ ΞϓϦέʔγϣϯͷ࣮ߦ 4 Ӿཡϩά &$ δϣϒཧαʔό &.3 &MBTUJD.BQ3FEVDF ᶄ&.3δϣϒ։࢝
ᶃαʔόଆΞϓϦىಈ ᶆΫϥελىಈ Ϋϥελ ᶇ4QBSLڥ༻ҙ ᶈӾཡϩάऔಘ ᶉਪનԋࢉ ᶊԋࢉ݁Ռ 11
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 12
ͭͷਪનΞϧΰϦζϜ • ༰ϕʔεϑΟϧλϦϯά • ϢʔβͷଐੑͷಛΛ༻͍Δํ๏ • ڠௐϑΟϧλϦϯά • ͦΕΒಛΘͣɺϢʔβίϛϡχςΟͷ ᅂσʔλͷΈΛ༻͍Δํ๏
13
༰ϕʔεϑΟϧλϦϯάͷ ࣮ ສ݅ ಛສछྨ Ϣʔβ" ͲͷΞΠςϜ ͕࠷͍ۙʁ ✕ສਓ ಛྔ
14
༰ϕʔεϑΟϧλϦϯάͷ ࣮ ສ݅ ಛສछྨ Ϣʔβ" ͲͷΞΠςϜ ͕࠷͍ۙʁ ✕ສਓ ϚοϓܗࣜͷϕΫτϧදݱ
సஔ ΠϯσοΫε 4QBSLࢄॲཧ ಛྔ 15
ڠௐϑΟϧλϦϯάͷ࣮ • .-MJCͷPSHBQBDIFTQBSLSFDPNNFOEBUJPO"-4Λར༻ • ߦྻҼࢠղϞσϧʢ.BUSJY'BDUPSJ[BUJPO.PEFMʣΛ ަޓ࠷খೋ๏ʢ"-4"MUFSOBUJOH-FBTU4RVBSFʣͰֶश 16
ߦྻҼࢠղ • ϢʔβͷͷධՁΛϢʔβºͷߦྻͰද͢ • ͜ͷߦྻΛO G ݸͷಛΛ࣋ͭϢʔβಛྔߦྻͱಛྔ ߦྻͷੵͰද͢͜ͱΛతͱ͢Δ 17
ߦྻҼࢠղ 18
"-4 • ަޓ࠷খೋ๏ʢ"MUFSOBUJWF-FBTU4RVBSFʣ • ͭͷಛྔߦྻΛަޓʹֶश • 4QBSLͷಘҙͱ͢Δ܁Γฦ͠ॲཧ 19
"-4TUFQ Ϣʔβ ಛྔߦྻ ಛྔߦྻ ࠷ॳͷಛྔΛͦΕͧΕͷͷ ฏۉͷධՁͰॳظԽ ͦΕҎ֎ϥϯμϜͳ খ͍͞ͰॳظԽ 20
"-4TUFQ Ϣʔβ ಛྔߦྻ ಛྔߦྻ ֤Ϣʔβʹ͍ͭͯɺ ༧ଌͱ࣮ࡍͷධՁͷޡࠩΛ࠷খԽ ଆݻఆ 21
"-4TUFQ Ϣʔβ ಛྔߦྻ ಛྔߦྻ ֤ʹ͍ͭͯɺ ༧ଌͱ࣮ࡍͷධՁͷޡࠩΛ࠷খԽ Ϣʔβଆݻఆ ҎԼɺऩଋ͢Δ·ͰTUFQ Λ܁Γฦ͠
22
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 23
ຊҊ݅ʹ͓͚Δ Ϋϥελʹؔ͢Δࣈ • $16ίΞ • ϝϞϦ૯ܭ(# • &$Πϯελϯε • .BTUFSSYMBSHF
• 4MBWFDYMBSHF • ࣍ॲཧʙI 24
νϡʔχϯά • ΦϑϥΠϯධՁ • ."1ʢ.FBO"WFSBHF1SFDJTJPOʣʹΑΓ ϋΠύʔύϥϝʔλͷόϦΤʔγϣϯΛΦϑϥΠϯධՁ • ਪન݁ՌͱϢʔβͷߪങϩάΛॱҐΛߟྀͯ͠ൺֱ • ͜Ε4QBSLͰ࡞ͬͨ
• ΦϯϥΠϯධՁ • ϢʔβผʹϥϯμϜͰ • ཁ"#ςετ 25
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 26
4QBSL.-MJCΛҊ݅Ͱ ։ൃɾӡ༻ͯ͠Έͯᶃ • ͭΒ͍ • ޮͱඅ༻ͱϦιʔεͷύζϧ • ϋϚΓͲ͜Ζ͕͋Δ • &$Πϯελϯεधཁͷߴ·ΓͷઞΓΛड͚Δ
• ςετͷͭΒΈ 27
4QBSL.-MJCΛҊ݅Ͱ ։ൃɾӡ༻ͯ͠Έͯᶄ • Ͱ໘ന͍ • ίʔσΟϯάָ͕͍͠ʂ • γʔϜϨεʹࢄॲཧ͕ॻ͚Δ • )BEPPQΑΓগͳ͍ίʔυྔ
• ͍ • .-MJCͷਐԽʹظ 28
4QBSLΞϓϦέʔγϣϯ ։ൃͷצॴ • Ϧιʔε༗ݶ • ιʔεͷதͰಛʹԋࢉྔΛཁ͢Δ෦ϩʔΧϧͷ࣮ݧͰ ेʹ࠷దԽ͓ͯ͘͠ • ಉ͡ܭࢉ݁ՌΛಘΔͷʹΑΓޮతͳํ๏ͳ͍ͷ͔ʁ •
ίϨΫγϣϯΫϥεͷબ • ԋࢉ࣌ؒϝϞϦྔΛݟੵΔ • ܧଓతΠϯςάϨʔγϣϯΛڧ͘ҙࣝ͢Δ 29
·ͱΊ • "QBDIF4QBSL .-MJCͰ༰ϕʔεϑΟϧλϦϯά ͓ΑͼڠௐϑΟϧλϦϯάʹΑΔਪનγεςϜΛ ͭͬͨ͘ • &$αΠτͷ,1*ΛվળͰ͖ͨ • 4QBSLϓϩάϥϛϯάɺָ͍͔͠ΒͬͯΈͯΑʂ
30