Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
The Hundred Machine Learning 7.4-7.7
Search
ganyariya
September 12, 2020
Technology
0
62
The Hundred Machine Learning 7.4-7.7
ganyariya
September 12, 2020
Tweet
Share
More Decks by ganyariya
See All by ganyariya
FastAPI+VercelでZennのバッジをお手軽に作る
ganariya
0
890
ありがとう競技プログラミングこんにちはDocker
ganariya
0
1.6k
輪講 The hundred ML3.3-3.5
ganariya
0
99
Other Decks in Technology
See All in Technology
Claude Codeを駆使した初めてのiOSアプリ開発 ~ゼロから3週間でグローバルハッカソンで入賞するまで~
oikon48
5
1.5k
20251010_HCCJP_AdaptiveCloudUpdates
sdosamut
0
110
アイテムレビュー機能導入からの学びと改善
zozotech
PRO
0
150
サイバーエージェント流クラウドコスト削減施策「みんなで金塊堀太郎」
kurochan
3
1.5k
新規事業におけるGORM+SQLx併用アーキテクチャ
hacomono
PRO
0
270
E2Eテスト設計_自動化のリアル___Playwrightでの実践とMCPの試み__AIによるテスト観点作成_.pdf
findy_eventslides
2
620
これがLambdaレス時代のChatOpsだ!実例で学ぶAmazon Q Developerカスタムアクション活用法
iwamot
PRO
6
1.1k
Introduction to Sansan for Engineers / エンジニア向け会社紹介
sansan33
PRO
5
43k
AWS Control Tower に学ぶ! IAM Identity Center 権限設計の第一歩 / IAM Identity Center with Control Tower
y___u
0
170
20251014_Pythonを実務で徹底的に使いこなした話
ippei0923
0
190
20201008_ファインディ_品質意識を育てる役目は人かAIか___2_.pdf
findy_eventslides
2
640
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
20k
Featured
See All Featured
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
8
910
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Code Review Best Practice
trishagee
72
19k
Optimizing for Happiness
mojombo
379
70k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
20
1.2k
Building Adaptive Systems
keathley
44
2.8k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
870
Raft: Consensus for Rubyists
vanstee
140
7.1k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
The Pragmatic Product Professional
lauravandoore
36
6.9k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
Transcript
ྠߨ 5IF.- <r > HBOBSJZB ganariya ganariya2525 ganariya2525 ganariya’s blog
ganariya ganariya
2 / N όΠΞεͱࢄ • όΠΞε • ࢄ 予測値
.VMUJ-BCFM$MBTTJGJDBUJPO
4 / N .VMUJ$MBTTWT.VMUJ-BCFM 多クラス モデル (決定⽊ softmax) ねこ うさぎ
いぬ 多ラベル モデル (決定⽊ binary cross entropy) ミシン ⾞ 警察官 タキシード 複数出⼒
5 / N ଟϥϕϧྨ ֶशΞϧΰϦζϜ • σʔληοτΛʮը૾ϥϕϧʯ͕ҰରҰʹͳΔΑ͏ʹ ૢ࡞ͯ͠ɺ৽͍͠σʔληοτʹ͢Δ • ৽͍͠σʔληοτΛͬͯʮଟΫϥεϞσϧʯΛֶ
श͢Δ ミシン ⾞ 警察官 タキシード
6 / N ଟϥϕϧྨ Ϟσϧͱ༧ଌ • ༻Ͱ͖ΔϞσϧʮଟΫϥεྨʯ • ܾఆ •
ϩδεςΟοΫճؼ • /FVSBM/FUXPSL • ग़ྗΫϥε࣍ݩͷϕΫτϧͰ < >ͷ֬Ͱ͋Δ NN ミシン ⾞ 警察官 タキシード ⽝ sigmoid
7 / N ଟϥϕϧྨ // • //ʹ͓͚Δଟϥϕϧྨ • ֤VOJUͷίετؔCJOBSZDSPTTFOUSPQZ •
∈ 1, … , , ∈ 1, … , ϥϕϧ Ϋϥε ͷ • !,# ൪ͷσʔληοτͷ࣍ݩͷϥϕϧͷ֬ • ֬తޯ߱Լ๏ͱ૬ੑ͕ྑ͍ • ࠷খԽج४ BWH FBDIVOJU
8 / N ଟϥϕϧྨ 'BLF$MBTT • ϥϕϧ͕গͳ͍߹ ֤ଐੑ͕औΓ͏Δͷ ૯߹ͤͰِΫϥεΛ ࡞ͬͯଟྨͰ͖Δ
• ϝϦοτͱͯ͠ʮϥϕϧؒͷ૬ؔʯΛߟ͑ͯྨ͢Δ ͜ͱ͕Ͱ͖Δ • ʮTQBNͦ͏ ༏ઌ͕ߴͦ͏ʯͷϝʔϧͰ͖Δ͚ͩ ൃੜ͠ͳ͍Α͏ʹ͍ͨ͠
&OTFNCMF-FBSOJOH
10 / N Ξϯαϯϒϧֶश UMES • ,BHHMFͷίϯϖͰΑ্͘ҐʹೖΔΞϧΰϦζϜ • ऑֶशثΛෳͬͯΈ߹ΘͤΔ •
൚ԽೳྗΛ্͛Δ アンサンブル Bagging Boosting Random Forest
11 / N Ξϯαϯϒϧͷख๏ • ϒʔεςΟϯά • ΦϦδφϧͷσʔλΛ༻͍ͯऑֶशثΛ࡞Δ • ͦͷޙɺ܁Γฦ͠ʮલϞσϧͷޡࠩΛमਖ਼͢ΔʯΑ͏ʹ
৽͍͠ϞσϧΛߏங͢Δ • όΪϯά • ݩͷσʔλ͔ΒʮίϐʔʯΛϥϯμϜʹ࡞͠ খ͞ͳऑֶशثΛେྔʹ࡞ͬͯҙݟΛΈ߹ΘͤΔ • ༗໊ͳͷ͕ϥϯμϜϑΥϨετ
12 / N WBOJMMBCBHHJOH • ݩͷֶशσʔλ͔ΒϒʔτετϥοϓͰऔΓग़͠ ݸͷܾఆΛߏங͢Δ ೖྗxʹରͯ͠ݸͷग़ྗͷฏۉΛऔΔ 学習全データ !
" # ブートストラップ 重複許してランダムに データを取り出す
13 / N ϥϯμϜϑΥϨετ • ઌఔͷWBOJMMBCBHHJOHʹҰ෦मਖ਼ΛՃ͑ͨϞσϧ • ֤ܾఆͰׂج४ͷಛྔΛϥϯμϜʹݸʹߜΔ ! "
# 元特徴量
14 / N ͳͥಛྔΛߜΔͷʁ • ͳͥͰ͠ΐ͏͔
15 / N ͳͥಛྔΛߜΔͷʁ • ܾఆಉ͕࢜૬͍ؔͯ͠·͏ • ऑֶशثΛෳ࡞Δҙຯ͕ͳ͍ • ͋Δಛྔʹґଘͯ͠͠·͏Մೳੑ͕͋Δ
• ਓؒͷίϛϡχςΟʹ͍͠ • ͋Δࢥʹภͬͨਓ͕ؒू·Δͱ͕ൃੜ͢Δ • ձࣾՄೳͳݶΓʮ͍Ζ͍ΖͳλΠϓʯ͕ू·ͬͨ΄͏͕ ޭ͢ΔͱݴΘΕ͍ͯΔ
16 / N 3'ͷϝϦοτ • ϥϯμϜϑΥϨετΞϯαϯϒϧֶशͰ ࠷͘༻͍ΒΕΔ • ࠷ऴϞσϧͷࢄ͕খ͘͞ͳΔ •
ࢄ͕খ͍͞ͱ͍͏͜ͱʮաֶशʯ͍ͯ͠ͳ͍ • ग़ྗ͕Β͔ͭͳ͍
17 / N (SBEJFOU#PPTUJOH • (SBEJFOU#PPTUJOH ޯϒʔεςΟϯά • ऑֶशثΛ܁Γฦ͠࡞ͯ͠ લϞσϧͷޡࠩΛগͣͭ͠ݮΒ͍ͯ͘͠
• ·ͣճؼʢ࣮༧ଌʣʹ͍ͭͯߟ͑Δ
18 / N (SBEJFOU#PPTUJOH ܾఆ $ 元データ集合 % は個⽬のデータ
19 / N (SBEJFOU#PPTUJOH ܾఆ $ 元データ集合 % は個⽬のデータ 新しいラベル%
% を作る residual(残余誤差)と呼ばれる
20 / N (SBEJFOU#PPTUJOH ܾఆ $ 元データ集合 % は個⽬のデータ !
この時点で新全体モデル が構築できる
21 / N (SBEJFOU#PPTUJOH ܾఆ $ 元データ集合 % は個⽬のデータ !
新たに誤差を作成する $ のみのときより誤差が 減っている
22 / N (SBEJFOU#PPTUJOH ܾఆ $ 元データ集合 % は個⽬のデータ !
"
23 / N (SBEJFOU#PPTUJOH ܾఆ $ 元データ集合 % は個⽬のデータ !
" 誤差を直接修正していく
24 / N ޯϒʔεςΟϯάʁ • ͳͥʮޯϒʔεςΟϯάʯʮޯϒʔεςΟϯ άʯͳͷ͔ʁ • ͜Ε·ͰͷճؼϞσϧͰඍʹΑΓʮޯʯΛٻΊ ͯҠಈ͍ͯͨ͠
• ޯϒʔεςΟϯάͰʮࠩޡࠩʯͰҠಈ͢Δ • ম͖ͳ·͠ͱ͔ 140ͬΆ͍
25 / N (#GPS$MBTTJGJDBUJPO • ྨͰͷޯϒʔεςΟϯά CJOBSZ • ݸͷܾఆ •
ΞϯαϯϒϧֶशʹΑΔ༧ଌ • ֤ܾఆͷ༧ଌΛ߹ܭͯ͠γάϞΠυͰ< >ͷ֬ͱ͢Δ • $ Λ࠷େԽ͢Δ MPH
26 / N ֶशΞϧΰϦζϜ • = & = ' ()'
, = ( * ∑+ + ͱॳظԽ͢Δ • ֤ΠςϨʔγϣϯ ݸͷܾఆߏங • ݸͷσʔλͷޯΛܭࢉ͢Δ • ! Λ༻͍ͯσʔληοτΛߋ৽͢Δ • ৽͍ܾ͠ఆ% Λߏங͢Δ • ߋ৽εςοϓ% Λܭࢉ͢Δ • ݸͷܾఆͱશମϞσϧΛߏங͢Δ
27 / N ϝϦοτ σϝϦοτ • ޯϒʔεςΟϯάਫ਼ͷ໘ͰϥϯμϜϑΥϨετ ʹൺͯलͰ͍ͯΔ • ͨͩ͠ɺஞ࣍ॲཧͳͨΊ܇࿅ॲཧ͕͍
3//ͷ3FWJFX
29 / N 3// • ʮ෦هԱʯΛ࣋ͭ͜ͱͰ࿈ଓσʔλΛॲཧͰ͖Δ • ࠨଆͱӈଆʮಉ͡ʯ ӈଆʮ࣌ܥྻͰ͔Γ͘͢ͳΔΑ͏ʹʯల։͚ͨͩ͠ •
-45.HBUFE3//Ͱԕ͍هԱࢀরͰ͖ΔΑ͏ʹ ͳͬͨ
30 / N ಈ࡞ྫ • 5IJTJTB\\^^ σʔληοτͷ̍σʔλ TJ[F
31 / N ಈ࡞ྫ • 5IJTJTB\\^^
32 / N ಈ࡞ྫ • 5IJTJTB\\^^
33 / N ಈ࡞ྫ • 5IJTJTB\\^^
34 / N #BH0G8PSET • ࣮ࡍ͜ͷʮ5IJTʯͬͯͲ͏ೖ͍ͬͯΔͷʁ • ͦͷ··ೖΒͳ͘ͳ͍ʁ • ϕΫτϧʹม͢Δ
• ྫ͑༗໊ͳ୯ޠ࣍ݩʹݻఆ͢Δ • ࠷ۙࢄදݱ 8PSE7FD
35 / N ಈ࡞ྫ #P8 • 5IJTJTB\\^^
-FBSOJOHUP-BCMF 4FRVFODFT
37 / N 4FRVFODF • 4FRVFODF γʔέϯε ඇৗʹॏཁͳσʔλ • ͠ݴ༿
• Իָ • ϏσΦ • 4FRVFODFMBCFMJOH • γʔέϯεͷʮ֤ཁૉ͝ͱʹ֤ϥϕϧʯΛׂΓͯΔ • ಛϕΫτϧू߹ ϥϕϧϕΫτϧू߹ • ! = [x& ' , … , x! ()!*+!)>ݸͷσʔλϕΫτϧ • ! ಉ༷ʹݸͷσʔλ
38 / N $POEJUPOBM 3BOEPN'JFME • γʔέϯεϥϕϦϯά3//͚ͩͰͳ͘ ͖݅֬ $3' ͱ͍͏Ϟσϧ͋Δ
ಛϕΫτϧ͕ଟ͘ͷใྔΛ͍࣋ͬͯΔͱ͖ʹྑ͍ • ϕΫτϧͷಛྔΛઐՈ͕ઃఆ͢Δ ͍͠ • ʮϩδεςΟοΫճؼʯͷΞϧΰϦζϜΛγʔέϯε ʹҰൠԽͨ͠ͷ • ํHBUFE 3//ΑΓྑ͍ਫ਼Λग़͢͜ͱ͕͋Δ • ͨͩ͠ɺ$3'ͷֶशඇৗʹ͍
4FR4FR-FBSOJOH https://qiita.com/halhorn/items/646d323ac45 7715866d4
40 / N TFRTFR • TFRTFRTFRVFODFMBCFMJOHQSPCMFNͷҰൠԽ +, + ͷ͕͞ՄมʹͰ͖Δ •
༁ͳͲଟ͘ͷࣗવݴޠॲཧͰ༻͍ΒΕΔ • ʮೖྗ͞ΕΔϕΫτϧΛղऍ͢ΔʯΤϯίʔμʔ ʮղऍ͞ΕͨϕΫτϧ͔Βग़ྗϕΫτϧΛੜ͢Δʯ σίʔμʔ ͷ͔̎ͭΒͳΔ
41 / N TFRTFRΞʔΩςΫνϟ • Τϯίʔμʔ • 3//$//ͷΑ͏ͳΞʔΩςΫνϟ • ೖྗ͞ΕͨϕΫτϧΛʮղऍʯ͢ΔϕΫτϧ
ʮUIPVHIUWFDUPSʯΛੜͯ͠σίʔμʔʹ • σίʔμʔ • Τϯίʔμʔ͔ΒUIPVHIUWFDUPSΛड͚औͬͯ ࣮ࡍʹγʔέϯεΛੜ͢Δ
42 / N TFRTFRΤϯίʔμʔ
43 / N TFRTFRΤϯίʔμʔ
44 / N TFRTFRΤϯίʔμʔ
45 / N TFRTFRΤϯίʔμʔ 内部に隠れていた thought vectorをdecorder側へ
46 / N TFRTFRσίʔμʔ 内部に隠れていた thought vectorをdecorder側へ
47 / N TFRTFRσίʔμʔ 内部に隠れていた thought vectorをdecorder側へ
48 / N TFRTFRσίʔμʔ 内部に隠れていた thought vectorをdecorder側へ
49 / N TFRTFRֶश • ΤϯίʔμʔͱσίʔμʔΛಉ࣌ʹ ܇࿅σʔλΛ༻ֶ͍ͯश͢Δ ޡࠩσίʔμʔଆ͔ΒΤϯίʔμʔଆٯ ͞ΕΔ
50 / N "UUFOUJPO • "UUFOUJPO TFRTFR$//ͳͲͰซ༻ͯ͠ ༻͍ΒΕΔΞʔΩςΫνϟ • ʮΤϯίʔμʔଆͷͲͷ෦ʹண͢Δ͔ʁʯΛ
"UUFOUJPOσίʔμʔଆʹڭ͑Δ
51 / N TFRTFRͷܽ • TFRTFRͰʮΤϯίʔμʔʯͰͷ࠷ޙͷग़ྗʹ͓͚ ΔʮӅΕϕΫτϧͷΈʯΛσίʔμʔʹ͢ • ͲͷೖྗϕΫτϧʹ͖͔͔͢Βͳ͍ •
ใྔ͕ൈ͚མͪͯ͠·͏
52 / N Ξςϯγϣϯྫ • σίʔμʔ ग़ྗγʔέϯεੜ࣌ʹ "UUFOUJPOػߏ͔ΒϕΫτϧΛऔΓग़ͯ͠ ʮͲͷೖྗʹண͢Δ͔ʁʯΛܾΊΔ
53 / N Ξςϯγϣϯྫ ը૾ྫ