Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
The Hundred Machine Learning 7.4-7.7
Search
ganyariya
September 12, 2020
Technology
0
60
The Hundred Machine Learning 7.4-7.7
ganyariya
September 12, 2020
Tweet
Share
More Decks by ganyariya
See All by ganyariya
FastAPI+VercelでZennのバッジをお手軽に作る
ganariya
0
880
ありがとう競技プログラミングこんにちはDocker
ganariya
0
1.6k
輪講 The hundred ML3.3-3.5
ganariya
0
95
Other Decks in Technology
See All in Technology
マネジメントって難しい、けどおもしろい / Management is tough, but fun! #em_findy
ar_tama
7
1.1k
LangChain Interrupt & LangChain Ambassadors meetingレポート
os1ma
2
320
MUITにおける開発プロセスモダナイズの取り組みと開発生産性可視化の取り組みについて / Modernize the Development Process and Visualize Development Productivity at MUIT
muit
1
17k
怖くない!はじめてのClaude Code
shinya337
0
400
OPENLOGI Company Profile for engineer
hr01
1
34k
スタートアップに選択肢を 〜生成AIを活用したセカンダリー事業への挑戦〜
nstock
0
210
Lakebaseを使ったAIエージェントを実装してみる
kameitomohiro
0
130
生成AI開発案件におけるClineの業務活用事例とTips
shinya337
0
260
面倒な作業はAIにおまかせ。Flutter開発をスマートに効率化
ruideengineer
0
260
united airlines ™®️ USA Contact Numbers: Complete 2025 Support Guide
flyunitedhelp
1
340
生成AI活用の組織格差を解消する 〜ビジネス職のCursor導入が開発効率に与えた好循環〜 / Closing the Organizational Gap in AI Adoption
upamune
7
5.3k
Reach American Airlines®️ Instantly: 19 Calling Methods for Fast Support in the USA
flyamerican
1
170
Featured
See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
950
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Optimizing for Happiness
mojombo
379
70k
Rebuilding a faster, lazier Slack
samanthasiow
82
9.1k
Practical Orchestrator
shlominoach
189
11k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Transcript
ྠߨ 5IF.- <r > HBOBSJZB ganariya ganariya2525 ganariya2525 ganariya’s blog
ganariya ganariya
2 / N όΠΞεͱࢄ • όΠΞε • ࢄ 予測値
.VMUJ-BCFM$MBTTJGJDBUJPO
4 / N .VMUJ$MBTTWT.VMUJ-BCFM 多クラス モデル (決定⽊ softmax) ねこ うさぎ
いぬ 多ラベル モデル (決定⽊ binary cross entropy) ミシン ⾞ 警察官 タキシード 複数出⼒
5 / N ଟϥϕϧྨ ֶशΞϧΰϦζϜ • σʔληοτΛʮը૾ϥϕϧʯ͕ҰରҰʹͳΔΑ͏ʹ ૢ࡞ͯ͠ɺ৽͍͠σʔληοτʹ͢Δ • ৽͍͠σʔληοτΛͬͯʮଟΫϥεϞσϧʯΛֶ
श͢Δ ミシン ⾞ 警察官 タキシード
6 / N ଟϥϕϧྨ Ϟσϧͱ༧ଌ • ༻Ͱ͖ΔϞσϧʮଟΫϥεྨʯ • ܾఆ •
ϩδεςΟοΫճؼ • /FVSBM/FUXPSL • ग़ྗΫϥε࣍ݩͷϕΫτϧͰ < >ͷ֬Ͱ͋Δ NN ミシン ⾞ 警察官 タキシード ⽝ sigmoid
7 / N ଟϥϕϧྨ // • //ʹ͓͚Δଟϥϕϧྨ • ֤VOJUͷίετؔCJOBSZDSPTTFOUSPQZ •
∈ 1, … , , ∈ 1, … , ϥϕϧ Ϋϥε ͷ • !,# ൪ͷσʔληοτͷ࣍ݩͷϥϕϧͷ֬ • ֬తޯ߱Լ๏ͱ૬ੑ͕ྑ͍ • ࠷খԽج४ BWH FBDIVOJU
8 / N ଟϥϕϧྨ 'BLF$MBTT • ϥϕϧ͕গͳ͍߹ ֤ଐੑ͕औΓ͏Δͷ ૯߹ͤͰِΫϥεΛ ࡞ͬͯଟྨͰ͖Δ
• ϝϦοτͱͯ͠ʮϥϕϧؒͷ૬ؔʯΛߟ͑ͯྨ͢Δ ͜ͱ͕Ͱ͖Δ • ʮTQBNͦ͏ ༏ઌ͕ߴͦ͏ʯͷϝʔϧͰ͖Δ͚ͩ ൃੜ͠ͳ͍Α͏ʹ͍ͨ͠
&OTFNCMF-FBSOJOH
10 / N Ξϯαϯϒϧֶश UMES • ,BHHMFͷίϯϖͰΑ্͘ҐʹೖΔΞϧΰϦζϜ • ऑֶशثΛෳͬͯΈ߹ΘͤΔ •
൚ԽೳྗΛ্͛Δ アンサンブル Bagging Boosting Random Forest
11 / N Ξϯαϯϒϧͷख๏ • ϒʔεςΟϯά • ΦϦδφϧͷσʔλΛ༻͍ͯऑֶशثΛ࡞Δ • ͦͷޙɺ܁Γฦ͠ʮલϞσϧͷޡࠩΛमਖ਼͢ΔʯΑ͏ʹ
৽͍͠ϞσϧΛߏங͢Δ • όΪϯά • ݩͷσʔλ͔ΒʮίϐʔʯΛϥϯμϜʹ࡞͠ খ͞ͳऑֶशثΛେྔʹ࡞ͬͯҙݟΛΈ߹ΘͤΔ • ༗໊ͳͷ͕ϥϯμϜϑΥϨετ
12 / N WBOJMMBCBHHJOH • ݩͷֶशσʔλ͔ΒϒʔτετϥοϓͰऔΓग़͠ ݸͷܾఆΛߏங͢Δ ೖྗxʹରͯ͠ݸͷग़ྗͷฏۉΛऔΔ 学習全データ !
" # ブートストラップ 重複許してランダムに データを取り出す
13 / N ϥϯμϜϑΥϨετ • ઌఔͷWBOJMMBCBHHJOHʹҰ෦मਖ਼ΛՃ͑ͨϞσϧ • ֤ܾఆͰׂج४ͷಛྔΛϥϯμϜʹݸʹߜΔ ! "
# 元特徴量
14 / N ͳͥಛྔΛߜΔͷʁ • ͳͥͰ͠ΐ͏͔
15 / N ͳͥಛྔΛߜΔͷʁ • ܾఆಉ͕࢜૬͍ؔͯ͠·͏ • ऑֶशثΛෳ࡞Δҙຯ͕ͳ͍ • ͋Δಛྔʹґଘͯ͠͠·͏Մೳੑ͕͋Δ
• ਓؒͷίϛϡχςΟʹ͍͠ • ͋Δࢥʹภͬͨਓ͕ؒू·Δͱ͕ൃੜ͢Δ • ձࣾՄೳͳݶΓʮ͍Ζ͍ΖͳλΠϓʯ͕ू·ͬͨ΄͏͕ ޭ͢ΔͱݴΘΕ͍ͯΔ
16 / N 3'ͷϝϦοτ • ϥϯμϜϑΥϨετΞϯαϯϒϧֶशͰ ࠷͘༻͍ΒΕΔ • ࠷ऴϞσϧͷࢄ͕খ͘͞ͳΔ •
ࢄ͕খ͍͞ͱ͍͏͜ͱʮաֶशʯ͍ͯ͠ͳ͍ • ग़ྗ͕Β͔ͭͳ͍
17 / N (SBEJFOU#PPTUJOH • (SBEJFOU#PPTUJOH ޯϒʔεςΟϯά • ऑֶशثΛ܁Γฦ͠࡞ͯ͠ લϞσϧͷޡࠩΛগͣͭ͠ݮΒ͍ͯ͘͠
• ·ͣճؼʢ࣮༧ଌʣʹ͍ͭͯߟ͑Δ
18 / N (SBEJFOU#PPTUJOH ܾఆ $ 元データ集合 % は個⽬のデータ
19 / N (SBEJFOU#PPTUJOH ܾఆ $ 元データ集合 % は個⽬のデータ 新しいラベル%
% を作る residual(残余誤差)と呼ばれる
20 / N (SBEJFOU#PPTUJOH ܾఆ $ 元データ集合 % は個⽬のデータ !
この時点で新全体モデル が構築できる
21 / N (SBEJFOU#PPTUJOH ܾఆ $ 元データ集合 % は個⽬のデータ !
新たに誤差を作成する $ のみのときより誤差が 減っている
22 / N (SBEJFOU#PPTUJOH ܾఆ $ 元データ集合 % は個⽬のデータ !
"
23 / N (SBEJFOU#PPTUJOH ܾఆ $ 元データ集合 % は個⽬のデータ !
" 誤差を直接修正していく
24 / N ޯϒʔεςΟϯάʁ • ͳͥʮޯϒʔεςΟϯάʯʮޯϒʔεςΟϯ άʯͳͷ͔ʁ • ͜Ε·ͰͷճؼϞσϧͰඍʹΑΓʮޯʯΛٻΊ ͯҠಈ͍ͯͨ͠
• ޯϒʔεςΟϯάͰʮࠩޡࠩʯͰҠಈ͢Δ • ম͖ͳ·͠ͱ͔ 140ͬΆ͍
25 / N (#GPS$MBTTJGJDBUJPO • ྨͰͷޯϒʔεςΟϯά CJOBSZ • ݸͷܾఆ •
ΞϯαϯϒϧֶशʹΑΔ༧ଌ • ֤ܾఆͷ༧ଌΛ߹ܭͯ͠γάϞΠυͰ< >ͷ֬ͱ͢Δ • $ Λ࠷େԽ͢Δ MPH
26 / N ֶशΞϧΰϦζϜ • = & = ' ()'
, = ( * ∑+ + ͱॳظԽ͢Δ • ֤ΠςϨʔγϣϯ ݸͷܾఆߏங • ݸͷσʔλͷޯΛܭࢉ͢Δ • ! Λ༻͍ͯσʔληοτΛߋ৽͢Δ • ৽͍ܾ͠ఆ% Λߏங͢Δ • ߋ৽εςοϓ% Λܭࢉ͢Δ • ݸͷܾఆͱશମϞσϧΛߏங͢Δ
27 / N ϝϦοτ σϝϦοτ • ޯϒʔεςΟϯάਫ਼ͷ໘ͰϥϯμϜϑΥϨετ ʹൺͯलͰ͍ͯΔ • ͨͩ͠ɺஞ࣍ॲཧͳͨΊ܇࿅ॲཧ͕͍
3//ͷ3FWJFX
29 / N 3// • ʮ෦هԱʯΛ࣋ͭ͜ͱͰ࿈ଓσʔλΛॲཧͰ͖Δ • ࠨଆͱӈଆʮಉ͡ʯ ӈଆʮ࣌ܥྻͰ͔Γ͘͢ͳΔΑ͏ʹʯల։͚ͨͩ͠ •
-45.HBUFE3//Ͱԕ͍هԱࢀরͰ͖ΔΑ͏ʹ ͳͬͨ
30 / N ಈ࡞ྫ • 5IJTJTB\\^^ σʔληοτͷ̍σʔλ TJ[F
31 / N ಈ࡞ྫ • 5IJTJTB\\^^
32 / N ಈ࡞ྫ • 5IJTJTB\\^^
33 / N ಈ࡞ྫ • 5IJTJTB\\^^
34 / N #BH0G8PSET • ࣮ࡍ͜ͷʮ5IJTʯͬͯͲ͏ೖ͍ͬͯΔͷʁ • ͦͷ··ೖΒͳ͘ͳ͍ʁ • ϕΫτϧʹม͢Δ
• ྫ͑༗໊ͳ୯ޠ࣍ݩʹݻఆ͢Δ • ࠷ۙࢄදݱ 8PSE7FD
35 / N ಈ࡞ྫ #P8 • 5IJTJTB\\^^
-FBSOJOHUP-BCMF 4FRVFODFT
37 / N 4FRVFODF • 4FRVFODF γʔέϯε ඇৗʹॏཁͳσʔλ • ͠ݴ༿
• Իָ • ϏσΦ • 4FRVFODFMBCFMJOH • γʔέϯεͷʮ֤ཁૉ͝ͱʹ֤ϥϕϧʯΛׂΓͯΔ • ಛϕΫτϧू߹ ϥϕϧϕΫτϧू߹ • ! = [x& ' , … , x! ()!*+!)>ݸͷσʔλϕΫτϧ • ! ಉ༷ʹݸͷσʔλ
38 / N $POEJUPOBM 3BOEPN'JFME • γʔέϯεϥϕϦϯά3//͚ͩͰͳ͘ ͖݅֬ $3' ͱ͍͏Ϟσϧ͋Δ
ಛϕΫτϧ͕ଟ͘ͷใྔΛ͍࣋ͬͯΔͱ͖ʹྑ͍ • ϕΫτϧͷಛྔΛઐՈ͕ઃఆ͢Δ ͍͠ • ʮϩδεςΟοΫճؼʯͷΞϧΰϦζϜΛγʔέϯε ʹҰൠԽͨ͠ͷ • ํHBUFE 3//ΑΓྑ͍ਫ਼Λग़͢͜ͱ͕͋Δ • ͨͩ͠ɺ$3'ͷֶशඇৗʹ͍
4FR4FR-FBSOJOH https://qiita.com/halhorn/items/646d323ac45 7715866d4
40 / N TFRTFR • TFRTFRTFRVFODFMBCFMJOHQSPCMFNͷҰൠԽ +, + ͷ͕͞ՄมʹͰ͖Δ •
༁ͳͲଟ͘ͷࣗવݴޠॲཧͰ༻͍ΒΕΔ • ʮೖྗ͞ΕΔϕΫτϧΛղऍ͢ΔʯΤϯίʔμʔ ʮղऍ͞ΕͨϕΫτϧ͔Βग़ྗϕΫτϧΛੜ͢Δʯ σίʔμʔ ͷ͔̎ͭΒͳΔ
41 / N TFRTFRΞʔΩςΫνϟ • Τϯίʔμʔ • 3//$//ͷΑ͏ͳΞʔΩςΫνϟ • ೖྗ͞ΕͨϕΫτϧΛʮղऍʯ͢ΔϕΫτϧ
ʮUIPVHIUWFDUPSʯΛੜͯ͠σίʔμʔʹ • σίʔμʔ • Τϯίʔμʔ͔ΒUIPVHIUWFDUPSΛड͚औͬͯ ࣮ࡍʹγʔέϯεΛੜ͢Δ
42 / N TFRTFRΤϯίʔμʔ
43 / N TFRTFRΤϯίʔμʔ
44 / N TFRTFRΤϯίʔμʔ
45 / N TFRTFRΤϯίʔμʔ 内部に隠れていた thought vectorをdecorder側へ
46 / N TFRTFRσίʔμʔ 内部に隠れていた thought vectorをdecorder側へ
47 / N TFRTFRσίʔμʔ 内部に隠れていた thought vectorをdecorder側へ
48 / N TFRTFRσίʔμʔ 内部に隠れていた thought vectorをdecorder側へ
49 / N TFRTFRֶश • ΤϯίʔμʔͱσίʔμʔΛಉ࣌ʹ ܇࿅σʔλΛ༻ֶ͍ͯश͢Δ ޡࠩσίʔμʔଆ͔ΒΤϯίʔμʔଆٯ ͞ΕΔ
50 / N "UUFOUJPO • "UUFOUJPO TFRTFR$//ͳͲͰซ༻ͯ͠ ༻͍ΒΕΔΞʔΩςΫνϟ • ʮΤϯίʔμʔଆͷͲͷ෦ʹண͢Δ͔ʁʯΛ
"UUFOUJPOσίʔμʔଆʹڭ͑Δ
51 / N TFRTFRͷܽ • TFRTFRͰʮΤϯίʔμʔʯͰͷ࠷ޙͷग़ྗʹ͓͚ ΔʮӅΕϕΫτϧͷΈʯΛσίʔμʔʹ͢ • ͲͷೖྗϕΫτϧʹ͖͔͔͢Βͳ͍ •
ใྔ͕ൈ͚མͪͯ͠·͏
52 / N Ξςϯγϣϯྫ • σίʔμʔ ग़ྗγʔέϯεੜ࣌ʹ "UUFOUJPOػߏ͔ΒϕΫτϧΛऔΓग़ͯ͠ ʮͲͷೖྗʹண͢Δ͔ʁʯΛܾΊΔ
53 / N Ξςϯγϣϯྫ ը૾ྫ