Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Deep Neural Networkの共同学習
Search
Hironobu Fujiyoshi
February 02, 2023
Technology
0
740
Deep Neural Networkの共同学習
2023年2月2日
知識転移グラフによる深層共同学習
知識転移グラフによる最適な半教師あり学習の探索
素人発想玄人実行2.0
Hironobu Fujiyoshi
February 02, 2023
Tweet
Share
More Decks by Hironobu Fujiyoshi
See All by Hironobu Fujiyoshi
チュートリアル:Mamba, Vision Mamba (Vim)
hf149
5
1.3k
TransformerによるBEV Perception
hf149
1
510
-SSII技術マップを通して見る過去・現在,そして未来-
hf149
1
690
⾃⼰教師あり学習によるビジョン基盤モデルの事前学習
hf149
3
1.3k
Beyond Explainable AI: Co-evolution of AI and Humans
hf149
0
300
Deep Collaborative Learning by Knowledge Transfer Graph
hf149
0
310
局所特徴量:画像認識における特徴表現獲得の変遷
hf149
10
5k
深層学習によるセマンティックセグメンテーションとその最新動向
hf149
4
1.8k
素人発想玄人実行2.0
hf149
0
1.5k
Other Decks in Technology
See All in Technology
LINEヤフーにおける超大規模プラットフォーム実現への挑戦と学び / Challenges and Lessons in Building an Ultra-Large-Scale Platform at LY Corporation
hhiroshell
1
820
Storybook との上手な向き合い方を考える
re_taro
5
4.5k
ARRが3年で10倍になったプロダクト開発とAI活用の軌跡
akiroom
0
170
LLMOps: Eval-Centric を前提としたMLOps
asei
5
300
CDCL による厳密解法を採用した MILP ソルバー
imai448
5
440
静的解析で実現した効率的なi18n対応の仕組みづくり
minako__ph
2
2.3k
ゆるSRE勉強会 #8 組織的にSREが始まる中で意識したこと
abnoumaru
1
680
2024年のAmazon Bedrockアップデート一挙おさらい 〜まだ間に合う! re:Invent直前までの重大ニュースを速習しよう〜
minorun365
PRO
3
160
実践/先取り「入門 Kubernetes Validating/Mutating Admission Policy」 / CloudNative Days Winter 2024
pfn
PRO
1
130
もう一度、 事業を支えるシステムに。
leveragestech
6
3k
JAWS UG 青森(弘前)クラウド・AWS入門
hiragahh
0
170
Mastering Quickfix
daisuzu
2
470
Featured
See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Typedesign – Prime Four
hannesfritz
40
2.4k
How To Stay Up To Date on Web Technology
chriscoyier
789
250k
Documentation Writing (for coders)
carmenintech
65
4.5k
Designing Experiences People Love
moore
138
23k
Faster Mobile Websites
deanohume
305
30k
GitHub's CSS Performance
jonrohan
1030
460k
Keith and Marios Guide to Fast Websites
keithpitt
410
22k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.3k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
93
17k
Transcript
%FFQ/FVSBM/FUXPSLͷڞಉֶश ౻٢߂ʢத෦େֶɾػց֮ϩϘςΟΫεάϧʔϓʣ IUUQNQSHKQ
݄ɿۚग़༤ઌੜ͔Β͍͓ͨݴ༿ 2 த෦େֶϩΰ த෦େֶϩΰ
w ʮൃ୯७ɼૉɼࣗ༝ɼ؆୯ で ͳ͚Ε ば ͳΒͳ͍ɽ͔͠͠ɼൃΛ࣮ߦʹҠ͢ʹࣝ が ͍Δɼख़࿅͞Εٕͨ が ͍Δʯʢۚग़༤ʣ
ʮૉਓൃݰਓ࣮ߦʯͱʁ 3 த෦େֶϩΰ த෦େֶϩΰ IUUQTXXXBNB[PODPKQEQ#11428/ IUUQNQSHKQ5,CPPL
w ʮݴ͏қ͘ɼߦ͏͠ʯͷయܕ w ͔ΒΛܦͯʮૉਓൃݰਓ࣮ߦʯ͚ۙͮͨݚڀ ඇํੑ-P(ϑΟϧλʹΑΔෳͷΞϑΟϯྖҬͷਪఆ<)BTFHBXB *$$7> ࣝసҠ グ
ϥϑʹΑΔڞಉֶश<.JOBNJ "$$7> <0LBNPUP &$$7> ݚڀϞοτʔʮૉਓൃݰਓ࣮ߦʯ 4 த෦େֶϩΰ த෦େֶϩΰ จ" จ# จ$ จ% จ" จ# จ$ จ% จ& ଟ͘ͷจΛਂ͘ಡΜͰ͍͘ͱ ຊ࣭తͳݚڀ ຊ࣭Ͱͳ͘খ͞ͳ͜ͱ ʹணͨ͠ݚڀ ݚڀۭؒ
ਂֶशͷωοτϫʔΫߏ த෦େֶϩΰ த෦େֶϩΰ w *-473$ʹ͓͚ΔωοτϫʔΫߏͷมભ 2012 SuperVision GoogLeNet Konvolüzasyon Pooling
Softmax Diğer [Krizhevsky NIPS 2012] [Szegedy arxiv 2014]-22 [Sim "MFY/FU MBZFST *-473$ 2014 GoogLeNet Konvolüzasyon Pooling Softmax Diğer VGG MSRA [Szegedy arxiv 2014]-22 [Simonyan arxiv 2014] -19 [He arxiv 2014] n 2014 GoogLeNet Konvolüzasyon Pooling Softmax Diğer VGG MSRA 35/36 t derin öğ kullanm 20/36 t açık-kay Caffe uygula kullanm 012] [Szegedy arxiv 2014]-22 [Simonyan arxiv 2014] -19 [He arxiv 2014] 7(( MBZFST *-473$ (PPHMF/FU MBZFST *-473$ 14 3FT/FU MBZFST *-473$ ˠ ສύϥϝʔλ ˠԯύϥϝʔλ ˠ ສύϥϝʔλ
,OPXMFEHF%JTUJMMBUJPO ,% <()JOUPO > த෦େֶϩΰ த෦େֶϩΰ w ࣝৠཹ ֶशࡁΈ-BSHFωοτϫʔΫ͔Β4NBMMωοτϫʔΫʹࣝసҠ
ੑೳΛอͪͭͭɺύϥϝʔλͱܭࢉίετΛݮՄೳ 5FBDIFS /FUXPSL 4UVEFOU /FUXPSL -BSHF QSFUSBJOFE 4NBMM ,OPXMFEHFUSBOTGFS ࣝৠཹ ࣝ
,OPXMFEHF%JTUJMMBUJPO ,% <()JOUPO > த෦େֶϩΰ த෦େֶϩΰ w ࣝৠཹɿ5FBDIFSˠ4UVEFOU ֶशࡁΈ-BSHFωοτϫʔΫ͔Β4NBMMωοτϫʔΫʹࣝసҠ
ੑೳΛอͪͭͭɺύϥϝʔλͱܭࢉίετΛݮՄೳ ֶशํ๏ɿ)BSEUBSHFUͱ4PGUUBSHFUͰ4UVEFOUωοτϫʔΫΛֶश %BSL,OPXMFEHFʢӅΕͨࣝʣ 5FBDIFS 4UVEFOU $SPTT&OUSPQZ $SPTT&OUSPQZ MBCFM QSFUSBJOFE 4PGUUBSHFU )BSEUBSHFU ʢਖ਼ղϥϕϧʣ p1 p2 ʢ֬ʣ #BDLQSPQ
%FFQ.VUVBM-FBSOJOH %.- <:;IBOH > த෦େֶϩΰ த෦େֶϩΰ w 4UVEFOUωοτϫʔΫͷ૬ޓֶशɿ4UVEFOU⁶4UVEFOU ,VMMCBDL-FJCMFS
,- %JWFSHFODFͰωοτϫʔΫͷग़ྗ ͱ Λ͚ۙͮ߹͏ p1 p2 MBCFM 4UVEFOU 4UVEFOU p1 p2 KL(p1 ||p2 ) KL(p2 ||p1 ) ˠྠߨͷΑ͏ͳֶशܗଶͰ͋ΓɺࣝৠཹΑΓਫ਼্͕ )BSE5BSHFU $SPTT&OUSPQZ 4PGU5BSHFU ,-EJWFSHFODF
%FFQ.VUVBM-FBSOJOH %.- <:;IBOH > த෦େֶϩΰ த෦େֶϩΰ w Կނ%.-͏·͍͘͘ͷ͔ʁ *OEFQFOEFOU
Y Zd Y Zd %.- 7*46"-*;*/(5)&-044-"/%4$"1&0'/&63"-/&54</FVS*14> ˠ%.-͍୩ʹམ͍ͪͯΔ
%FFQ.VUVBM-FBSOJOH %.- <:;IBOH > த෦େֶϩΰ த෦େֶϩΰ w ͍୩ʹམ͍ͪͯΔͱԿނྑ͍ͷ͔ʁ ύϥϝʔλ
ʢ͘͠ೖྗ ʣ͕มಈͯ͠ଛࣦมԽ͠ͳ͍ˠ൚Խೳྗ͕ߴ͍ *OEFQFOEFOUɿଛࣦ͕খ͘͞ͳΔ୩ʹऩଋʢ͍୩ͱݶΒͳ͍ʣ %.-ɿೋͭͷωοτϫʔΫͷग़ྗ͕ࣅΔΑ͏ʹֶशˠ͍୩Λ୳͢ ˠϩεͷϥϯυεέʔϓ͕ޯͷ؇͔ͳತؔʹ͖ۙͮਫ਼্ w x -PTT y = f(x) y = wTx w ࣸ૾ؔɿχϡʔϥϧωοτϫʔΫ " # %.- %.- *OEFQFOEFOU
ωοτϫʔΫؒͷࣝసҠ த෦େֶϩΰ த෦େֶϩΰ w ͍୩ʹམ͍ͪͯΔͱԿނྑ͍ͷ͔ʁࣝΛ͑Δ͜ͱͰೝࣝੑೳ্͕ ࣝৠཹɿ,OPXMFEHF%JTUJMMBUJPO<()JOUPO > ૬ޓֶशɿ%FFQ.VUVBM-FBSOJOH<:;IBOH
> 5FBDIFS 4UVEFOU ,OPXMFEHF%JTUJMMBUJPO ,% 4UVEFOU 4UVEFOU %FFQ.VUVBM-FBSOJOH %.- p1 p2 p1 p2
ࣝৠཹɾ૬ޓֶशͷੜख๏ த෦େֶϩΰ த෦େֶϩΰ 4UVEFOU 4UVEFOU 4UVEFOU 4UVEFOU 4UVEFOU 4UVEFOU
4UVEFOU 5FBDIFS 4UVEFOU 5FBDIFS 4UVEFOU 5FBDIFS 5" 4UVEFOU ,OPXMFEHF%JTUJMMBUJPO %FFQ.VUVBM-FBSOJOH ,OPXMFEHF%JTUJMMBUJPO <()JOUPO > #PSO"HBJO <'VSMBOFMMP > 5FBDIFS"TTJTUBOU <.JS[BEFI > %FFQ.VUVBM-FBSOJOH<:;IBOH > -BSHFϞσϧ4NBMMϞσϧ ಉҰαΠζ தؒϞσϧ͋Γ -BSHFϞσϧ4NBMMϞσϧ ಉҰαΠζ Ϟσϧ p1 p2 p1 p2 p1 p2 p1 p2 p1 p2 p3 p1 p2 p3
ࣝৠཹɾ૬ޓֶशͷੜख๏ த෦େֶϩΰ த෦େֶϩΰ ,OPXMFEHF%JTUJMMBUJPO <()JOUPO > #PSO"HBJO <'VSMBOFMMP >
5FBDIFS"TTJTUBOU <.JS[BEFI > %FFQ.VUVBM-FBSOJOH<:;IBOH > ,OPXMFEHF%JTUJMMBUJPO %FFQ.VUVBM-FBSOJOH -BSHFϞσϧ4NBMMϞσϧ ಉҰαΠζ தؒϞσϧ͋Γ -BSHFϞσϧ4NBMMϞσϧ ಉҰαΠζ Ϟσϧ ਓ͕ઃܭͨ͠ݶఆతͳֶशํ๏
ຊݚڀͷඪ த෦େֶϩΰ த෦େֶϩΰ w ڞಉֶशΛΫϥεϧʔϜεέʔϧ֦ு ଟ༷ੑͷߴ͍ڞಉֶशΛ࣮ݱ ʮૉਓൃʯ ˠڭࣨͰͷֶशͷΑ͏ʹઌੜ͔ΒͰͳ͘ଟ͘ͷੜె͕ෳࡶʹڭ͑͋͏ֶश
w ڞಉֶशΛΫϥεϧʔϜεέʔϧ֦ு ଟ༷ੑͷߴ͍ڞಉֶशΛ࣮ݱ w ࣝసҠάϥϑͷఏҊ<.JOBNJ "$$7> ैདྷख๏ ,%ͱ%.-
Λแͭͭ͠ɺ৽ֶ͍͠शํ๏ΛؚΉදݱํ๏ ̐छྨͷ(BUFؔʹΑΓࣝసҠΛ੍ޚ͢Δ͜ͱͰଟ༷ͳڞಉֶश ,% %.- ຊݚڀͷඪ த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 ࣝసҠάϥϑ
w άϥϑΛ༻͍ͯ,%ͱ%.-Λදݱ ϊʔυɿਂֶशϞσϧ Τοδɿࣝৠཹͷଛࣦ άϥϑදݱͷม த෦େֶϩΰ த෦େֶϩΰ
,OPXMFEHF%JTUJMMBUJPO ,% 5FBDIFS 4UVEFOU 4UVEFOU 4UVEFOU %FFQ.VUVBM-FBSOJOH %.- p1 p2 p1 p2 -BSHF 4NBMM m1 m2 ํͷΤοδ -BSHF 4NBMM m1 m2 ํͷΤοδ άϥϑදݱ
w ิॿϊʔυ͕ධՁରϊʔυͷֶशΛαϙʔτ͢Δ ϊʔυɿਂֶशϞσϧ Τοδɿࣝৠཹͷଛࣦ ࣝసҠάϥϑ ϊʔυ͕ͷ߹ த෦େֶϩΰ த෦େֶϩΰ
𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 ਖ਼ղϥϕϧ ධՁରϊʔυ 3FT/FU ิॿϊʔυ 3FT/FU 8JEF3FT/FU %FOTF/FU …
w ֤ΤοδʹҟͳΔଛࣦؔΛఆٛ ଛࣦؔͷΈ߹ΘͤΛ୳ࡧ͢Δ͜ͱͰ৽ͨͳֶशํ๏Λ࣮ݱ ࣝసҠάϥϑ ϊʔυ͕ͷ߹ த෦େֶϩΰ த෦େֶϩΰ 𝑚
3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 ଛࣦؔ 𝐿 = 𝐻 ( 𝑝 ^ 𝑦 , 𝑝 𝑛 ) 𝐿 = 𝐾 𝐿 ( 𝑝 𝑛 || 𝑝 𝑚 ) 𝐿 = 0 … ˠଟ༷ͳࣝసҠΛදݱ͢ΔϑϨʔϜϫʔΫΛઃܭ ʮݰਓ࣮ߦᶃʯ
w ϊʔυ̎ TPVSDF ͔Βϊʔυ̍ EFTUJOBUJPO ͷࣝసҠ ΤοδͷࣝసҠͷଛࣦܭࢉ த෦େֶϩΰ த෦େֶϩΰ
𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 -PTT GVOD 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 p2 (c|x) p1 (c|x) L2,1 (p2 , p1 ) 'PSXBSE
w ϊʔυ̎ TPVSDF ͔Βϊʔυ̍ EFTUJOBUJPO ͷࣝసҠ ΤοδͷࣝసҠͷଛࣦܭࢉ த෦େֶϩΰ த෦େֶϩΰ
𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 -PTT GVOD 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) #BDLQSPQ %FUBDI #BDLXBSE
w ϊʔυ̎ TPVSDF ͔Βϊʔυ̍ EFTUJOBUJPO ͷࣝసҠ ΤοδͷࣝసҠͷଛࣦܭࢉ த෦େֶϩΰ த෦େֶϩΰ
𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 -PTT GVOD 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) Gate KL div 'PSXBSE p2 (c|x) p1 (c|x)
w ͲͷΑ͏ʹࣝసҠ͢Δ͔Λ੍ޚ ήʔτؔ த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1
𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) 'PSXBSE p2 (c|x) p1 (c|x) Gate KL div $VUPGG(BUF -JOFBS(BUF 5ISPVHI(BUF $PSSFDU(BUF
w ೖྗ͞ΕͨΛͦͷ··ग़ྗ͢Δ ήʔτؔɿ5ISPVHI(BUF த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1
𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) $VUPGG(BUF -JOFBS(BUF $PSSFDU(BUF 5ISPVHI(BUF 𝐺 ( 𝐷 𝐾 𝐿 ) = 𝐷 𝐾 𝐿 มߋΛՃ͑ͣɺ ͦͷ··ୡ 'PSXBSE p2 (c|x) p1 (c|x) Gate KL div
w ೖྗʹରͯ͠ৗʹΛग़ྗ ήʔτؔɿ$VUP ff (BUF த෦େֶϩΰ த෦େֶϩΰ 𝑚 3
𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) $VUPGG(BUF -JOFBS(BUF $PSSFDU(BUF 5ISPVHI(BUF ৗʹΛग़ྗ Τοδͷஅ 𝐺 ( 𝐷 𝐾 𝐿 ) = 0 'PSXBSE p2 (c|x) p1 (c|x) Gate KL div
w ֶश͕࣌ؒܦաͱͱʹग़ྗ͕ঃʑʹେ͖͘ͳΔ ήʔτؔɿ-JOFBS(BUF த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1
𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) $VUPGG(BUF -JOFBS(BUF $PSSFDU(BUF 5ISPVHI(BUF Gate KL div ࣌ؒͱڞʹग़ྗ͕ େ͖͘ͳΔ 𝐺 ( 𝐷 𝐾 𝐿 ) = 𝑡 𝑡 𝑚 𝑎 𝑥 ∙ 𝐷 𝐾 𝐿 'PSXBSE p2 (c|x) p1 (c|x)
w ιʔεϊʔυ͕ਖ਼ղͨ͠߹ͷΈग़ྗ ήʔτؔɿ$PSSFDUHBUF த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1
𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) $VUPGG(BUF -JOFBS(BUF $PSSFDU(BUF 5ISPVHI(BUF Gate KL div ਖ਼ղͨ͠αϯϓϧͷ ใͷΈୡ 𝐺 ( 𝐷 𝐾 𝐿 ) = 𝛿 ^ 𝑦 , 𝑦 𝑚 2 ∙ 𝐷 𝐾 𝐿 'PSXBSE p2 (c|x) p1 (c|x)
w ͲͷΑ͏ʹࣝసҠ͢Δ͔Λ੍ޚ ήʔτؔ த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1
𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝑚 1 𝑚 2 𝐿 2,1 4PVSDF %FTUJOBUJPO 𝑚 2 𝑚 1 L2,1 (p2 , p1 ) 'PSXBSE p2 (c|x) p1 (c|x) Gate KL div $VUPGG(BUF -JOFBS(BUF 5ISPVHI(BUF $PSSFDU(BUF
w ϋΠύʔύϥϝʔλαʔνͰࣝసҠάϥϑΛ࠷దԽ ࠷దԽख๏"TZODISPOPVT4VDDFTTJWF)BMWJOH"MHPSJUIN "4)" ύϥϝʔλήʔτؔ ิॿϊʔυ ࣝసҠάϥϑͷ࠷దԽ
த෦େֶϩΰ த෦େֶϩΰ 𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦 ήʔτؔ • 5ISPVHI(BUF • $VUPGG(BUF • -JOFBS(BUF • $PSSFDU(BUF • 3FT/FU ධՁରϊʔυ • 3FT/FU • 3FT/FU • 8JEF3FT/FU ิॿϊʔυ શΈ߹Θͤɿ ௨Γʢϊʔυͷ߹ʣ
ࣝసҠάϥϑͷ࠷దԽ த෦େֶϩΰ த෦େֶϩΰ αʔόɹɹɹɹɿ ୳ࡧճɹɹɹɹɿ ճ ϑϨʔϜϫʔΫɹɿ0QUVOB
w ධՁରϊʔυɿ 3FT/FU w 7BOJMMBϞσϧɿ ࠷దԽʹΑͬͯ֫ಘͨࣝ͠సҠάϥϑʢୈҐʣ த෦େֶϩΰ த෦େֶϩΰ
ڭࢣϥϕϧ ධՁରϊʔυ ิॿϊʔυ QSFUSBJOFE ิॿϊʔυ ڭࢣϥϕϧ
w ධՁରϊʔυɿ 3FT/FU w 7BOJMMBϞσϧɿ ࠷దԽʹΑͬͯ֫ಘͨࣝ͠సҠάϥϑʢୈҐʣ த෦େֶϩΰ த෦େֶϩΰ
ิॿϊʔυ QSFUSBJOFE ิॿϊʔυ ධՁରϊʔυ ࣝৠཹ
w ධՁରϊʔυɿ 3FT/FU w 7BOJMMBϞσϧɿ ࠷దԽʹΑͬͯ֫ಘͨࣝ͠సҠάϥϑʢୈҐʣ த෦େֶϩΰ த෦େֶϩΰ
ิॿϊʔυ QSFUSBJOFE ิॿϊʔυ ධՁରϊʔυ ॳΊ,%ϥΠΫͳֶशɼ࣍ୈʹ,%ʴ%.-ͳֶश͕ߦΘΕΔ ɹ૬ޓֶशɹ
w ࣮ݧ֓ཁ σʔληοτɿ$*'"3 ֶशϊʔυɿ ࠷దԽରϊʔυɿ3FT/FU ैདྷख๏ ,%
%.- ͱͷൺֱ த෦େֶϩΰ த෦େֶϩΰ ख๏ ೝࣝ<> ิॿϊʔυͷϞσϧ *OEFQFOEFOU r ,% 3FT/FU QSFUSBJOFE %.- 3FT/FU 3FT/FU 0VST 3FT/FU QSFUSBJOFE 3FT/FU
࠷దԽʹΑͬͯ֫ಘͨࣝ͠సҠάϥϑ $*'"3 த෦େֶϩΰ த෦େֶϩΰ ϊʔυɿ ϊʔυɿ ϊʔυɿ
ϊʔυɿ ϊʔυɿ ϊʔυɿ *OEFQFOEFOU3FT/FU
࠷దԽʹΑͬͯ֫ಘͨࣝ͠సҠάϥϑ $*'"3 த෦େֶϩΰ த෦େֶϩΰ *OEFQFOEFOU3FT/FU ϊʔυɿ
w ࣝసҠάϥϑʹΞϯαϯϒϧϊʔυͱΞςϯγϣϯϩεΛಋೖ ΞςϯγϣϯϩεɿΤοδͷϩεʹΞςϯγϣϯϩεΛՃ Ξϯαϯϒϧϊʔυɿ֤ϊʔυͷग़ྗΛΞϯαϯϒϧ͢Δػߏ ࣝసҠάϥϑΛ༻͍ͨΞϯαϯϒϧֶश<0LBNPUP &$$7> த෦େֶϩΰ த෦େֶϩΰ
Ξϯαϯϒϧϊʔυ ^ 𝑦 𝐿 ^ 𝑦 , 𝑒 𝑒𝑛𝑠 𝑚 1 𝑚 2 𝑚 3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝐿 ^ 𝑦 ,3 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,1 𝐿 2,1 𝐿 1,2 𝐿 3,1 𝐿 1,3 𝐿 2,3 𝐿 3,2 𝐿 i,j = 𝐾 𝐿 ( 𝒑 i , 𝒑 j) ± 𝐿 𝐴 𝑇 ( 𝑸 i , 𝑸 j ) Ξςϯγϣϯϩε
w ϊʔυ͔̎Βϊʔυ̍ͷΞςϯγϣϯϩε ೋͭͷϞσϧؒͷΞςϯγϣϯΛ͚ۙͮͨΓ͢ޮՌ Ξςϯγϣϯϩε த෦େֶϩΰ த෦େֶϩΰ 4PVSDF %FTUJOBUJPO
𝑚 2 𝑚 1 p2 (c|x) p1 (c|x) 'PSXBSE 𝑚 1 𝑚 2 𝑚 3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝐿 ^ 𝑦 ,3 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,1 𝐿 2,1 𝐿 1,2 𝐿 3,1 𝐿 1,3 𝐿 2,3 𝐿 3,2 ,-EJW x x "UUFOUJPO "UUFOUJPO 𝑸 = 𝐶 ∑ 𝑖 =1 𝑨 𝑖 𝑝 ɿಛϚοϓ ɿνϟωϧ ɿϊϧϜ 𝑨 𝑖 𝐶 𝑝 ैདྷͷଛࣦ 𝐿 𝐴𝑇 𝐿 𝐴𝑇 ( 𝑸 2 , 𝑸 1 ) = 1 𝐽 𝐽 ∑ 𝑗 𝑸 𝑗 2 𝑸 𝑗 2 2 − 𝑸 𝑗 1 𝑸 𝑗 1 2 2 "UUFOUJPOଛࣦ (BUF 𝐿 2,1 = G( 𝐾𝐿 ( 𝒑 2 , 𝒑 1) ± 𝐿 𝐴 𝑇 ( 𝑸 2 , 𝑸 1 )) ͚ۙͮΔ ͢ + −
w ,-EJWFSHFODFͱΞςϯγϣϯϩεΛ#BDLQSPQͯ͠ Λߋ৽ 𝑚 1 ϊʔυ̎ TPVSDF ͔Βϊʔυ̍ EFTUJOBUJPO ͷࣝసҠ
த෦େֶϩΰ த෦େֶϩΰ 𝑚 2 𝑚 1 𝑚 1 𝑚 2 𝑚 3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝐿 ^ 𝑦 ,3 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,1 𝐿 1,2 𝐿 3,1 𝐿 1,3 𝐿 2,3 𝐿 3,2 x x 4PVSDF %FTUJOBUJPO ͚ۙͮΔ ͢ + − 𝐿 2,1 #BDLXBSE 𝐿 2,1 = G( 𝐾𝐿 ( 𝒑 2 , 𝒑 1) ± 𝐿 𝐴 𝑇 ( 𝑸 2 , 𝑸 1 )) ,-EJW 𝐿 𝐴𝑇 (BUF "UUFOUJPO "UUFOUJPO Detach Back-prop
w ΞϯαϯϒϧϊʔυΛλʔήοτϊʔυͱͯ͠࠷େԽ͢ΔΑ͏ʹ࠷దԽ ֤ϊʔυͷग़ྗΛฏۉʹΑΓΞϯαϯϒϧ͢Δػߏ Ξϯαϯϒϧϊʔυ த෦େֶϩΰ த෦େֶϩΰ ^ 𝑦
𝐿 ^ 𝑦 , 𝑒 𝑒𝑛𝑠 𝑚 1 𝑚 2 𝑚 3 ^ 𝑦 ^ 𝑦 ^ 𝑦 𝐿 ^ 𝑦 ,3 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,1 𝐿 2,1 𝐿 1,2 𝐿 3,1 𝐿 1,3 𝐿 2,3 𝐿 3,2 𝑚 1 𝑚 2 𝑒𝑛𝑠 Ξϯαϯϒϧϊʔυ 𝑚 3 Ξϯαϯϒϧػߏ 𝑝 ( 𝑐 𝑥 ) = 𝑝 1 ( 𝑐 𝑥 ) + 𝑝 2 ( 𝑐 𝑥 ) + 𝑝 3 ( 𝑐 | 𝑥 ) 𝑝 1 ( 𝑐 𝑥 ) 𝑝 2 ( 𝑐 𝑥 ) 𝑝 3 ( 𝑐 𝑥 ) 𝑝 ( 𝑐 𝑥 )
ࣝసҠάϥϑͷΞϯαϯϒϧޮՌ த෦େֶϩΰ த෦େֶϩΰ ˠࣝసҠάϥϑʹ͓͍ͯΞϯαϯϒϧਫ਼্͕
࠷దԽͨ͠ΞϯαϯϒϧࣝసҠάϥϑ ϊʔυɿʣ த෦େֶϩΰ த෦େֶϩΰ ˠҟͳΔΞςϯγϣϯϚοϓʢΞϯαϯϒϧʹదͨ͠ଟ༷ੑʣΛ֫ಘ w Ξϯαϯϒϧϊʔυɿ w 7BOJMMBϞσϧɿ
ೖྗը૾
࠷దԽͨ͠ΞϯαϯϒϧࣝసҠάϥϑ ϊʔυɿʣ த෦େֶϩΰ த෦େֶϩΰ ʹ͚ۙͮΔ ʹ͚ۙͮΔ ͔Β͢ ˠҟͳΔΞςϯγϣϯϚοϓʢΞϯαϯϒϧʹదͨ͠ଟ༷ੑʣΛ֫ಘ ʹ͚ۙͮΔ
͔Β͢ ͓ޓ͍ʹ͚ۙͮΔ ʹ͚ۙͮΔ ʹ͚ۙͮΔ ʹ͚ۙͮΔ ೖྗը૾ w Ξϯαϯϒϧϊʔυɿ w 7BOJMMBϞσϧɿ
ଟ༷ͳΞϯαϯϒϧϞσϧ͔Βͷࣝৠཹ த෦େֶϩΰ த෦େֶϩΰ w ࣝసҠάϥϑͷΞϯαϯϒϧΛڭࢣͱͯࣝ͠ৠཹ ڭࢣωοτϫʔΫɿࣝసҠάϥϑͰֶशͨ͠ෳͷ"#/ʢ3FT/FUʣ ੜెωοτϫʔΫɿ"#/ʢ3FT/FUʣ
ೖྗը૾ 𝒙 4UVEFOU/FUXPSL ωοτϫʔΫ 𝑚 1 𝒍 1 ( 𝒙 ) 𝒍 3 ( 𝒙 ) ωοτϫʔΫ 𝑚 3 𝒍 𝑒 𝑛 𝑠 ( 𝒙 ) 𝒑 𝑠 ( 𝒙 ) ڭࢣϥϕϧ ^ 𝑦 ࣝసҠ 𝒑 𝑒 𝑛 𝑠 ( 𝒙 ) Թ͖4PGUNBYؔ 5FBDIFS/FUXPSL 𝑒 𝑛 𝑠 𝑚 1 𝑚 2 𝑚 3 ࣝసҠάϥϑ
ଟ༷ͳΞϯαϯϒϧϞσϧ͔Βͷࣝৠཹ த෦େֶϩΰ த෦େֶϩΰ ࣝసҠάϥϑʹΑΔΞϯαϯϒϧΛৠཹ͢Δ͜ͱͰ ಉ͡ύϥϝʔλͰߴ͍ೝࣝੑೳΛൃش
ࣝసҠάϥϑʹΑΔڞಉֶश த෦େֶϩΰ த෦େֶϩΰ w ࣝసҠάϥϑΛఏҊ ̐छྨͷ(BUFؔʹΑΓɺࣝసҠΛ੍ޚ͢Δ͜ͱͰଟ༷ͳڞಉֶश ϋΠύʔύϥϝʔλαʔνʹΑΔ࠷దͳࣝసҠάϥϑΛ୳ࡧ
ࣝసҠάϥϑʹΑΔΞϯαϯϒϧֶश w ൃݟͨ͜͠ͱʢϊʔυͷ߹ʣ ,%ͱ%.-͕༥߹ͨࣝ͠సҠάϥϑैདྷ๏Λ͑Δਫ਼Λୡ ,%ͱ%.-ͷ༥߹ͨࣝ͠సҠάϥϑ 𝑚 3 𝑚 1 𝑚 2 𝐿 ^ 𝑦 ,1 𝐿 ^ 𝑦 ,2 𝐿 ^ 𝑦 ,3 𝐿 1,2 𝐿 1,3 𝐿 2,1 𝐿 3,1 𝐿 3,2 𝐿 2,3 ^ 𝑦 ^ 𝑦 ^ 𝑦
ૉਓൃݰਓ࣮ߦ த෦େֶϩΰ த෦େֶϩΰ w ࣝసҠάϥϑΛఏҊࣝసҠ グ ϥϑʹΑΔڞಉֶश<.JOBNJ .*36 "$$7>
ݚڀऀઃఆͱղ͖ํΛݶఆͤ ず ɼࣝసҠΛදݱ͢ΔϑϨʔϜϫʔΫΛݚڀऀ が ઐੑΛൃ شͯ͠ઃܭ ࠷దԽ୳ࡧΛߦ͏͜ͱ で ৽ͨͳݟΛൃݟ 4PGUXBSF ࣌ͷݚڀํ๏ ܭࢉػ が େͳ パ ϥϝʔλۭ͔ؒΒ༷Λຬͨ͢ プ ϩ グ ϥϜΛ୳ࡧ ʮૉਓൃݰਓ࣮ߦʯ ୳ࡧʹΑΓ֫ಘͨ͠৽ͨͳݟ が ࣍ͷ৽ͨͳݚڀͷॹͱͳΔ͜ͱΛظ ݚڀۭؒ ͜Ε·Ͱͷݚڀ ݚ ڀ ͷ ෳ ࡶ ͞ ૉਓൃݰਓ࣮ߦ
47 த෦େֶϩΰ த෦େֶϩΰ ࣝసҠάϥϑʹΑΔ࠷దͳڭࢣ͋Γਂڞಉֶशͷ୳ࡧ<ଜຊ +4"*> ʮૉਓൃݰਓ࣮ߦʯ ୳ࡧʹΑΓ֫ಘͨ͠৽ͨͳݟ が ࣍ͷ৽ͨͳݚڀͷॹͱͳΔ͜ͱΛظ
w ϥϕϧ͋Γσʔλͱϥϕϧͳ͠σʔλΛֶशʹར༻ Ξϊςʔγϣϯʢϥϕϧ͚ʣʹ͔͔Δίετݮ ֶश༻σʔλͷ֬อ͕༰қ ڭࢣ͋Γֶशʢ4FNJTVQFSWJTFEMFBSOJOH 44- ֶश༻σʔλʹର͢Δσʔλͷׂ߹
w Ұகੑਖ਼ଇԽʢ$POTJTUFODZSFHVMBSJ[BUJPOʣ ϥϕϧͳ͠σʔλʹઁಈΛ༩͠ɼͦͷը૾ʹର͢ΔҰகੑΛֶश ैདྷ๏ɿ NPEFM<-BJOF *$-3>ɼ.FBO5FBDIFS<5BSWBJOFO /FVS*14>ͳͲ w
ٖࣅϥϕϦϯάʢ1TFVEPMBCFMJOHʣ ༧ଌ݁ՌΛPOFIPUԽٖͯ͠ࣅϥϕϧΛϥϕϧͳ͠σʔλʹ༩ ϥϕϧ͋Γσʔλͱٖࣅϥϕϧ͋Γσʔλͷࠞ߹ηοτΛ༻͍ͯڭࢣ͋Γֶश ैདྷ๏ɿ1TFVEP-BCFM<-FF *$.->ͳͲ Π ڭࢣ͋Γֶशͷදతͳํ๏ ϥϕϧͳ͠σʔλ ༧ଌ /FUXPSL ٖࣅϥϕϧ͋Γσʔλ ʢϥϕϧͳ͠σʔλʣ )BSEUBSHFU ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ 予測1 摂動を付与 ٖࣅϥϕϦϯά ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ 予測1 摂動を付与 Ұ؏ੑਖ਼ଇԽ ϥϕϧͳ͠σʔλ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ 予測1 摂動を付与 ʴઁಈ ʴઁಈ ༧ଌ ༧ଌ ޡࠩ /FUXPSL
w ٖࣅϥϕϦϯάɿऑม࣌ͷ༧ଌ͕ᮢΛ͑ͨ߹ͷΈٖࣅϥϕϧΛੜ ऑมɿࠨӈస ฏߦҠಈ w Ұகੑଛࣦɿੜٖͨ͠ࣅϥϕϧͱڧม࣌ͷ༧ଌͷޡࠩ ڧมɿෳछͷը૾มʹΑΔڧ͍ઁಈʢ3BOE"VHNFOU<$VCVLF $713>ʣ
Ұகੑਖ਼ଇԽͱٖࣅϥϕϦϯάͷϋΠϒϦουɿ'JY.BUDI<4PIO /FVS*14> Ұ؏ੑଛࣦ ༧ଌ /FUXPSL ڧม ऑม ڭࢣ͋Γଛࣦ ϥϕϧ ༧ଌ ٖࣅϥϕϦϯά ϥϕϧ͋Γσʔλ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 予測2 摂動を付与 ϥϕϧͳ͠σʔλ )BSEUBSHFU ˠਓ͕ઃܭͨ͠Έ߹ΘͤͰ͋ΔͨΊ࠷దͳֶश๏ͱݶΒͳ͍
w ਓखʹΑΒͳ͍৽͍͠ڭࢣ͋Γڞಉֶश๏ͷ֫ಘ w Ξϓϩʔν ֤ैདྷ๏ΛͦΕͧΕάϥϑͰ౷Ұతʹදݱ άϥϑදݱͷߏཁૉΛϥϯμϜʹΈ߹Θͤͯߴਫ਼ͳֶश๏Λ୳ࡧ ຊݚڀͷత
ɾɾɾ άϥϑදݱ NPEFM Π .FBO5FBDIFS !! !" Parameter for Exponential Moving Average KL-div ɾɾɾ NPEFM Π .FBO5FBDIFS ैདྷ๏ Network !! " +$! Network !! +$! ′ &(!! , " + $! ′) BackProp Loss Graphical representation !! !! !! &(!! , " + $! ) KL-div KL-div Network EMA(%! ) ' +)! Exponential Moving Average Network %! +)! ′ +(EMA(%! ), ' + )! ) +(%! , ' + )! ′) Loss BackProp !! !" Parameter for Exponential Moving Average Graphical representation KL-div ྫɿ NPEFM .FBO5FBDIFS Π άϥϑߏͷ୳ࡧ !! KL-div !" Parameter for Exponential Moving Average KL-div ɾɾɾ
ɾɾɾ άϥϑදݱ NPEFM Π .FBO5FBDIFS !! !" Parameter for Exponential
Moving Average KL-div ɾɾɾ NPEFM Π .FBO5FBDIFS ैདྷ๏ Network !! " +$! Network !! +$! ′ &(!! , " + $! ′) BackProp Loss Graphical representation !! !! !! &(!! , " + $! ) KL-div KL-div Network EMA(%! ) ' +)! Exponential Moving Average Network %! +)! ′ +(EMA(%! ), ' + )! ) +(%! , ' + )! ′) Loss BackProp !! !" Parameter for Exponential Moving Average Graphical representation KL-div ྫɿ NPEFM .FBO5FBDIFS Π άϥϑߏͷ୳ࡧ !! KL-div !" Parameter for Exponential Moving Average KL-div ɾɾɾ w ֤ैདྷ๏ΛͦΕͧΕάϥϑͰ౷Ұతʹදݱ Έ߹Θ͕ͤ༰қʹͳΓϋΠύʔύϥϝʔλͷΑ͏ʹௐՄೳ ϊʔυɿωοτϫʔΫ Τοδɿଛࣦܭࢉ ैདྷͷڭࢣ͋Γֶश๏ΛάϥϑͰදݱ
w ڭࢣ͋ΓଛࣦͱҰகੑଛࣦ͕খ͘͞ͳΔΑ͏ʹֶश ڭࢣ͋Γଛࣦɿϥϕϧ͋Γσʔλͷ༧ଌͱϥϕϧͷޡࠩ Ұ؏ੑଛࣦɹɿϥϕϧͳ͠σʔλʹҟͳΔઁಈΛ༩ͨ࣌͠ͷ༧ଌؒͷޡࠩ ઁಈɿ%SPQPVUɼը૾ม Ұகਖ਼ଇԽͷදతͳख๏ɿ NPEFM<-BJOF *$-3>
Π Ұகੑଛࣦ ༧ଌ /FUXPSL ڭࢣ͋Γଛࣦ ϥϕϧ ༧ଌ ϥϕϧ͋Γσʔλ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 予測2 摂動を付与 ϥϕϧͳ͠σʔλ ʴઁಈ ʴઁಈ )BSEUBSHFU ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ 予測1 摂動を付与
w Ұகੑଛࣦɿ࢝ͷϊʔυͱऴͷϊʔυ͕ಉ͡ΤοδͰදݱ ,-EJWFSHFODFʢ,-EJWʣͰ༧ଌؒͷޡࠩΛܭࢉ NPEFMΛάϥϑͰදݱ Π KL(f(x), f(x′  ))
= C ∑ i fi (x)log fi (x) fi (x′  ) NPEFM Π άϥϑදݱ ɿ֬ʢ༧ଌ֬ʣ ɿΫϥε f(x), f(x′  ) C Network !! " +$! Network !! +$! ′ &(!! , " + $! ′) BackProp Loss Graphical representation !! !! !! &(!! , " + $! ) KL-div KL-div
w NPEFMʹࢦҠಈฏۉʢ&."ʣωοτϫʔΫΛಋೖֶͯ͠श ҰகੑଛࣦɿωοτϫʔΫͱ&."ωοτϫʔΫʹ͓͚Δ༧ଌؒͷޡࠩ &."ωοτϫʔΫͷॏΈωοτϫʔΫͷॏΈΛՃࢉ͢Δ͜ͱͰߋ৽ ॏΈύϥϝʔλͷΞϯαϯϒϧʹΑΓߴ͍ੑೳΛൃش͠ɼֶशΛิॿ Π Ұகੑਖ਼ଇԽͷදతͳख๏ɿ.FBO5FBDIFS<5BSWBJOFO /FVS*14>
ڭࢣ͋Γଛࣦ ϥϕϧ ϥϕϧ͋Γσʔλ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 予測2 摂動を付与 )BSEUBSHFU Ұகੑଛࣦ ༧ଌ /FUXPSL ༧ଌ ϥϕϧͳ͠σʔλ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 摂動を付与 ڭࢣ͋Γଛࣦ ϥϕϧ ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( ) *+, -./ 卡䇦: 卡䇦; ㏗俍> 冊卥 ϥϕϧ͋Γ σʔλ POFIPU ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ㏗俍> 冊卥 ϥϕϧͳ͠ σʔλ /FUXPSL ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( ) *+, -./ 卡䇦: ㏗俍> 冊卥 ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ༧ଌ ༧ଌ Ұ؏ੑଛࣦ ڭࢣ͋Γଛࣦ ϥϕϧ ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( ) *+, -./ 卡䇦: 卡䇦; ㏗俍> 冊卥 ϥϕϧ͋Γ σʔλ POFIPU ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( ) *+, -./ 卡䇦: 卡䇦; ㏗俍> 冊卥 ϥϕϧͳ͠ σʔλ /FUXPSL ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( ) *+, -./ 卡䇦: 卡䇦; ㏗俍> 冊卥 ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( 卡䇦: ㏗俍> 冊卥 ! " #$ % & ' ( ) *+, -./ ㎯1㌪刷 卡䇦 6〱 ! " #8 9 & ' ( 卡䇦: ㏗俍> 冊卥 ༧ଌ ༧ଌ Ұ؏ੑଛࣦ ʴઁಈ ʴઁಈ /FUXPSL
w &."ωοτϫʔΫʹՃࢉ͢ΔύϥϝʔλͷํΛΤοδͰදݱ &."ωοτϫʔΫɿύϥϝʔλ ͷࢦҠಈฏۉ Ͱߋ৽ θ1 EMA(θ1 ) .FBO5FBDIFSΛάϥϑͰදݱ
EMA(θ1,t ) = αEMA(θ1,t−1 ) + (1 − α)θ1,t ɿϋΠύʔύϥϝʔλ ɿֶशεςοϓ α t .FBO5FBDIFS άϥϑදݱ Network EMA(%! ) ' +)! Exponential Moving Average Network %! +)! ′ +(EMA(%! ), ' + )! ′) +(%! , ' + )! ) Loss BackProp !! !" Parameter for Exponential Moving Average Graphical representation KL-div
w ϥϕϧͳ͠σʔλʹٖࣅϥϕϧΛ༩ֶͯ͠श ֶशং൫ϥϕϧ͋ΓσʔλͷΈΛ༻͍ͯڭࢣ͋Γֶश ༧ଌΛͱʹϥϕϧͳ͠σʔλʹٖࣅϥϕϧΛ༩ʢ·ͨߋ৽ʣ ϥϕϧ͋Γσʔλͱٖࣅϥϕϧ͋Γσʔλͷࠞ߹ηοτΛ༻͍ͯڭࢣ͋Γֶश ̎ͱ̏Λ܁Γฦ͢
ϥϕϧ ༧ଌ ޡࠩ /FUXPSL ٖࣅϥϕϧ ͋Γσʔλ ࠞ߹ηοτ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 摂動を付与 ϥϕϧ͋Γ σʔλ ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 予測2 摂動を付与 ٖࣅϥϕϧ͋Γσʔλ )BSEUBSHFU ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 予測2 摂動を付与 ϥϕϧͳ͠σʔλ ༧ଌ /FUXPSL ラベルありデータ Network 正解情報 予測 誤差 ラベルなしデータ Network 予測1 予測2 摂動を付与 ٖࣅϥϕϦϯάͷදతͳख๏ɿ1TFVEP-BCFM<-FF *$.->
w ٖࣅϥϕϧʹର͢Δ༧ଌͷޡࠩΛٻΊΔ1TFVEP-PTTʹΑΓΤοδͰදݱ 1TFVEP-PTTɿٖࣅϥϕϧͱ༧ଌ֬ͷޡࠩ 1TFVEP-BCFMΛάϥϑͰදݱ <latexit sha1_base64="9XwaGSKqylX1+h8MvKMwyXtmIvQ=">AAACqXichVFNTxNBGH5Yv6B+UORi4qWxQUqAZtYQNCQmRDTx4IGChUaWbGaHabth9iO706Zls3+AP+DBEybGqD/Di0cuHOo/MB4x8eLBt9tNCBL1nczMM8+8zzvPzDihcmPN2GDMuHT5ytVr4xOF6zdu3posTt3eioNOJGRdBCqIGg6PpXJ9WdeuVrIRRpJ7jpLbzv7acH+7K6PYDfyXuh/KXY+3fLfpCq6JsotPLY/rtuAqeZHaSRjLtNKbe7yYsY6TPEvtXn82sSKvpIJW2qxYui01t82FUm/eOsjg7JxdLLMqy6J0EZg5KCOP9aD4Hhb2EECgAw8SPjRhBY6Y2g5MMITE7SIhLiLkZvsSKQqk7VCWpAxO7D6NLVrt5KxP62HNOFMLOkVRj0hZwgw7YR/YKfvCPrFv7NdfayVZjaGXPs3OSCtDe/LwzubP/6o8mjXaZ6p/etZo4lHm1SXvYcYMbyFG+u7B69PNlY2Z5D57y76T/yM2YJ/pBn73h3hXkxtvUKAPMP987otg60HVXK4u1ZbKq0/yrxjHXdxDhd77IVbxHOuo07kfcYwBvhrzRs1oGK9GqcZYrpnGuTDEb06spCc=</latexit> Lpse(x) = E
xy0logf(✓1, x + ⇣0 1 ) <latexit sha1_base64="9XwaGSKqylX1+h8MvKMwyXtmIvQ=">AAACqXichVFNTxNBGH5Yv6B+UORi4qWxQUqAZtYQNCQmRDTx4IGChUaWbGaHabth9iO706Zls3+AP+DBEybGqD/Di0cuHOo/MB4x8eLBt9tNCBL1nczMM8+8zzvPzDihcmPN2GDMuHT5ytVr4xOF6zdu3posTt3eioNOJGRdBCqIGg6PpXJ9WdeuVrIRRpJ7jpLbzv7acH+7K6PYDfyXuh/KXY+3fLfpCq6JsotPLY/rtuAqeZHaSRjLtNKbe7yYsY6TPEvtXn82sSKvpIJW2qxYui01t82FUm/eOsjg7JxdLLMqy6J0EZg5KCOP9aD4Hhb2EECgAw8SPjRhBY6Y2g5MMITE7SIhLiLkZvsSKQqk7VCWpAxO7D6NLVrt5KxP62HNOFMLOkVRj0hZwgw7YR/YKfvCPrFv7NdfayVZjaGXPs3OSCtDe/LwzubP/6o8mjXaZ6p/etZo4lHm1SXvYcYMbyFG+u7B69PNlY2Z5D57y76T/yM2YJ/pBn73h3hXkxtvUKAPMP987otg60HVXK4u1ZbKq0/yrxjHXdxDhd77IVbxHOuo07kfcYwBvhrzRs1oGK9GqcZYrpnGuTDEb06spCc=</latexit> Lpse(x) = E xy0logf(✓1, x + ⇣0 1 ) <latexit sha1_base64="9XwaGSKqylX1+h8MvKMwyXtmIvQ=">AAACqXichVFNTxNBGH5Yv6B+UORi4qWxQUqAZtYQNCQmRDTx4IGChUaWbGaHabth9iO706Zls3+AP+DBEybGqD/Di0cuHOo/MB4x8eLBt9tNCBL1nczMM8+8zzvPzDihcmPN2GDMuHT5ytVr4xOF6zdu3posTt3eioNOJGRdBCqIGg6PpXJ9WdeuVrIRRpJ7jpLbzv7acH+7K6PYDfyXuh/KXY+3fLfpCq6JsotPLY/rtuAqeZHaSRjLtNKbe7yYsY6TPEvtXn82sSKvpIJW2qxYui01t82FUm/eOsjg7JxdLLMqy6J0EZg5KCOP9aD4Hhb2EECgAw8SPjRhBY6Y2g5MMITE7SIhLiLkZvsSKQqk7VCWpAxO7D6NLVrt5KxP62HNOFMLOkVRj0hZwgw7YR/YKfvCPrFv7NdfayVZjaGXPs3OSCtDe/LwzubP/6o8mjXaZ6p/etZo4lHm1SXvYcYMbyFG+u7B69PNlY2Z5D57y76T/yM2YJ/pBn73h3hXkxtvUKAPMP987otg60HVXK4u1ZbKq0/yrxjHXdxDhd77IVbxHOuo07kfcYwBvhrzRs1oGK9GqcZYrpnGuTDEb06spCc=</latexit> Lpse(x) = E xy0logf(✓1, x + ⇣0 1 ) 1TFVEP-BCFM άϥϑදݱ ωοτϫʔΫ͕̎ͭͷ߹ Network !! or !" Pseudo-Labeling one-hot Network !! " +$! +$! ′ &(!! , " + $! ) Loss PseudoLoss !! !! !" PseudoLoss Graphical representation or BackProp
w ධՁରϊʔυͷਫ਼͕࠷େԽ͢ΔΑ͏ʹάϥϑߏΛ࠷దԽ ิॿϊʔυɿධՁରϊʔυͷֶशΛαϙʔτ Losses: ・KL-divergence ・PseudoLoss Gate functions: ・Through
Gate ・Cutoff Gate ・Linear Gate ・Threshold Gate Explore space: Models: ・ResNet32 ・WideResNet28-2 ・WideResNet28-6 ・EMA model Edge Node Backprop Detach Gate Loss ⋅ ධՁରϊʔυ ิॿϊʔυ άϥϑ࠷దԽʹΑΔڭࢣ͋Γਂڞಉֶश๏ͷ୳ࡧ
ධՁ݁Ռ ϥϕϧ͋Γσʔλ
BMM 4VQFSWJTFE 1TFVEP-BCFM .FBO5FBDIFS 'JY.BUDI 0VST ϊʔυ 0VST ϊʔυ NPEFM Π ਖ਼ղ<> ˠϥϕϧ͋ΓσʔλʹΑͬͯ࠷దͳڭࢣ͋Γֶश๏ҟͳΔ ଟ͍߹ʢ ʣɿ1TFVEP-BCFM͕ߴਫ਼ গͳ͍߹ʢ ʙ ʣɿ NPEFM .FBO5FBDIFS͕ߴਫ਼ Π
ධՁ݁Ռ ϥϕϧ͋Γσʔλ
BMM 4VQFSWJTFE 1TFVEP-BCFM .FBO5FBDIFS 'JY.BUDI 0VST ϊʔυ 0VST ϊʔυ NPEFM Π ਖ਼ղ<> ˠैདྷ๏ͱൺ୳ࡧͨ͠ख๏ʢ0VSTʣͷਫ਼͕࠷ߴ͍ ʴ̒ ʴ
w ࠷దԽͨ͠άϥϑߏΛௐࠪ ڭࢣ͋Γֶशͷ w ௐࠪ ֶशܦաʹ͓͚Δڭࢣ͋Γڞಉֶशͷ ϥϕϧ͋Γσʔλʹ͓͚Δڭࢣ͋Γڞಉֶशͷ
ϊʔυͷมԽʹ͓͚Δڭࢣ͋Γڞಉֶशͷ ࠷దԽͨ͠άϥϑߏ
w ϊʔυɿ̎ɼϥϕϧ͋Γσʔλɿ ʢগͳ͍ʣ ਖ਼ղɿ<> ࠷దԽͨ͠άϥϑߏɿֶशܦաʹ͓͚Δ<> (BUFؔ ֶशํ๏ 1. ResNet32
(55.94%) Linear 2. WRN28_6 (57.81%) Linear Linear Label Through Label Through 1. ResNet32 (55.94%) Consistency 2. WRN28_6 (57.81%) KD Consistency Label Supervised Label Supervised ڭࢣ͋Γֶश ڭࢣ͋Γֶश ֶशং൫ɿݸʑͷϊʔυͰಠཱʹڭࢣ͋Γֶश
w ϊʔυɿ̎ɼϥϕϧ͋Γσʔλɿ ʢগͳ͍ʣ ਖ਼ղɿ<> ࠷దԽͨ͠άϥϑߏɿֶशܦաʹ͓͚Δ<> (BUFؔ ֶशํ๏ 1. ResNet32
(55.94%) Linear 2. WRN28_6 (57.81%) Linear Linear Label Through Label Through ֶशং൫ɿݸʑͷϊʔυͰಠཱʹڭࢣ͋Γֶश 1. ResNet32 (55.94%) Consistency 2. WRN28_6 (57.81%) KD Consistency Label Supervised Label Supervised ˠֶशલͱޙͰҟͳΔֶशઓུ͕ޮՌత ֶशऴ൫ɿݸʑͷϞσϧ͕ NPEFMʹΑΔֶशʹมԽͭͭ͠ɼ̎൪ϊʔυ͔Βৠཹ Π NPEFM Π NPEFM Π ৠཹ
w ϊʔυɿ̎ɼϥϕϧ͋Γσʔλɿ ʢଟ͍ʣ ਖ਼ղɿ<> ࠷దԽͨ͠άϥϑߏɿֶशܦաʹ͓͚Δ<> (BUFؔ ֶशํ๏ 1. ResNet32
(62.76%) Linear 2. WRN28_6 (60.4%) Through 1. ResNet32 (62.76%) Consistency 2. WRN28_6 (60.4%) PseudoLabeling ֶशࡁΈϞσϧ ٖࣅϥϕϦϯά ֶशং൫ɿࣄલֶशϞσϧͷٖࣅϥϕϦϯάͰֶश NPEFM Π ֶशऴ൫ɿٖࣅϥϕϦϯάͱ NPEFMͰֶश Π ˠֶशऴ൫ʹҰகੑਖ਼ଇԽʢ NPEFMʣͰֶश͢Δ͜ͱ͕ޮՌత Π
ֶशܦաʹ͓͚Δɿ6."1ʹΑΔՄࢹԽ FQPDI FQPDI 1. ResNet32 (62.76%) Consistency 2. WRN28_6 (60.4%)
PseudoLabeling ֶशࡁΈϞσϧ ٖࣅϥϕϦϯά NPEFM Π ˠֶशޙͷҰகੑਖ਼ଇԽʢ NPEFMʣʹΑΓΫϥελԽ͕ਐΉ Π 1. ResNet32 (62.76%) Consistency 2. WRN28_6 (60.4%) PseudoLabeling ֶशࡁΈϞσϧ ٖࣅϥϕϦϯά
w ϥϕϧ͋Γσʔλ͕গͳ͍ʢ ຕʣ߹ ࠷దԽͨ͠άϥϑߏɿϥϕϧ͋Γσʔλʹ͓͚Δ<> 4,000 label 2,000 label 6,000 label
1. ResNet32 (55.94%) Consistency 2. WRN28_6 (57.81%) KD Consistency Label Supervised Label Supervised <> <> ֶशํ๏ʢϊʔυ̎ʣ ֶशํ๏ʢϊʔυ̏ʣ ϥϕϧ͋Γσʔλ͕গͳ͍߹ɿ Ұகੑਖ਼ଇԽʢ NPEFMʣͱৠཹʢ૬ޓֶशʣ͕ޮՌత Π ৠཹ NPEFM Π NPEFM Π NPEFM Π .FBO5FBDIFS ૬ޓֶश
w ϥϕϧ͋Γσʔλ͕ଟ͍ʢ ຕʣ߹ ࠷దԽͨ͠άϥϑߏɿϥϕϧ͋Γσʔλʹ͓͚Δ<> ֶशํ๏ʢϊʔυ̎ʣ ֶशํ๏ʢϊʔυ̏ʣ <> <> Gate関数 学習方法
Gate function Learning method 1. ResNet32 (62.76%) Consistency 2. WRN28_6 (60.4%) PseudoLabeling ֶशࡁΈϞσϧ ٖࣅϥϕϦϯά ٖࣅϥϕϦϯά ϥϕϧ͋Γσʔλ͕ଟ͍߹ɿ ˠධՁରϊʔυٖࣅϥϕϦϯάΛ༻ֶ͍ͯश
w ϊʔυͷ߹ ࠷దԽͨ͠άϥϑߏɿϊʔυ͕ଟ͍࣌ͷ ֶशํ๏ ʢϥϕϧ͋Γσʔλ ຕʣ ֶशํ๏ ʢϥϕϧ͋Γσʔλ ຕʣ <>
<> Gate関数 学習方法 Gate function Learning method label 6,000 label 10,000 label 8,000 label .FBO5FBDIFS .FBO5FBDIFS ૬ޓֶश ิॿϊʔυ.FBO5FBDIFSΛแˠࢦҠಈฏۉϞσϧͰΑΓྑ͍5FBDIFSΛֶश ϊʔυ͕ଟ͍߹.FBO5FBDIFSͰิॿϊʔυΛվળ͢Δ͜ͱ͕ޮՌత ɹˠڭࢣ͋Γڞಉֶश
w ධՁରϊʔυʹରͯ͠खಈͰΤοδΛՃ ϥϕϧ͔ΒͷΤοδɹɹɹɹɹɹɿڭࢣ͋Γֶश ධՁରϊʔυ͔Β̎ͷΤοδɿ.FBO5FBDIFSͱͷ૬ޓֶश ୳ࡧͰಘͨݟΛ׆͔ͨ͠खಈઃܭʹΑΔߋͳΔվળ ख࡞ۀͰઃܭͨ͠άϥϑʢʣ ୳ࡧͰ֫ಘͨ͠άϥϑʢʣ QU্
୳ࡧͰಘͨάϥϑͱݟΛ׆͔͠खಈઃܭͰ͞Βʹվળ .FBO5FBDIFSͰิॿϊʔυΛվળͭͭ͠ ٖࣅϥϕϦϯάͰֶश .FBO5FBDIFSͰิॿϊʔυΛվળͭͭ͠ ٖࣅϥϕϦϯάͰ NPEFMͱ૬ޓֶश Π ֶशํ๏ ֶशํ๏ 学習方法 n Learning method .FBO5FBDIFS ٖࣅϥϕϦϯά Gate関数 学習方法 Gate function Learning method .FBO5FBDIFS ٖࣅϥϕϦϯά Ұ؏ੑਖ਼ଇԽ ૬ޓֶश 'FFECBDL ڭࢣ͋Γֶश -BCFM
w άϥϑ୳ࡧʹΑΓ৽͍͠ڭࢣ͋Γڞಉֶश๏Λ୳ࡧ άϥϑ୳ࡧʹΑΓಘΒΕͨޮՌతͳڭࢣ͋Γڞಉֶशʹ͓͚Δݟ ֶशͷܦաͱͱʹֶशઓུΛมԽͤ͞Δ͜ͱͰߴਫ਼Խ ֶशޙʹҰ؏ੑਖ਼ଇԽʢ NPEFMʣΛߦ͏͜ͱ͕༗ޮ ϥϕϧ͋Γσʔλ͝ͱʹ࠷దͳֶशઓུҟͳΔ
ϥϕϧ͋Γσʔλ͕ଟ͍߹ٖࣅϥϕϦϯάͰͷֶश͕༗ޮɹ ෳϞσϧΛ༻͍ͨڞಉֶशڭࢣ͋Γֶशʹ༗ޮ ϊʔυ͕ଟ͍߹.FBO5FBDIFSͰิॿϊʔυΛվળ͢Δ͜ͱͰޮՌతͳڭࢣ͋ΓڞಉֶशΛ࣮ݱ ୳ࡧͰಘͨάϥϑͱݟΛ׆͔͠खಈઃܭͰ͞Βʹվળ ϊʔυɼϥϕϧ͋Γσʔλ ͷ୳ࡧͰಘͨάϥϑͷਫ਼ΛखಈઃܭͰQUվળ Π ·ͱΊɿࣝసҠάϥϑʹΑΔ࠷దͳڭࢣ͋Γਂڞಉֶशͷ୳ࡧ
ૉਓൃݰਓ࣮ߦ த෦େֶϩΰ த෦େֶϩΰ ʲϑΣϩʔ͔Βͷϝοηʔδʳ ใɾγεςϜιαΠΤςΟࢽ ୈ 26 רୈ 4
߸ʢ௨ר 105 ߸ʣ ૉਓൃݰਓ࣮ߦ 2.0 ϑΣϩʔ ౻٢ ߂ த෦େֶ ʮண؟େہணखখہɼૉਓൃݰਓ࣮ߦʯɼ 2006 8 ݄ʹࡏ֎ݚڀͰถࠃΧʔωΪʔϝϩϯ େֶϩϘοτֶݚڀॴʹ 1 ؒࡏ͠ɼؼࠃ ͷࡍʹۚग़༤ઌੜ͔Β͍ͨݴ༿Ͱ͋Δɽ ʮૉ ਓൃݰਓ࣮ߦʯͱɼ ۚग़ઌੜͷஶॻ [1] ʹΑ Δͱɼ ʮൃ୯७ɼૉɼࣗ༝ɼ؆୯Ͱͳ͚Ε ͳΒͳ͍ɽ͔͠͠ɼൃΛ࣮ߦʹҠ͢ʹ ͕͍ࣝΔɼख़࿅͞Εٕ͕͍ͨΔʯͱ͍͏͜ͱͰ ͋ΔɽචऀͦΕҎདྷɼ͜ͷݴ༿ΛϞοτʔʹ ͯ͠ݚڀʹऔΓΜͰ͍Δɽ ͔͠͠ɼ ʮݴ͏қ ͘ɼߦ͏͠ʯͷయܕͰ͋Γɼ࣮ફ͢Δͷ ͳ͔ͳ͔͍͠ɽଟ͘ͷจΛಡΜͰ͍͘ͱ ͕ࣝਂ·Γઐੑߴ͘ͳΔ͕ɼͦΕ͕োนͱ ͳͬͯɼຊ࣭Ͱͳ͘খ͞ͳ͜ͱʹணͨ͠ ઃఆΛߦ͍͕ͪͰ͋Δɽ·ͨɼຊ࣭Λଊ͑ͯ Λ۪ͤͣʹ࣮͢Δͱ͏·͘ಈ͔ͳ͍ ͜ͱ͕͋Δɽ ຊߘͰɼ 10 Λܦͯʮૉਓൃ ݰਓ࣮ߦʯʹগ͚͚ͩۙͮͨ͠ͷͰͱࢥ͏ චऀΒͷݚڀ 2 ྫʹ͍ͭͯհ͠ɼ࠷ۙɼࣗ ͳΓʹࢥ͍ඳ͘ʮૉਓൃݰਓ࣮ߦʯͷΞοϓ σʔτΛڞ༗͍ͨ͠ɽ 2010 ࠒɼը૾ؒͷରԠϚονϯάͷͨΊ ͷಛݕग़ɾهड़ͷݚڀ͕ଟ͘औΓ·Εͯ ͍ͨɽதͰɼࣹӨมԽΛ͏ը૾ؒͷରԠ ϚονϯάɼΩʔϙΠϯτͷಛΛදݱ͢Δ ΞϑΟϯྖҬΛٻΊΔඞཁ͕͋Γɼ͍͠ Ͱ͋ͬͨɽैདྷख๏ͰɼΩʔϙΠϯτʹର͠ ͯҰͭͷΞϑΟϯྖҬ͔͠ਪఆ͠ͳ͍ͨΊɼը ૾ͷมܗΩʔϙΠϯτͷҐஔͣΕͷӨڹʹΑ ΓҟͳΔΞϑΟϯྖҬΛਪఆͯ͠͠·͏ͱ͍͏ ͕͋ͬͨɽ͜Εɼہॴత୳ࡧΛߦ͏͜ͱ ͕ݪҼͰ͋Γɼ ʮண؟খہணखখہʯͱݴ͑Δɽ 2015 ʹචऀΒ͕ࠃࡍձٞ ICCV ʹͯൃදͨ͠ ʮඇํੑ LoG ϑΟϧλʹΑΔෳͷΞϑΟϯ ྖҬͷਪఆʯ [2] Ͱɼ༷ʑͳପԁܗঢ়ͷඇํ ੑ LoG ϑΟϧλΛ༻͍ͯෳͷΞϑΟϯྖҬΛ ਪఆ͢Δ͜ͱΛఏҊͨ͠ɽγϯϓϧʹɼҰͭͰ ͳ͘ෳͷྖҬ͕͋ͬͯΑ͍ͷͰɼͱ͍ ͏ʮૉਓൃʯͰ͋Δɽ ͔͠͠ɼ ͍࣮͟ͱͳΔ ͱɼ ඇํੑ LoG ϑΟϧλʹ x ํͷεέʔ ϧɼy ํͷεέʔϧɼճస֯ͷ 3 ύϥϝʔλ ͕͋ΓɼͦͷΈ߹ΘͤઍछྨͱͳΔɽෳ ͷΞϑΟϯྖҬΛਪఆ͢ΔͨΊɼযΔ͕༨Γ ͜ͷઍछྨͷϑΟϧλશͯΛΈࠐΉॲཧΛ ͜ͷ··ߦ͏ͱɼେͳܭࢉίετ͕ඞཁͱͳ Δɽ ͦ͜Ͱɼ ʮݰਓ࣮ߦʯͱͯ͠ɼઍछྨͷඇ ํੑ LoG ϑΟϧλ܈ΛಛҟղʹΑΓٻ Ίͨ 14 छྨͷݻ༗ϑΟϧλͰۙࣅ͠ɼΈࠐ ΈॲཧΛޮతʹܭࢉ͢Δ͜ͱʹͨ͠ɽ͜Εʹ ΑΓɼෳͷΞϑΟϯྖҬΛޮతʹٻΊΔ͜ ͱ͕Ͱ͖ɼࣹӨมԽΛ͏ը૾ؒͷରԠϚο νϯάͷߴਫ਼ԽΛ࣮ݱͨ͠ɽ͜ͷݚڀʹ͓͍ ͯɼ ʮૉਓൃݰਓ࣮ߦʯͷݴ༿͕ݚڀͷํੑ ਐΊํΛܾΊΔखॿ͚Λͯ͘͠ΕͨΑ͏ʹࢥ ͑ɼ2006 ͔Β 10 ΛܦͯɼΑ͏͘ʮૉ ਓൃݰਓ࣮ߦʯʹҰา͚ۙͮͨͱࢥ͑Δݚڀ Ͱ͋ͬͨɽ͜ͷݚڀҎޙɼৗʹɼૉਓൃͰ ݰਓ࣮ߦʹͳ͍ͬͯΔ͔Λࣗࣗ͠ͳ͕Βݚ ڀʹऔΓΜͰདྷͨɽ 2012 Ҏ߱ɼਂֶश͕ओମͱͳͬͨίϯϐ 16 IUUQTXXXKTUBHFKTUHPKQBSUJDMFJFJDFJTTKPVSOBM@@BSUJDMFDIBSKB
ίϯϐϡʔλϏδϣϯ࠷લઢ த෦େֶϩΰ த෦େֶϩΰ IUUQTXXXLZPSJUTVQVCDPKQCPPLEFUBJM ίϯϐϡʔλϏδϣϯ࠷લઢ Spring 2022 ʗר಄ݴ 5
ר಄ݴ Spring 2022 Visual HullతνϡʔτϦΞϧͷεεϝ ˙౻٢߂ 2000 લޙʹऔΓ·Ε͍ͯͨίϯϐϡʔλϏδϣϯͷΞϧΰϦζϜͰ͋Δ ࢹମੵަࠩ๏ʢvisual hullʣΛ͝ଘͩΖ͏͔ɻࢹମੵަࠩ๏ɼLaurentini ͕ఏҊͨ͠ Shape-from-silhouette ʹΑΔ 3D ࠶ߏख๏Ͱ͋Δɻ·ͣɼΧϝ ϥࢹ͔ΒγϧΤοτը૾1) Λ༻͍ͯ෮ݩରͷΦϒδΣΫτΛӨͨ͠γϧ 1) γϧΤοτը૾ͷલܠϚεΫ ɼ෮ݩରԠͰ͋ΔΦϒδΣ Ϋτͷ 2 ࣍ݩӨͰ͋Δɻ Τοτԁਲ਼Λ࡞͢ΔɻҟͳΔࢹͰࡱӨͨ͠γϧΤοτը૾͔Βੜ͞Εͨ ԁਲ਼ͷަ Visual Hull ͱݺΕɼ͜ͷަΛٻΊΔ͜ͱͰΦϒδΣΫτͷ 3 ࣍ݩܗঢ়ͷ෮ݩ͕ՄೳͱͳΔɻਤ 1 ɼCV ͳΒͼʹ CG քͰ༗໊ͳ “Stanford Bunny” ʢhttp://graphics.stanford.edu/data/3Dscanrep/ʣ ͱݺΕΔ 3D Φ ϒδΣΫτΛ෮ݩͨ͠ྫͰ͋Δɻগͳ͍ࢹͷγϧΤοτը૾͔Β෮ݩͨ͠ 3 ࣍ݩܗঢ়ɼຊདྷͷόχʔͷ 3 ࣍ݩܗঢ়ʹͳ͍ͬͯͳ͍ɻҰํͰɼଟͷҟͳΔ ࢹͷγϧΤοτը૾Λ༻͍Δͱɼਖ਼֬ͳ 3 ࣍ݩܗঢ়Λ෮ݩ͢Δ͜ͱ͕Ͱ͖Δɻ ͜ΕɼݪஶจΛಡΉ͜ͱʹ͓͍ͯಉ༷Ͱ͋Δͱࢲࢥ͏ɻจͷຊ࣭ ͕Ͳ͜ʹ͋Δ͔Λਂ͘ཧղ͢ΔʹɼҰࢹ͔ΒಡΈࠐΉͷͰͳ͘ɼҟͳΔ (a) 3 ࢹ (b) 80 ࢹ ʜ A B C A B C γϧΤοτը૾ ෮ݩ݁Ռ ਤ 1 ࢹମੵަࠩ๏ʢvisual hullʣ ɻhttp://www.sanko-shoko.net/note.php? id=tjly ͷίʔυΛར༻ͯ͠࡞ɻ ί ϯϐϡʔλ Ϗδϣ ϯ࠷લઢɹ 4QSJOH Ҫ৲ળٱɾ ڇٱɾ ยԬ༟༤ɾ ౻٢߂ฤ IUUQTXXXLZPSJUTVQVCDPKQCPPLEFUBJM
.13(5PVS 74 த෦େֶϩΰ த෦େֶϩΰ IUUQTXXXZPVUVCFDPNXBUDI W(LV,'5&
ػց֮ϩϘςΟΫεݚڀάϧʔϓ த෦େֶϩΰ த෦େֶϩΰ ڭत ౻٢߂ Hironobu Fujiyoshi E-mail:
[email protected]
1997
த෦େֶେֶӃത࢜ޙظ՝ఔमྃ, 1997 ถΧʔωΪʔϝϩϯେֶϩϘοτֶݚڀॴPostdoctoral Fellow, 2000 த෦େֶֶ෦ใֶՊߨࢣ, 2004 த෦େֶ।ڭत, 2005 ถΧʔωΪʔϝϩϯେֶϩϘοτֶݚڀॴ٬һݚڀһ(ʙ2006), 2010 த෦େֶڭत, 2014໊ݹେֶ٬һڭत. ܭࢉػࢹ֮ɼಈը૾ॲཧɼύλʔϯೝࣝɾཧղͷݚڀʹैࣄɽ ϩϘΧοϓݚڀ(2005)ɼใॲཧֶձจࢽCVIM༏लจ(2009)ɼใॲཧֶձࢁԼه೦ݚڀ(2009)ɼը૾ηϯγϯάγϯϙδϜ༏लֶज़(2010, 2013, 2014) ɼ ిࢠใ௨৴ֶձ ใɾγεςϜιαΠΤςΟจ(2013)ଞ ڭत ࢁԼོٛ Takayoshi Yamashita E-mail:
[email protected]
2002 ಸྑઌՊֶٕज़େֶӃେֶത࢜લظ՝ఔमྃ, 2002 ΦϜϩϯגࣜձࣾೖࣾ, 2009 த෦େֶେֶӃത࢜ޙظ՝ఔमྃ(ࣾձਓυΫλʔ), 2014 த෦େֶߨࢣɼ2017 த෦େֶ।ڭतɼ2021 த෦େֶڭतɽ ਓͷཧղʹ͚ͨಈը૾ॲཧɼύλʔϯೝࣝɾػցֶशͷݚڀʹैࣄɽ ը૾ηϯγϯάγϯϙδϜߴ(2009)ɼిࢠใ௨৴ֶձ ใɾγεςϜιαΠΤςΟจ(2013)ɼిࢠใ௨৴ֶձPRMUݚڀձݚڀྭ(2013)डɽ ߨࢣ ฏཌྷ Tsubasa Hirakawa E-mail:
[email protected]
2013 ౡେֶେֶӃത࢜՝ఔલظऴྃɼ2014 ౡେֶେֶӃത࢜՝ఔޙظೖֶɼ2017 த෦େֶݚڀһ (ʙ2019)ɼ2017 ౡେֶେֶӃത࢜ޙظ՝ఔमྃɽ2019 த෦େֶಛॿڭɼ2021 த෦େֶߨࢣɽ2014 ಠཱߦ๏ਓຊֶज़ৼڵձಛผݚڀһDC1ɽ2014 ESIEE Paris٬һݚڀһ (ʙ2015)ɽ ίϯϐϡʔλϏδϣϯɼύλʔϯೝࣝɼҩ༻ը૾ॲཧͷݚڀʹैࣄ