第58回 コンピュータビジョン勉強会@関東 深層学習+3D論文読み会 Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields
Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance FieldsAuthors: Jonathan T. Barron, Ben Mildenhall, Dor VerbinPresenter: @peisuke
View Slide
ࣗݾհ໊લɿ౻ຊ ܟհॴଐɿ"#&+"ʢ-BCTϥϘʣ෭ۀɿ.-Λத৺ʹ૬ஊ͔Β։ൃ·Ͱͬͯ·͢ੋඇ͓͕͚Լ͍͞׆ಈɿ5XJUUFS!QFJTVLF(JUIVC IUUQTHJUIVCDPNQFJTVLF2JJUB IUUQTRJJUBDPNQFJTVLF4MJEF4IBSF IUUQTXXXTMJEFTIBSFOFU'VKJNPUP,FJTVLF4QFBLFS%FDL IUUQTTQFBLFSEFDLDPNQFJTVLFগ͚ͩ͠ॻ͍ͯ·͢
֓ཁ• ͲΜͳจʁ• /F3'ͰϘϦϡʔϜϨϯμϦϯάʹ͓͍֤ͯͷ৭ɾີΛ//Ͱग़ྗ͢Δ͜ͱͰը૾Λੜ• /F3'ʹ͓͍ͯɺத৺͔Βԕ͍େͳۭؒΛ//Ͱ࠶ݱ͢Δ͜ͱ͕͘͠ɺத৺Ҏ֎ͷ෮ݩ͕͔ͬͨ͠Λղܾ• ʁ• ۭؒΛมͯ͠ԕ͍ྖҬΛখ͍͞ྖҬʹຒΊࠐΉ͜ͱͰԕ͞ͷΛղܾ• ͦͷଞʹɺৠཹʹΑΔߴԽɾਖ਼نԽʹΑΔϊΠζݮͳͲΛ͍ͯ͠Δ
ख๏ͷσϞ
/F3'ͷ֓ཁʢʣ• ۭؒͷʢҐஔ͖ͷ࣍ݩʣʹؔ͢Δ৭ɾີΛ༧ଌ͢ΔωοτϫʔΫ• ΧϝϥͷҐஔΛܾΊΔͱɺωοτϫʔΫͷग़ྗ͢ΔΛݩʹϘϦϡʔϜϨϯμϦϯά͢Δ͜ͱͰը૾Λੜ1PTJUJPOBM&ODPEJOH͞Εͨͷใ ࣍ϖʔδͰઆ໌ີ͔ΒXΛܭࢉ
/F3'ͷ֓ཁʢʣ• ۭؒͷΛߴ࣍ݩͷಛྔʹมʢQPTJUJPOBMFODPEJOHɺ1&ʣ͢Δ͜ͱͰߴਫ਼Խ𝛾 𝒙 = sin 2!𝒙𝜋 , cos 2!𝒙𝜋 , … , sin 2"𝒙𝜋 , cos 2"𝒙𝜋
NJQ/F3'ͷ֓ཁʢʣ• 𝛾 𝒙 Λͱͯ͠ѻ͍ɺͦͷҐஔͷ৭ΛϨϯμϦϯά͢ΔͱɺपғͷใΛಘΒΕͣδϟΪʔ͕ൃੜ͢Δ• ࢹઢΛίʔϯͰଊ͑ɺίʔϯͷੵΛ༻͍ΔࣄͰߴਫ਼Խ• ίʔϯΛΨεͰۙࣅɺ1&ͷظΛ͏͜ͱͰɺੵΛ؆қతʹܭࢉͰͳ͘ɺ֤ྖҬͷ1&ͷظΛ͏
NJQ/F3'ͷ֓ཁʢʣ• 1&ͨ͠ಛྔͷظΛऔΔͱɺࢹ͔Βԕ͍ྖҬͰߴपྖҬ͕খ͘͞ͳΔ• ڑʹԠͨ͡ૈ͞ΛՃຯͯ͠ωοτϫʔΫ͕৭Λग़ྗͯ͘͠ΕΔࢹۙ͘Ͱɺ͕ڱ͍ͨΊߴपྖҬͷใ͕Δࢹ͔ΒΕΔͱɺ͕͘ͳΔͨΊपͷΈʹͳΔ
NJQ/F3'ͷ՝• Χϝϥ͔Βԕ͍ྖҬίʔϯ͕େ͖͘ͳΔ• த৺ʹ͋ΔମҎ֎ͷपғڥͷ෮ݩ͕ࠔத৺ྖҬ΄Ͳࡉ͔͍ใ͕ඞཁपғͷใૈͯ͘ྑ͍֎ଆͷྖҬͷσʔλ͕ૄʹͳΔͨΊɺ্ख͘෮ݩͰ͖ͳ͍
4DFOFBOE3BZ1BSBNFUFSJ[BUJPO• த৺͔ΒܘͷྖҬ·ͰมΘΒͣ• ܘҎ্ͷྖҬɺԕ͘ͳΔ΄ͲڑΛॖΊɺܘͷྖҬʹແݶԕํ͕ऩ·ΔΑ͏ʹม• ࣍ۙࣅͯ͠ϠίϏߦྻΛ͍ΨεΛมਤͷପԁҎԼͰม
ৠཹΛ༻͍ͨߴԽʢʣ• NJQ/F3'Ͱɺ·ͣશҬΛૈཻ͍ͰϨΠτϨʔγϯά͠ɺମ͕Կॲʹ͋Δͷ͔Λେ·͔ʹѲ• ࣍ʹɺମ͕ଘࡏ͢ΔҐஔʹ੍ݶ͠ɺ࠶ϨΠτϨʔγϯά• ͜ΕΛ܁Γฦ͢͜ͱͰৄࡉͳܗঢ়Λ෮ݩՄೳɺܭࢉ͕͍ͱ͍͏՝͕͋Δ
ৠཹΛ༻͍ͨߴԽʢ̎ʣ• ૈ͍ྖҬ୳ࡧϑΣʔζͰɺ৭ͷใΛ࣋ͨͳ͍ɺΑΓখ͞ͳϞσϧʢ1SPQ.-1ʣͰମͷҐஔΛ୳ࡧ• ࠷ޙͷϨϯμϦϯάͷΈɺ৭ͷใΛ࣋ͭϞσϧʢ/F3'.-1ʣͰ୳ࡧ• ֤ϞσϧʹҰ؏ੑΛ࣋ͨͤΔͨΊɺωοτϫʔΫͷৠཹΛ༻͍Δ
ωοτϫʔΫͷৠཹʹ͍ͭͯ• /F3'.-1͔ΒಘΒΕΔମͷҐஔͷใΛ༻͍ͯɺ1SPQ.-1Λֶश͢Δ͜ͱͰҰ؏ੑΛอͭ• ྆ํͷωοτϫʔΫؒͰඞཁͱͳΔCJOͷີҟͳΔͷͰΛൺֱͨ͠ৠཹ͕ग़དྷͳ͍• /F3'.-1͔ΒಘΒΕΔॏΈͷώετάϥϜΑΓɺ1SPQ.-1ͷώετάϥϜ͕େ͖͘ͱ͍͏੍Λ͏• ͜ΕͪΐͬͱෳࡶͳͷͰ࣍ͷϖʔδͰઆ໌࠷ऴతʹɺମྖҬʹ͓͍ͯX͕େ͖͘ͳΔɻ·ͨɺૈ͍CJOͷ1SPQ.-1͕ಘΒΕΔ
• ϨΠ্ʹ͋ΔମͷॏΈXͷώετάϥϜΛߟ͑ΔώετάϥϜͷൺֱϨΠ্ͷମͷॏΈwମͷॏΈͷώετάϥϜ
ώετάϥϜͷൺֱ/F3'.-1ͷώετάϥϜ1SPQ.-1ͷώετάϥϜ /F3'.-1ͷͱ͋ΔྖҬ5JͷॏΈXJΑΓɺ5JΛؚΉྖҬ5KͷώετάϥϜXKͷ໘ੵͷํ͕େ͖͘ͳΔ
ਖ਼ଇԽ• /F3'Λֶश͢Δͱɺಛʹԕ͍ΤϦΞʹ͓͍ͯܗঢ়෮ݩͷͨΊͷใ͕Γͣෆྑઃఆ͕ൃੜ͠ɺϊΠζ͕ൃੜ• ਖ਼ଇԽʹΑͬͯϊΠζͷݮΛߦ͏
ਖ਼ଇԽ• ॏΈ͆ͷ͕ͳΔ͘σϧλؔʹۙ͘ͳΔΑ͏ͳ੍Λ͚ͭΔσϧλؔʹͳΔͱɺX VɺX W͕ڞʹͷ࣌ʹɺVW͕ʹ͖ۙͮɺͦΕҎ֎ɺΑ্ͬͯࣜθϩʹۙͮ͘𝑢 ≠ 𝑣ͷ࣌ʹɺw 𝑢 , 𝑤 𝑣 > 0Ͱ͋ΔͱϖφϧςΟͱͳΔ
ਖ਼ଇԽ• ઌఔͷੵܭࢉͰ͖ͳ͍͕ɺX֤ΠϯλʔόϧͰҰఆʹͳΔͷͰɺҎԼͷΑ͏ʹॻ͖දͤΔ• ޯΛܭࢉ͢ΔͱɺਤͷΑ͏ͳํʹॏΈ͕มԽ͢Δྗ͕ಇ͘
࠷దԽ• ը૾ͷ෮ݩϩεɺਖ਼ଇԽʹΑͬͯ/F3'.-1Λɺ࠷ޙͷ߲Ͱ1SPQ.-1Λֶश• Ϟσϧ• 1SPQ.-1ύϥϝʔλͷӅΕΛ࣋ͭɺϨΠϠʔͷ.-1• /F3'.-1ύϥϝʔλͷӅΕΛ࣋ͭɺϨΠϠʔͷ.-1ը૾ͷ෮ݩϩε ਖ਼ଇԽ߲ 1SPQ.-1ͷֶश
࣮ݧ݁Ռ• σʔλ• ৽͍͠σʔληοτɺͭͷ֎ɺͭͷ• ݅• /F3' NJQ/F3' /F3'ͱൺֱ• $0-."1ͰࣗݾҐஔਪఆ• ܭࢉڥ• 516WXJUIDPSFT• ࢦඪ• 14/3 44*. -1*14
ఆྔධՁ
ఆੑධՁ
·ͱΊ• NJQ/F3'ͷ՝Ͱ͋ͬͨԕํͷྖҬΛਫ਼ྑ͘෮ݩ͢Δख๏ΛఏҊ• 4DFOFBOE3BZ1BSBNFUFSJ[BUJPOʹΑΔԕํ෮ݩߴਫ਼ԽɺৠཹʹΑΔߴԽɺਖ਼ଇԽʹΑΔϊΠζআڈΛఏҊ