Upgrade to Pro — share decks privately, control downloads, hide ads and more …

機械学習ベースの動画像処理における近似計算手法の検討 (CPSY 2022/03)

機械学習ベースの動画像処理における近似計算手法の検討 (CPSY 2022/03)

電子情報通信学会研究会のコンピュータシステム研究会 (CPSY) での発表資料です (2022/03/11)。
機械学習ベースの動画像処理技術であり、深度推定タスクに対する DeepVideoMVS と呼ばれるアプリケーションを利用した近似計算手法についての検討を行った。
ダウンサンプリングを行って近似をする際に、どのフレームなら近似しても影響が少ないかを推定し、似たようなフレームが連続して入力される動画像の特性を活かした最適化を行う。
・プログラムと抄録: https://www.ieice.org/ken/paper/20220311mCin/
・論文 (Copyright ©2022 by IEICE): https://projects.n-hassy.info/paper/CPSY2022-3.pdf
・プロフィール: https://n-hassy.info/ja/

290a66d9796825297c2cdb438a372f6a?s=128

Nobuho Hashimoto

March 11, 2022
Tweet

More Decks by Nobuho Hashimoto

Other Decks in Research

Transcript

  1. ػցֶशϕʔεͷಈը૾ॲཧʹ͓͚Δ ۙࣅܭࢉख๏ͷݕ౼ ౦ژେֶ େֶӃ৘ใཧ޻ֶܥݚڀՊ ίϯϐϡʔλՊֶઐ߈ ڮຊ ৴าɾߴલా ৳໵ 2022/03/11 ίϯϐϡʔλγεςϜݚڀձ

    (CPSY)
  2. ໨࣍ 1. ֓ཁ 2. എܠ 3. ఏҊ಺༰ 4. ࣮ݧɾ݁Ռ 5.

    ·ͱΊ 2022/3/11 1
  3. ຊݚڀͷ֓ཁ ❖ಈը૾ॲཧʹ͓͚Δۙࣅܭࢉख๏Λݕ౼ Ø ೖྗͷμ΢ϯαϯϓϦϯάΛߦ͏͜ͱͰԋࢉճ਺Λ࡟ݮ Ø ͲͷϑϨʔϜΛۙࣅ͢Δ͔ܾఆ͢Δख๏Λݕ౼ l ϥϯμϜͳબ୒ l نଇతͳબ୒

    l ϑϨʔϜؒͷ PSNR ʹج͍ͮͨ༧ଌ l ϑϨʔϜؒͷϙʔζͷڑ཭ʹج͍ͮͨ༧ଌ l ResNet Λ༻͍ͨ༧ଌ l ConvLSTM ͷग़ྗΛ༻͍ͨ༧ଌ ❖DeepVideoMVS (1) ʹద༻ͯ͠ධՁ 2022/3/11 2 (1) A. Duzceker, S. Galliani, C. Vogel, P. Speciale, M. Dusmanu, and M. Pollefeys, “DeepVideoMVS: Multi-view stereo on video with recurrent spatio-temporal fusion,” CVPR 2021
  4. ໨࣍ 1. ֓ཁ 2. എܠ 3. ఏҊ಺༰ 4. ࣮ݧɾ݁Ռ 5.

    ·ͱΊ 2022/3/11 3
  5. എܠ ❖ػցֶशΛ༻͍ͨಈը૾ॲཧٕज़ͷൃୡ Ø ߴਫ਼౓ͷೝࣝ΍ߴ඼࣭ͷಈըੜ੒͕࣮ݱ Ø ߴ଎ԽɾܰྔԽͷඞཁੑ ❖ߴਫ਼౓Ͱߴີ౓ͳࡾ࣍ݩ৘ใͷඞཁੑ Ø ϩϘοτ΍υϩʔϯͷࣗ཯૸ߦɺ֦ுݱ࣮ɺ3D ϞσϦϯά

    Ø Ұ୆ͷ୯؟Χϝϥ͔ΒಘΒΕΔಈը૾Λݩʹࡾ࣍ݩ৘ใΛ࠶ߏங l ਂ౓ਪఆʹΑͬͯಘΒΕΔਂ౓Ϛοϓ͕ಛʹॏཁͰ͔ͭ༗༻ͳதؒදݱ 2022/3/11 4
  6. ਂ౓ਪఆ ❖ݹయతͳख๏ Ø SfM (Structure from Motion) ͱ MVS (Multi-View

    Stereo) Λར༻ Ø ֎෦؀ڥͷӨڹͰਫ਼౓͕௿Լ ❖ػցֶशΛ༻͍ͨख๏ Ø ໬΋Β͍͠ग़ྗ͕ͩɺزԿֶత੔߹ੑ͕ෆे෼ ❖ϋΠϒϦουͳख๏ Ø ্هೋͭΛ૊Έ߹Θͤͯར༻ Ø DeepV2D (1) ɺDeepVideoMVS (2) ɺHITNet (3) Ø ਫ਼౓ʹՃ͑ɺߴ଎͔ͭܰྔͳγεςϜΛ໨ࢦ͢ྲྀΕ 2022/3/11 5 (1) Z. Teed and J. Deng, “DeepV2D: Video to depth with differentiable structure from motion,” ICLR 2020 (2) A. Duzceker, S. Galliani, C. Vogel, P. Speciale, M. Dusmanu, and M. Pollefeys, “DeepVideoMVS: Multi-view stereo on video with recurrent spatio-temporal fusion,” CVPR 2021 (3) V. Tankovich, C. Hane, Y. Zhang, A. Kowdle, S. Fanello, and S. Bouaziz, “HITNet: Hierarchical iterative tile refinement network for real-time stereo matching,” CVPR 2021
  7. ໨࣍ 1. ֓ཁ 2. എܠ 3. ఏҊ಺༰ 4. ࣮ݧɾ݁Ռ 5.

    ·ͱΊ 2022/3/11 6
  8. DeepVideoMVS ͷ֓ཁ ❖Ұ࿈ͷಈը૾ͱͦͷ֤ϑϨʔϜʹ͓͚ΔϙʔζΛݩʹɺҎલͷϑ ϨʔϜͱεςϨΦϚονϯάΛߦ͏͜ͱͰਂ౓Λਪఆ 2022/3/11 7 ϙʔζɿΧϝϥ࠲ඪ͔Β άϩʔόϧ࠲ඪʹࣹӨ͢Δ ͨΊͷ 4

    º 4 ͷߦྻ
  9. DeepVideoMVS ͷ֓ཁ ❖Ұ࿈ͷಈը૾ͱͦͷ֤ϑϨʔϜʹ͓͚ΔϙʔζΛݩʹɺҎલͷϑ ϨʔϜͱεςϨΦϚονϯάΛߦ͏͜ͱͰਂ౓Λਪఆ 2022/3/11 8 ϙʔζɿΧϝϥ࠲ඪ͔Β άϩʔόϧ࠲ඪʹࣹӨ͢Δ ͨΊͷ 4

    º 4 ͷߦྻ ͲͷΑ͏ʹͯ͠ܭࢉΛল͚Δ͔ʁʁ
  10. μ΢ϯαϯϓϦϯάʹΑΔۙࣅܭࢉ ❖ෳ਺ͷϑϨʔϜ͕ॱʹྲྀΕࠐΜͰ͘Δಈը૾ಛ༗ͷੑ࣭Λੜ͔͠ ͨ࠷దԽ Ø ਫ਼౓ʹӨڹͷগͳ͍ϑϨʔϜΛ༧ଌ͠ɺͦͷϑϨʔϜͷΈμ΢ϯαϯϓ ϦϯάΛߦͬͯۙࣅ͢Δ͜ͱͰԋࢉճ਺Λ࡟ݮ 2022/3/11 9

  11. ۙࣅ͢ΔϑϨʔϜͷબͼํ 1. ϥϯμϜͳબ୒ 2. نଇతͳબ୒ Ø Ex) 25 % Λۙࣅ͢Δ৔߹:

    4 ճͷ͏ͪ 1 ճΛۙࣅ͢Δ͜ͱͷ܁Γฦ͠ 3. ϑϨʔϜؒͷ PSNR ʹج͍ͮͨ༧ଌ Ø લʹۙࣅͤͣʹॲཧͨ͠ը૾ͱͷྨࣅ౓͕ᮢ஋ΑΓߴ͍΋ͷͷΈۙࣅ l ConvLSTM Λ࢖༻ͯ͠ҎલͷϑϨʔϜͷ৘ใΛ࢖ͬͯ༧ଌ l ग़ྗ͕ࣅ͍ͯΕ͹ (≒ ೖྗ͕ࣅ͍ͯΔ) ਫ਼౓ྼԽ΋཈͑ΒΕΔͱ૝ఆ Ø PSNR ͕ߴ͍ = ྨࣅ౓͕ߴ͍ 4. ϑϨʔϜؒͷϙʔζͷڑ཭ʹ ج͍ͮͨ༧ଌ Ø ϙʔζͷڑ཭͕খ͍͞ = ྨࣅ౓͕ߴ͍ 2022/3/11 10
  12. ۙࣅ͢ΔϑϨʔϜͷબͼํ 1. ϥϯμϜͳબ୒ 2. نଇతͳબ୒ Ø Ex) 25 % Λۙࣅ͢Δ৔߹:

    4 ճͷ͏ͪ 1 ճΛۙࣅ͢Δ͜ͱͷ܁Γฦ͠ 3. ϑϨʔϜؒͷ PSNR ʹج͍ͮͨ༧ଌ Ø લʹۙࣅͤͣʹॲཧͨ͠ը૾ͱͷྨࣅ౓͕ᮢ஋ΑΓߴ͍΋ͷͷΈۙࣅ l ConvLSTM Λ࢖༻ͯ͠ҎલͷϑϨʔϜͷ৘ใΛ࢖ͬͯ༧ଌ l ग़ྗ͕ࣅ͍ͯΕ͹ (≒ ೖྗ͕ࣅ͍ͯΔ) ਫ਼౓ྼԽ΋཈͑ΒΕΔͱ૝ఆ Ø PSNR ͕ߴ͍ = ྨࣅ౓͕ߴ͍ 4. ϑϨʔϜؒͷϙʔζͷڑ཭ʹ ج͍ͮͨ༧ଌ Ø ϙʔζͷڑ཭͕খ͍͞ = ྨࣅ౓͕ߴ͍ 2022/3/11 11 ϕʔεϥΠϯ
  13. ۙࣅ͢ΔϑϨʔϜͷબͼํ 1. ϥϯμϜͳબ୒ 2. نଇతͳબ୒ Ø Ex) 25 % Λۙࣅ͢Δ৔߹:

    4 ճͷ͏ͪ 1 ճΛۙࣅ͢Δ͜ͱͷ܁Γฦ͠ 3. ϑϨʔϜؒͷ PSNR ʹج͍ͮͨ༧ଌ Ø લʹۙࣅͤͣʹॲཧͨ͠ը૾ͱͷྨࣅ౓͕ᮢ஋ΑΓߴ͍΋ͷͷΈۙࣅ l ConvLSTM Λ࢖༻ͯ͠ҎલͷϑϨʔϜͷ৘ใΛ࢖ͬͯ༧ଌ l ग़ྗ͕ࣅ͍ͯΕ͹ (≒ ೖྗ͕ࣅ͍ͯΔ) ਫ਼౓ྼԽ΋཈͑ΒΕΔͱ૝ఆ Ø PSNR ͕ߴ͍ = ྨࣅ౓͕ߴ͍ 4. ϑϨʔϜؒͷϙʔζͷڑ཭ʹ ج͍ͮͨ༧ଌ Ø ϙʔζͷڑ཭͕খ͍͞ = ྨࣅ౓͕ߴ͍ 2022/3/11 12 ࿈ଓʹྲྀΕͯ͘Δͱ͍͏ ಈը૾ͷಛੑΛར༻
  14. ۙࣅ͢ΔϑϨʔϜͷબͼํ 1. ϥϯμϜͳબ୒ 2. نଇతͳબ୒ Ø Ex) 25 % Λۙࣅ͢Δ৔߹:

    4 ճͷ͏ͪ 1 ճΛۙࣅ͢Δ͜ͱͷ܁Γฦ͠ 3. ϑϨʔϜؒͷ PSNR ʹج͍ͮͨ༧ଌ Ø લʹۙࣅͤͣʹॲཧͨ͠ը૾ͱͷྨࣅ౓͕ᮢ஋ΑΓߴ͍΋ͷͷΈۙࣅ l ConvLSTM Λ࢖༻ͯ͠ҎલͷϑϨʔϜͷ৘ใΛ࢖ͬͯ༧ଌ l ग़ྗ͕ࣅ͍ͯΕ͹ (≒ ೖྗ͕ࣅ͍ͯΔ) ਫ਼౓ྼԽ΋཈͑ΒΕΔͱ૝ఆ Ø PSNR ͕ߴ͍ = ྨࣅ౓͕ߴ͍ 4. ϑϨʔϜؒͷϙʔζͷڑ཭ʹ ج͍ͮͨ༧ଌ Ø ϙʔζͷڑ཭͕খ͍͞ = ྨࣅ౓͕ߴ͍ 2022/3/11 13 Կ͔͠Βͷಛ௃ʹج͍ͮͯ ਫ਼౓Λ༧ଌ
  15. ۙࣅ͢ΔϑϨʔϜͷબͼํ 1. ϥϯμϜͳબ୒ 2. نଇతͳબ୒ Ø Ex) 25 % Λۙࣅ͢Δ৔߹:

    4 ճͷ͏ͪ 1 ճΛۙࣅ͢Δ͜ͱͷ܁Γฦ͠ 3. ϑϨʔϜؒͷ PSNR ʹج͍ͮͨ༧ଌ Ø લʹۙࣅͤͣʹॲཧͨ͠ը૾ͱͷྨࣅ౓͕ᮢ஋ΑΓߴ͍΋ͷͷΈۙࣅ l ConvLSTM Λ࢖༻ͯ͠ҎલͷϑϨʔϜͷ৘ใΛ࢖ͬͯ༧ଌ l ग़ྗ͕ࣅ͍ͯΕ͹ (≒ ೖྗ͕ࣅ͍ͯΔ) ਫ਼౓ྼԽ΋཈͑ΒΕΔͱ૝ఆ Ø PSNR ͕ߴ͍ = ྨࣅ౓͕ߴ͍ 4. ϑϨʔϜؒͷϙʔζͷڑ཭ʹ ج͍ͮͨ༧ଌ Ø ϙʔζͷڑ཭͕খ͍͞ = ྨࣅ౓͕ߴ͍ 2022/3/11 14 Կ͔͠Βͷಛ௃ʹج͍ͮͯ ਫ਼౓Λ༧ଌ
  16. ۙࣅ͢ΔϑϨʔϜͷબͼํ 5. ResNet Λ༻͍ͨ༧ଌ Ø ಛ௃ྔΛਓ͕ܾؒΊΔͷͰ͸ͳ͘ɺػցతʹܾఆ Ø લͷϑϨʔϜͱࠓͷϑϨʔϜ͔Β ResNet-18 Λ༻͍ͯਫ਼౓ྼԽΛ༧ଌ

    Ø ਫ਼౓ྼԽ͕খ͍͞ͱ༧ଌ͞Εͨ΋ͷΛۙࣅ 6. ConvLSTM ͷग़ྗΛ༻͍ͨ༧ଌ Ø աڈͷϑϨʔϜ৘ใΛ͞Βʹੜ͔ͨ͢ΊʹɺConvLSTM ͷӅΕ૚Λ࢖༻ Ø શ݁߹૚ʹ௨ͯ͠ਫ਼౓ྼԽΛ༧ଌ Ø ਫ਼౓ྼԽ͕খ͍͞ͱ ༧ଌ͞Εͨ΋ͷΛۙࣅ 2022/3/11 15
  17. ۙࣅ͢ΔϑϨʔϜͷબͼํ 5. ResNet Λ༻͍ͨ༧ଌ Ø ಛ௃ྔΛਓ͕ܾؒΊΔͷͰ͸ͳ͘ɺػցతʹܾఆ Ø લͷϑϨʔϜͱࠓͷϑϨʔϜ͔Β ResNet-18 Λ༻͍ͯਫ਼౓ྼԽΛ༧ଌ

    Ø ਫ਼౓ྼԽ͕খ͍͞ͱ༧ଌ͞Εͨ΋ͷΛۙࣅ 6. ConvLSTM ͷग़ྗΛ༻͍ͨ༧ଌ Ø աڈͷϑϨʔϜ৘ใΛ͞Βʹੜ͔ͨ͢ΊʹɺConvLSTM ͷӅΕ૚Λ࢖༻ Ø શ݁߹૚ʹ௨ͯ͠ਫ਼౓ྼԽΛ༧ଌ Ø ਫ਼౓ྼԽ͕খ͍͞ͱ ༧ଌ͞Εͨ΋ͷΛۙࣅ 2022/3/11 16 ͞Βʹաڈͷ৘ใ΋ར༻ ಛ௃Λػցతʹಛ௃ྔΛܾఆ
  18. ໨࣍ 1. ֓ཁ 2. എܠ 3. ఏҊ಺༰ 4. ࣮ݧɾ݁Ռ 5.

    ·ͱΊ 2022/3/11 17
  19. ࣮ݧ ❖TUM RGB-D (1) Ͱࣄલֶश͞Εͨ DeepVideoMVS ͷϞσϧΛ࢖༻ ❖ݩͷը૾: 320 º

    256ɺμ΢ϯαϯϓϦϯάͨ͠ը૾: 160 º 128 ❖7-Scenes (2) Λ༻͍࣮ͯݧ ❖ޡࠩ: ग़ྗͱ Ground Truth ͷؒͷ MSE ❖ਫ਼౓ྼԽ: ۙࣅ͋Γͷग़ྗͷޡ͔ࠩΒݩͷग़ྗͷޡࠩΛҾ͍ͨ஋ 2022/3/11 18 (1) J. Sturm, W. Burgard, and D. Cremers, “Evaluating egomotion and structure-from-motion approaches using the TUM RGB-D benchmark,” IROS 2012 (2) J. Shotton, B. Glocker, C. Zach, S. Izadi, A. Criminisi, and A. Fitzgibbon, “Scene coordinate regression forests for camera relocalization in RGB-D images,” CVPR 2013
  20. ఆੑతͳ݁Ռ ❖ۙࣅ͢Δ͜ͱͰɺத৺తͳେ͖ͳ෺ମҎ֎ͷ෺ମͷਂ౓Λ༧ଌ͢ Δ͜ͱ͕೉͘͠ͳΔՄೳੑ 2022/3/11 19 ೖྗ Ground Truth ݩͷग़ྗ ۙࣅޙͷग़ྗ

    Ground Truth ͱͷؒͷ MSE 0.17 0.16 0.14 1.4 Ground Truth ͱͷؒͷ MSE
  21. ֤ख๏ͷൺֱ 1. ϥϯμϜ (Random) 2. نଇత (Interval) Ø ਫ਼౓ྼԽ͸࠷΋খ͍͞ Ø

    ఆظతʹݩͷαΠζͰ ॲཧ͢Δ͜ͱͰ ޡࠩͷ஝ੵΛ๷ࢭ ͢Δ͜ͱ͕ॏཁ 3. PSNR 4. ϙʔζͷڑ཭ (Pose) 5. ResNet 6. ConvLSTM 2022/3/11 20 ֤ख๏ʹ͓͚Δۙࣅͨ͠ϑϨʔϜͷׂ߹ͱฏۉޡࠩͷؔ܎
  22. ֤ख๏ͷൺֱ 3. PSNR Ø PSNR ͱਫ਼౓ྼԽͷؒʹ૬ؔ͸ͳ͍ (૬ؔ܎਺ 0.028) 4. ϙʔζͷڑ཭

    (Pose) Ø ϙʔζͷڑ཭ͱਫ਼౓ྼԽͷؒʹ૬ؔ͸ͳ͍ (૬ؔ܎਺ 0.013) Ø Χϝϥ͸ಉ͡ํ޲ʹಈ͖ଓ͚Δ͜ͱ͕ଟ͍ͷͰɺఆظతʹڑ཭͕େ͖͘ ͳͬͯݩͷαΠζͰͷॲཧ͕ߦΘΕΔͨΊɺਫ਼౓͕ൺֱతߴ͍ 2022/3/11 21 PSNR ͱਫ਼౓ྼԽͷؔ܎ ϙʔζͷڑ཭ͱਫ਼౓ྼԽͷؔ܎
  23. ֤ख๏ͷൺֱ 5. ResNet Ø ֶश͕͏·͘ਐΜͰ͍ͳ͍Α͏ʹݟ͑Δ 6. ConvLSTM Ø ResNet ΑΓ͸ֶश͕҆ఆ͍ͯ͠Δ͕ɺਫ਼౓͸্͕͍ͬͯͳ͍

    2022/3/11 22 ֶशۂઢ ςετਫ਼౓ͷਪҠ ResNet ConvLSTM ResNet ConvLSTM
  24. ໨࣍ 1. ֓ཁ 2. എܠ 3. ఏҊ಺༰ 4. ࣮ݧɾ݁Ռ 5.

    ·ͱΊ 2022/3/11 23
  25. ·ͱΊͱࠓޙͷ՝୊ ❖DeepVideoMVS Λ࢖༻ͯ͠ಈը૾ॲཧʹ͓͚Δۙࣅܭࢉख๏Λ ݕ౼ ❖نଇతʹϑϨʔϜબ୒ͯ͠ɺμ΢ϯαϯϓϦϯά͢Δͷ͕࠷ద Ø ఆظతʹݩͷը૾αΠζͰॲཧΛߦ͏͜ͱͰޡࠩͷ஝ੵΛ๷ࢭ ❖Ұํɺݱ࣌఺Ͱ͸ೖྗ͔Βਫ਼౓ྼԽͷఔ౓Λ༧ଌ͢Δ͜ͱ͸ࠔ೉ ❖ҎԼͷੑ࣭Λੜ͔ͯ͠༧ଌ͢Δ͜ͱ͸Ͱ͖ͳ͍͔ Ø

    ਫ਼౓ྼԽͷେ͖͍࣌ؒଳͱখ͍࣌ؒ͞ଳ͸ଘࡏ Ø ۙࣅʹΑΓൺֱతখ͞ͳ෺ମͷਂ౓৘ใ͸ࣦΘΕΔ 2022/3/11 24
  26. 2022/3/11 25