交流成分予測を用いた 高精細画像の非可逆圧縮法 舞鶴工業高等専門学校 電気情報工学科 渡邉紘矢* 芦澤恵太 電気学会関西支部 高専卒業研究発表会@中央電気倶楽部 2020年3月7日 High Definition Image Compression Using AC Component Prediction 

2 背景 輪郭部分にノイズが発生 モスキートノイズ 拡大 圧縮画像 割れたような音になる 高周波成分の発生を抑えることが必要 クラリネットの音 高周波を発生させた クラリネットの音 

背景 ギブス現象 3 K=100 有限区間で与えられた信号を 周期的延長した信号 ギブス現象を軽減する周期的延長処理に着目 

4 周期的延長処理の例 周期化処理 単純接続 偶接続 奇接続 基本の信号列 ランチョス法+奇接続による信号の連続性に着目 不連続 連続 連続 (JPEG) 

ランチョス法[1] 5 端点を結ぶ直線を引く 直線と信号の残差を求める 周期的延長処理 奇接続 周期的延長時に信号が連続に接続 奇接続時、一階導関数が連続 Cornelius Lanczos, “An iteration method for the solution of the eigenvalue problem of Linear Differential and Integral Operators”, Journal of Research of the National Bureau of Standards, 1950. [1] 

6 OS Manjaro Linux 18.1.0 言語 Python 3.6.8 ライブラリ Numpy 1.17.0, Scipy 1.3.1 実験環境 numpy.fft.fftを利用 FFT 画像 SIDBAからLenna 実験方法 画像からランダムに16点の信号列を取得 FFTした結果の平均を求める(10000回) 単純接続 偶接続 ランチョス法 偶接続 ランチョス法 奇接続 比較対象 ランチョス法的アプローチによる ノイズ軽減の効果についての数値実験 

7 信号の不連続を避ける 一階導関数が連続 ギブス現象軽減に有効である 周波数スペクトルの比較 交流成分 ランチョス法的アプローチによる ノイズ軽減の効果についての数値実験結果 を比較 

背景 画像圧縮技術の動向 8 Nokia 808 Pure View Xiaomi Mi Note 10 1億800万画素 4100万画素 スマホカメラの高画素化 VODにおいて4K映像の配信 高精細な画像や映像に対して効率の良い圧縮技術の需要 Amazon prime video dTV Netflix 拡大 高精細画像[2] “テストチャート・超高精細・広色域標準静止画像”, https://www.ite.or.jp/content/chart/uhdtv/ [2] 

卒業研究 9 交流成分予測を用いた高精細画像の非可逆圧縮法 卒業研究 高精細画像へ拡張 ギブス現象の軽減のアイデアに基づき提案された手法の学習 TPHLCT1.3, DMLCT ブロックサイズを拡張した場合の数値実験を行い，性能を報告する 16×16, 32×32画素ブロック 信号圧縮におけるノイズ軽減の定量的な評価 JPEGでは8画素 

画像圧縮へ応用した提案手法 10 芦澤恵太, 山谷克, “高階導関数に着目した段階的なDCT 係数予測と画像圧縮への応用”, 電子情報通信学会論文誌(A), vol.J91-A, no.8, pp.808-816, 2008. 芦澤恵太, 小川順司, 山谷克, 斎藤直樹, “入力信号の勾配を用いた逐次的DCT 係数予測法と画像圧縮への応用”, 名城大学都市情報学研究2009, vol.14, pp.63-70, 2009. TPHLCT1.3[3] 1階かつ3階導関数を相殺する関数 1階導関数を相殺する関数 DMLCT[4] ブロック境界およびブロック境界内の 拘束点で1階導関数を相殺する関数 ランチョス法 + 奇接続 直線 1階導関数が連続 入力信号 予測関数 [3] [4] 

交流成分予測 11 周波数 低 高 周波数 低 高 周波数 低 高 周波数解析 係数 なめらかな周期関数 境界条件によって構成した予測関数 人間の視覚は高周波数成分を認識しにくい 高周波数成分を除去し情報量を削減 予測関数の成分を削減 予測関数の成分を復元 周波数 低 高 

12 予測関数の構成 12 DMLCT ブロック境界およびブロック境界内の拘束点で1階導関数を相殺する関数 TPHLCT1.3 1階導関数を相殺する関数 + 3階かつ1階導関数を相殺する関数 2次多項式 1階かつ3階導関数を相殺する関数なら3階微分が出てくる ・・・ N個の拘束点の傾きをラグランジュ補間多項式を用いて補間する N次多項式 4次多項式 

数値実験 13 OS Manjaro Linux 18.1.4 言語 Python 3.6.8 ライブラリ Numpy 1.17.0, Scipy 1.3.1 Scikit-image 0.16.2 実験環境 量子化 : 一様な量子化テーブル ブロックサイズ : 16×16, 32×32画素ブロック 評価指標 : PSNR, MSSIM, MSDS 1024 × 1024画素 2048 × 2048画素 実験に用いた画像 : DMLCTは予測関数の拘束点を5個に設定し適用 

14 評価指標 14 PSNR(Peak Signal to Noise Ratio): 原画像と復号画像の2乗誤差とピーク-ピークの 輝度変化の比に基づいて得られる誤差評価指標 性能が良くなると値は大きくなる MSSIM[5](Mean Structural Similarity): 画像構造の類似度が人間の画質劣化の知覚に 寄与するという仮定に基づいた指標 0~1の値で表され、性能が良くなると1に近づく 平均 共分散 分散 原画像と復号画像の画像構造の 類似度、輝度、コントラストの比較項の乗算により SSIMが与えられる Z. Wang, A.C. Bovik, H.R. Sheikh, and E.P. Simoncelli, “Image Quality Assessment: From Error Visibility to Structural Similarity”, IEEE Transactions on Image Processing, vol.13, no.4,pp.600-613, 2004. [5] 

15 評価指標 15 MSDS[6](Mean Squared Difference of Slope): MSDS1はブロックの上下左右の4ブロック MSDS2は斜めに隣接した4ブロック ブロックノイズの評価尺度として提案された指標 MSDS1 MSDS2 境界上における画素値の不連続性を数値として与える 性能が良くなると値は原画像の値に近づく G.A. Triantafyllidis, D. Tzovaras, and M.G. Strintzis, “Blocking Artifact Detection and Reduction in Compressed Data”, IEEE Transactions on Circuits and Systems for Video Technology, vol.12, no.10, pp.877-890, 2002. [6] 勾配強度 勾配強度の平均値 例)Wブロック 

16 数値実験 16 PSNR(Peak Signal to Noise Ratio): 原画像と復号画像の2乗誤差とピーク-ピークの輝度変化の比に基づいて得られる誤差評価指標． 性能が良くなると値は大きくなる． 16×16画素ブロック 32×32画素ブロック 16×16画素ブロック 32×32画素ブロック Trumpet 1024×1024画素 Ball 2048×2048画素 0.2bpp 30.61dB 0.5bpp 37.79dB 0.8bpp 41.78dB 0.2bpp 32.27dB 0.5bpp 38.78dB 0.8bpp 42.47dB 0.2bpp 43.78dB 0.5bpp 46.36dB 0.8bpp 47.81dB 0.2bpp 44.52dB 0.5bpp 46.58dB 0.8bpp 47.98dB 各Bit RateにおけるJPEG方式の性能値 をグラフ下に記載する 

17 数値実験 MSSIM(Mean Structural Similarity): 画像構造の類似度が人間の画質劣化の知覚に寄与するという仮定に基づいた指標． 0~1の値で表され，性能が良くなると1に近づく． 16×16画素ブロック 32×32画素ブロック 16×16画素ブロック 32×32画素ブロック Trumpet 1024×1024画素 Ball 2048×2048画素 0.2bpp 0.82 0.5bpp 0.94 0.8bpp 0.97 0.2bpp 0.85 0.5bpp 0.94 0.8bpp 0.97 0.2bpp 0.97 0.5bpp 0.98 0.8bpp 0.99 0.2bpp 0.97 0.5bpp 0.98 0.8bpp 0.99 各Bit RateにおけるJPEG方式の性能値 をグラフ下に記載する 

18 数値実験 18 MSDS(Mean Squared Difference of Slope): ブロックノイズの評価尺度として提案された指標 MSDS1はブロックの上下左右の4ブロック，MSDS2は斜めに隣接した4ブロックとの境界上における 画素値の不連続性を数値として与える．性能が良くなると値は原画像の値に近づく． 16×16画素ブロック 32×32画素ブロック 16×16画素ブロック 32×32画素ブロック Bit Rate 0.35[bits/pixel]の時を比較 Trumpet 1024×1024画素 Ball 2048×2048画素 

19 おわりに 高精細画像に対し一定の効果が期待でき，DMLCTの方が性能が良い しかし、高精細な画像になるにつれ，TPHLCT1.3とDMLCTの性能差は小さくなる 交流成分予測を用いた高精細画像の非可逆圧縮法 卒業研究 ギブス現象の軽減のアイデアに基づき提案された手法の学習 ブロックサイズを拡張した場合の数値実験を行い，性能を報告する 高精細画像に対してはTPHLCT1.3の方が実用的であると考えられる 高精細画像における1ブロック内の輝度値変化は, すでになめらか DMLCTはブロックサイズの拡張にあたり，拘束点数を増やすことで 計算量が増加する代わりに性能を改善できる可能性がある 

参考文献 20 “テストチャート・超高精細・広色域標準静止画像”, https://www.ite.or.jp/content/chart/uhdtv/ [2] 芦澤恵太, 山谷克, “高階導関数に着目した段階的なDCT 係数予測と画像圧縮への応用”, 電子情報通信学会論文誌(A), vol.J91-A, no.8, pp.808-816, 2008. [3] 芦澤恵太, 小川順司, 山谷克, 斎藤直樹, “入力信号の勾配を用いた逐次的DCT 係数予測法と画像圧縮への応用”, 名城大学都市情報学研究2009, vol.14, pp.63-70, 2009. [4] Z. Wang, A.C. Bovik, H.R. Sheikh, and E.P. Simoncelli, “Image Quality Assessment: From Error Visibility to Structural Similarity”, IEEE Transactions on Image Processing, vol.13, no.4,pp.600-613, 2004. [5] G.A. Triantafyllidis, D. Tzovaras, and M.G. Strintzis, “Blocking Artifact Detection and Reduction in Compressed Data”, IEEE Transactions on Circuits and Systems for Video Technology, vol.12, no.10, pp.877-890, 2002. [6] Cornelius Lanczos, “An iteration method for the solution of the eigenvalue problem of Linear Differential and Integral Operators”, Journal of Research of the National Bureau of Standards, 1950. [1] 

21 

数値実験 22 PSNR(Peak Signal to Noise Ratio): 原画像と復号画像の2乗誤差とピーク-ピークの輝度変化の比に基づいて得られる誤差評価指標． 性能が良くなると値は大きくなる． Sailboat 256×256画素 Trumpet 1024×1024画素 Airplane 512×512画素 Ball 2048×2048画素 

数値実験 23 MSSIM(Mean Structural Similarity): 画像構造の類似度が人間の画質劣化の知覚に寄与するという仮定に基づいた指標． 0~1の値で表され，性能が良くなると1に近づく． Sailboat 256×256画素 Trumpet 1024×1024画素 Airplane 512×512画素 Ball 2048×2048画素 

24 数値実験 24 MSDS(Mean Squared Difference of Slope): ブロックノイズの評価尺度として提案された指標 MSDS1はブロックの上下左右の4ブロック，MSDS2は斜めに隣接した4ブロックとの境界上における 画素値の不連続性を数値として与える．性能が良くなると値は原画像の値に近づく． Sailboat 256×256画素 Airplane 512×512画素 16×16画素ブロック 32×32画素ブロック 16×16画素ブロック 32×32画素ブロック Bit Rate 0.35[bits/pixel]の時を比較 

卒業研究 中間発表 25 信号の不連続を避ける 一階導関数が連続 ギブス現象軽減に有効である (Lanczos + Odd) 交流成分 の 振幅値 を比較 直線と信号の残差を求める ランチョス法 + 奇接続 

提案手法 TPHLCT1.3 26 

提案手法 DMLCT 27 

数値実験 28 PSNR(Peak Signal to Noise Ratio): 原画像と復号画像の2乗誤差とピーク-ピークの輝度変化の比に 基づいて得られる誤差評価指標 Trumpet 1024×1024画素 周囲32×32ブロックを除外 画像全体