Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
chokaizomae
yoya
January 27, 2017
Technology
2
420
chokaizomae
超解像の前に
yoya
January 27, 2017
Tweet
Share
More Decks by yoya
See All by yoya
resize_nitpick
yoya
1
110
ImageFluxBinary
yoya
2
1.8k
HEIF-kaisetsu
yoya
4
2.5k
go-thumber-imagick
yoya
1
110
wildimagebinary
yoya
1
170
goimagicksyokai
yoya
1
880
GoImagickThumbnail
yoya
0
1k
sushigazou
yoya
0
11k
twitterimgupload
yoya
0
260
Other Decks in Technology
See All in Technology
Who owns the Service Level?
chaspy
5
790
AWS CloudShellという推しサービスについて / lt-20220502-jawsug-cli
becominn
0
650
Learning from AWS Customer Security Incidents [2022]
ramimac
0
500
ITエンジニアを取り巻く環境とキャリアパス / A career path for Japanese IT engineers
takatama
0
580
モデリング、コンテキスト トランジション +1 / Data modeling
ishiayaya
0
110
Salesforce女子部-権限についてまとめてみたその1
sfggjp
0
180
Poolにおける足を止めないシステム基盤構築
winebarrel
3
650
ISUCON で使えるツールを作った
shotakitazawa
0
350
THETA Xの登場はジオ業界を変えるか?
furuhashilab
0
160
~スタートアップの人たちに捧ぐ~ 監視再入門 in AWS
track3jyo
PRO
31
8.5k
Oracle Database Technology Night #55 Oracle Autonomous Database 再入門
oracle4engineer
PRO
1
120
Babylon.js で簡単 WebXR
yuhara0928
2
980
Featured
See All Featured
XXLCSS - How to scale CSS and keep your sanity
sugarenia
236
1M
Building Your Own Lightsaber
phodgson
94
4.6k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
181
15k
jQuery: Nuts, Bolts and Bling
dougneiner
56
6.4k
Facilitating Awesome Meetings
lara
29
3.9k
Fontdeck: Realign not Redesign
paulrobertlloyd
73
4.1k
How GitHub (no longer) Works
holman
296
140k
Build your cross-platform service in a week with App Engine
jlugia
219
17k
The Brand Is Dead. Long Live the Brand.
mthomps
45
2.7k
From Idea to $5000 a Month in 5 Months
shpigford
372
44k
Gamification - CAS2011
davidbonilla
75
3.9k
The Art of Programming - Codeland 2020
erikaheidi
31
5.8k
Transcript
“超解像”の前に 2017年1月27日(金) “よや” yoya@awm.jp
超解像とは? • いわゆる解像度を上げる処理の事 © h5p://sega.wikia.com/wiki/Opa-Opa © http://dic.nicovideo.jp/a/ファンタジーゾーン
リサンプル処理 • 画像の拡大とは、ドットの細分化 – “大きくするのは小さくする事”
暗黙の前提 • 元々、高画質な画像があって、縮小リサイズ されたものを元に戻すという暗黙の前提 いわゆる逆問題 (しかも情報が減ってる)
超解像は主に2つ • 複数画像から生成 – 情報量を数でカバー – サブピクセルでずらした画像を大量に用意 → 次ページで説明 •
単体画像から生成 – 情報不足のまま何かを仮定して補完 • ニアレストネイバー、バイリニア等々 〜 今日はここまで 〜 • エッジ抽出 • 機械学習系 〜 この辺りは次回 〜 ?
複数画像から生成 • サブピクセルでずらして沢山写真をとる – 連写する、複数レンズで同時に撮る等
(参考)複数レンズのカメラ • L16 © h5p://gigazine.net/news/20151008-16-lens-camera/
一枚の画像から高解像 • 情報量が減っているので原理的に元に戻せ ない • 足りない分、何かしらの仮定を以って補う
画像拡大のドット処理 • 概念的にはこれ – キリの悪い場所をどうするかがキモになる
リサイズのドット処理 • リサイズ後のピクセル座標で for ループ – 各々に対応するリサイズ前のドットを探す。 – キリの悪い場所の処理(補間メソッド)が色々ある
Nearest Neighbor • 元々ジャギーな画像だと決めつける – 色をそのままで、ドットを広げる • 混ぜない! $ convert in.png
–filter point –resize 800%x800% out.png
Nearest Neighbor • 隣のピクセルをそのまま コピーして隙間を埋める • とにかく処理が軽い! h5p://www.imagemagick.org/Usage/filter/#box
Nearest Neighbor のドット処理 • 混ぜない! • プログラム的には座標を四捨五入するだけ
Bi-Linear • ジャギーを増やしたくない $ convert in.png –filter triangle –resize 800%x800%
out.png
Bi-Linear • さらに拡大。徐々に変化する様が見える
Bi-Linear • 線形補完 – ジャギーは増えないけど 折り目のところが不自然 h5p://www.imagemagick.org/Usage/filter/#box
Bi-Linear のドット処理 • 単純に混ぜる – 距離の割合だと計算重たいので、x、y の割合
Bi-Cubic • 隣の隣まで見て、もっと滑らかに補完する © h5ps://en.wikipedia.org/wiki/Bilinear_interpolaXon
Cubic family の計算式 • B(blur) ,C(cardinal) で色んなフィルタを作れる © ImageMagick-6 magick/resize.c
Cubic family の生成 • B(blur) を上げすぎるとボヤける • C(cardinal) でリンギングがかかる
Cubic BC のバランスをとる • (B,C)=(1/3,1/3) が 良さそう → Mitchell フィルタ
© h5p://www.imagemagick.org/Usage/filter/#mitchell
Mitchell-Netravali • ImageMagick の拡大のデフォルト $ convert in.png –filter mitchell –resize
800%x800% out.png
少し蛇足 (縮小について) • みんな大好き Lanczos フィルタ – 縮小はこれを使えば大体OK
Lanczos • ImageMagick の縮小のデフォルト – (見ての通り、拡大は微妙) $ convert in.png –filter lanczos
–resize 800%x800% out.png
Lanczos の縮小がなぜ良いか? • Lanczos • Sinc 関数を元にしてる • それの コンパクトサポートが
Lanczos © h5ps://en.wikipedia.org/wiki/Sinc_funcXon Sinc Lanczos
Sinc 関数って? • 詳しくは Wikipedia で • フーリエ変換すると矩形波になる – つまり、周波数フィルタになる >
LPF • エイリアシングとおさらば この円が増える ヤツね
コンパクトサポートって? • Sinc 関数は無限の範囲で波打つ – 計算量が辛い。理屈では無限 • 一定範囲の外を0に抑える ↑これがコンパクトサポート Sinc Lanczos
sin(x)/x sinc(x)/sinc(x/a)
Lanczos2,3,4 • 2,3,4 に区間に抑えたのが Lanczos Lobe:2 Lobe:3 Lobe:4 Sinc Lanczos
まとめ • これらのフィルタを使い分けると良いかも? – リアルタイム表示 (もしくはドット絵の場合も) • Nearest Neighbor ← 処理が超軽い
– 拡大は • Mitchell フィルタ – 縮小は • Lanczos フィルタ
次回予告 • 超解像 – 単純な補間フィルタ (今回説明したこと) – 勾配から輪郭抽出 (いまどきの超解像) – 機械学習系 (先端的な?)