コンピュータによる画像・映像の表現

2023年度更新

Transcript

1. by Naoki Kato ©Naoki Kato ©Naoki Kato 画像・映像の表現 Computer Science, Engineering and Literacy
2. by Naoki Kato © Naoki Kato © Naoki Kato コンピュータにおける情報の表現 情報をビット列で表現すると コンピュータに入力（記憶）することができる なんらかの処理をすることができる はじめに ⽂字や絵図 映像 ⾳楽
3. by Naoki Kato © Naoki Kato © Naoki Kato 二つの形式 ベクトル形式 ラスタ形式 画像のディジタル表現
4. by Naoki Kato © Naoki Kato © Naoki Kato ベクトル形式 プリミティブ図形（基本図形）の集合で表現 画像のディジタル表現 円｛ 中⼼︓（50,50），半径︓30， 枠線｛⾊︓⾚，太さ︓5，種類︓実践｝， 塗りつぶし｛⾊︓⻩，パタン︓べた｝ ｝ 線分｛ 始点︓（50,50），傾き︓45，⻑さ︓60， 枠線｛⾊︓⻘，太さ︓5，種類︓点線｝ ｝
5. by Naoki Kato © Naoki Kato © Naoki Kato ベクトル形式のメリット 拡大しても画質が保てる プリミティブ単位で編集可能 画像のディジタル表現
6. by Naoki Kato © Naoki Kato © Naoki Kato ベクトル形式の画像の作成 Microsoft Word／PowerPoint の作図機能 Adobe Illustrator Inkscape（フリーソフト） 画像のディジタル表現 こんなメニューが特徴
7. by Naoki Kato © Naoki Kato © Naoki Kato ラスタ形式 点の集合で表現 拡大すると画質が低下する 画像のディジタル表現
8. by Naoki Kato © Naoki Kato © Naoki Kato ラスタ形式の生成（ディジタル化）手順 画像のディジタル表現 自然の風景 デジタルカメラなど ディジタルデータ 標本化 量子化 符号化
9. by Naoki Kato © Naoki Kato © Naoki Kato 標本化と量子化 画像のディジタル表現 30×20個に分割（標本化=空間の量⼦化） 近い⾊を割り当て（量⼦化）
10. by Naoki Kato © Naoki Kato © Naoki Kato 符号化＝色の量子化 表現可能な色すべてに数値を割り当てる 画像のディジタル表現
11. by Naoki Kato © Naoki Kato © Naoki Kato 色の階調 2階調（1bit） 無色（黒）から青色までを2個に分割 ０か１ 256階調（8bit） 無色（黒）から青色までを256個に分割 00000000～11111111 画像のディジタル表現
12. by Naoki Kato © Naoki Kato © Naoki Kato 光の三原色（赤，緑，青）を用いた表現 1色の階調＝1bit（2階調） 3bit（8色） 画像のディジタル表現 R G B ⿊ 0 0 0 ⾚ 1 0 0 緑 0 1 0 ⻘ 0 0 1 ⻩ 1 1 0 紫 1 0 1 ⽔ 0 1 1 ⽩ 1 1 1
13. by Naoki Kato © Naoki Kato © Naoki Kato 光の三原色（赤，緑，青）を用いた表現 1色の階調＝8bit（256階調） 24bit（約1678万色） 画像のディジタル表現 This image created by SharkD is licenced under 0x 80 ff 80
14. by Naoki Kato © Naoki Kato © Naoki Kato 画素数によるデータ量 600画素（30×20），1600万色 １個のブロックを表現するのに各色8bit＝全部で3Byte 30×20×3＝1800Byte=約2KB 6万画素（300×200），1600万色 300×200×3=180000 Byte＝約180KB 600万画素（3000×2000），1600万色 3000×2000×3=18000000 Byte＝約18MB 画像のディジタル表現
15. by Naoki Kato © Naoki Kato © Naoki Kato 画像データの圧縮原理 色の明暗には敏感だが，色相の変化には鈍感 色成分の量子化を粗くする （不可逆圧縮） 低周波成分には敏感だが，高周波成分には鈍感 高周波成分をカット （不可逆圧縮） 冗長性 可逆圧縮 画像のディジタル表現
16. by Naoki Kato © Naoki Kato © Naoki Kato JPEG形式の圧縮 RGBをYUV（Y:輝度，U: R-Y，V: B-Y）空間に変換 UとVの情報量を落とす 8×8画素ごとに空間周波数成分に変換 高周波部分の情報量を落とす 画像のディジタル表現 低周波 （変化が⼩さい） ⾼周波 （変化が⼤きい） 情報量を落とす
17. by Naoki Kato © Naoki Kato © Naoki Kato 画像データのファイル形式 ファイルとして保存するときの形式にも いろいろな種類がある 画像のディジタル表現 拡 拡張 張子 子 特 特徴 徴 JPEG 写真に適している：不可逆 GIF，PNG 線画に適している：可逆 BMP 無圧縮（Windows） PICT Macの標準形式：可逆
18. by Naoki Kato © Naoki Kato © Naoki Kato JPEGファイルに格納できる拡張データ EXIF 情報 画像のディジタル表現
19. by Naoki Kato © Naoki Kato © Naoki Kato 演 演習 習
20. by Naoki Kato © Naoki Kato © Naoki Kato 映像＝連続した静止画＋音声 静止画のデジタル化 音のデジタル化 を利用 動画データ独自の圧縮原理 差分だけを記録（静止部分は差分が０） 動きを予測（間のコマを予測できることがある） 高周波成分（輪郭付近）を削減しても問題ない （動いている被写体の輪郭はぼける） （動いている被写体の輪郭に対する視覚感度は低い） 映像（動画）のディジタル表現
21. by Naoki Kato © Naoki Kato © Naoki Kato 動画圧縮コーデック 動画の符号化・復元アルゴリズム 映像（動画）のディジタル表現 CODEC 用 用途 途 DV CODEC デジタルビデオカメラで採用 MPEG-1 VideoCDで採用 MPEG-2 デジタル放送やDVDで採用 MPEG-4 AVC 携帯コンテンツで利用（H.264） H.263 テレビ電話会議用 DivX，XviD RealVideo 低ビットレートに強い WMV9 Blu-ray で採用 Canopus HQ Codec
22. by Naoki Kato © Naoki Kato © Naoki Kato 動画用コンテナ 動画と音声を格納するためのファイルフォーマット 映像（動画）のディジタル表現 コ コン ンテ テナ ナ 用 用途 途 AVI Windowsで標準形式として採用 MOV QuickTime用形式 WMV Windowsで標準ストリーミング用形式 MPEG1 Video-CDで採用 MPEG2 TS デジタル放送で採用 MPEG2 PS DVDで採用 MP4 主にMPEG-4用 Ogg VorbisやTheora用の標準 ASF WMAやWMV用の標準 ReakMedia RealVide，RealAudio用の標準
23. by Naoki Kato © Naoki Kato © Naoki Kato よく使われるファイルフォーマット AVI AVIコンテナに，様々なコーデックのデータを格納 拡張子が同じ avi なのに，再生できないことがある WMV ASFコンテナに， 映像はWMV，音声はWMAコーデックのデータを格納 ストリーミングに対応 映像（動画）のディジタル表現
24. by Naoki Kato © Naoki Kato © Naoki Kato よく使われるファイルフォーマット 3GP 携帯電話用 3GPPコンテナ（MP4コンテナの拡張版）に， 映像は H.263，音声は AMR, MPEG-4 AAC コーデックの データを格納 FLV／F4V FLASH上で再生可能 FLVコンテナに，主に，映像はH.263から派生したコーデッ ク，音声は非圧縮のデータを格納 F4V は，FLVコンテナに，映像は H.264，音声は MP3, AAC コーデックのデータを格納 映像（動画）のディジタル表現
25. by Naoki Kato © Naoki Kato © Naoki Kato 光（色）とは 人が感じることのできる電磁波（空間の振動） 光の三原色 放射線 電波
26. by Naoki Kato © Naoki Kato © Naoki Kato なぜ，人が見られる光の色は， 三原色（赤，緑，青）だけをまぜることで 作ることができるの？ 光の三原色
27. by Naoki Kato © Naoki Kato © Naoki Kato 色とは 電磁波を錐体細胞が吸収した割合を脳が解釈 光の三原色 カラーユニバーサルデザイン（CUD）ガイドー⾊覚の仕組みより引⽤ http://www.pref.fukushima.jp/kenmin/u_d/fud/cud/cud_02.html This image created by Maxim Razin is licenced under 錐体細胞の吸収特性
28. by Naoki Kato © Naoki Kato © Naoki Kato 色は物理現象ではない 光の三原色 この2つの波⻑の 同じ明るさの光を同時に⾒ると この波⻑の光を⾒た時と 同じ割合で吸収 同じ⾊に知覚
29. by Naoki Kato © Naoki Kato © Naoki Kato もし錐体細胞が一つしかなかったら？ 吸収の度合いの違いで波長を区別 強い弱いの1次元でしか区別ができない （モノトーンの世界） 光の強弱と波長の区別もできない 光の三原色 波⻑ 同じ吸収率なので同じ⾊に⾒える 20% 60%
30. by Naoki Kato © Naoki Kato © Naoki Kato もし錐体細胞が二つだったら？ 二つの吸収率の度合いで波長を区別 片方にしか吸収されない波長については， 光の強弱と周波数の違いを区別できない 光の三原色 波⻑ 同じ割合なので同じ⾊に⾒える ⻩20% 緑80% ⻩40% 緑20%
31. by Naoki Kato © Naoki Kato © Naoki Kato もし錐体細胞が二つだったら？ この二つの波長の光が入ってきたときと， この波長の光が入ってきたときは， 同じ吸収率の組み合わせ 同じ色 光の三原色 波⻑ 同じ割合なので同じ⾊に⾒える ⻩40% 緑20%
32. by Naoki Kato © Naoki Kato © Naoki Kato もし錐体細胞が二つだったら？ 様々な波長を，２つの値の組合せで区別する 黄の吸収率20%を y軸１単位 緑の吸収率20%を x軸１単位 すべての波長（における吸収率の組み合わせ）を （x, y）で表現できる 光の三原色 (0,1) (1,2) (2,0) (2,0) (0,1) (1,2)
33. by Naoki Kato © Naoki Kato © Naoki Kato もし錐体細胞が二つだったら？ 別の基本ベクトルでも表現可能 黄の吸収率20%を y軸１単位 緑の吸収率40%を x軸１単位 光の三原色 (0,1) (1/2,2) (1,0) (1,0) (0,1) (1/2,2)
34. by Naoki Kato © Naoki Kato © Naoki Kato もし錐体細胞が二つだったら？ さらに違う別の基本ベクトルでも表現可能 黄の吸収率20%を y軸１単位 緑20%，黄40%を x軸１単位 光の三原色 (0,1) (1,0) (2,-4) (2,-4) (1,0) (0,1)
35. by Naoki Kato © Naoki Kato © Naoki Kato もし錐体細胞が二つだったら？ 二つの波長を選択 二つの波長の吸収率の組み合わせを基本ベクトルにすれば すべての吸収率の組み合わせを基本ベクトルの和で表現可能 二つの色ですべての色を表現可能＝二原色 三つの錐体細胞→三原色 光の三原色 (1/2,2)
36. by Naoki Kato © Naoki Kato © Naoki Kato 原色の取り方 原色の取り方によっては表現できない色ができる 黄色を -4 倍って？？？ 光の三原色 (0,1) (1,0) (2,-4) 暗い⻩と⻩緑を⼆原⾊にすると うす暗い緑は， ⻩緑を２倍，暗い⻩を-4倍して合わせた⾊
37. by Naoki Kato © Naoki Kato © Naoki Kato XYZ表色系 （数式上） 人が感じれるすべての色を 正の加算で表現できるように，三原色の取る 三原色すべてが虚色（存在しない色）になる 光の三原色
38. by Naoki Kato © Naoki Kato © Naoki Kato xy色度図 XYZ表色系で，各成分の和が1になるような断面 ある明るさのすべての色を表現 光の三原色 (0.6, 0.8, 0.8) の⾊は (0.3, 0.4, 0.4) の⾊の明るさを増したもの ⾊味は同じ (1,0,0) (0,1,0) (0,0,1)
39. by Naoki Kato © Naoki Kato © Naoki Kato xy色度図と光の三原色（RGB） 存在する色から三色を選ぶと， 三点を結んだ三角形の中の色が表現可能に 明るさを含めると，(0,0,0)を頂点とし， 三点をそれぞれ辺上に含む三角錐の中の色が表現可能 光の三原色 (1,0,0) (0,1,0) (0,0,1)
40. by Naoki Kato © Naoki Kato © Naoki Kato xy 色度図と三原色（RGB） ある光の三原色における表現可能な色を示す 光の三原色 光の三原⾊で表現 可能な⾊の例 ⼀般的な液晶モニタ で表現可能な⾊の例
41. by Naoki Kato © Naoki Kato © Naoki Kato 符号化・複合化に用いられる三原色 理想的な三原色（単色光）は難しい 機器によってずれが生じる 機器によって見え方が変わる 正確な色を表現するには， 三原色を合わせる（補正する）ことが必要 光の三原色 (1,1) (1,1)
42. by Naoki Kato © Naoki Kato © Naoki Kato 霊長類の錐体細胞 人は三つの錐体細胞 脊椎動物はは四～五つの錐体細胞 哺乳類は爬虫類から逃げるために夜行性に 杆体細胞が増加し，錐体細胞が退化して二つに 現在も哺乳類の網膜上の細胞は95%が杆体細胞 霊長類が三つ目の錐体細胞を再獲得 おまけ：錐体細胞のひみつ
43. by Naoki Kato © Naoki Kato © Naoki Kato 霊長類の三つ目の錐体細胞獲得 一つの錐体細胞の遺伝子は X 染色体上に 二種類の錐体細胞の遺伝子を持つメスが出現 おまけ：錐体細胞のひみつ メス オス ヘテロ接合のメス 突 然 変 異
44. by Naoki Kato © Naoki Kato © Naoki Kato 霊長類の三つ目の錐体細胞獲得 不等交叉による相同組み換えによる多様性 錐体細胞の種類が増えることは生きるのに有利！ おまけ：錐体細胞のひみつ
45. by Naoki Kato © Naoki Kato © Naoki Kato 霊長類の三つ目の錐体細胞獲得 二つの錐体細胞遺伝子を持つオスも出現 錐体細胞の種類が増えることは生きるのに有利！ おまけ：錐体細胞のひみつ ×
46. by Naoki Kato © Naoki Kato © Naoki Kato おまけ：錐体細胞のひみつ
47. by Naoki Kato © Naoki Kato © Naoki Kato 色の種類 光源色 透過色 物の色と色温度 ⾚以外を吸収するフィルタ 太陽は様々な電磁波を放出 あらゆるスペクトルを含み， 明るい光となり（⾊が飽和し）， ⽩⾊（透明）と感じる 透過⾊で⾊を作る ＝光の三原⾊で⾊を作る ＝加⾊混合
48. by Naoki Kato © Naoki Kato © Naoki Kato 色の種類 反射色 反射色で色を作る ＝色材（インクなど）の混ぜ合わせ（減色混合） ＝基本となる色を色の三原色 物の色と色温度 シアンのインク＝⾚を吸収 ＋ イエロのインク＝⻘を吸収
49. by Naoki Kato © Naoki Kato © Naoki Kato 物体色 物体の色は， 物体の性質（どのような波長を吸収するか）と， 光源（どのような波長が含まれるか）に影響 実際の色の認知は，脳の処理が入るので， 違う光源でも同じ色に感じやすい 物の色と色温度 ⻘い光 主に⾚い光を反射 暗い⻘紫
50. by Naoki Kato © Naoki Kato © Naoki Kato 色温度 物質が熱を持ったとき発する光色に対応させた尺度 厳密には黒体という仮想物体が発する光を想定 蛍光灯の色の種類と色温度 電球色 3000 K 温白色 3500 K 白色 4200 K 昼白色 5000 K 昼光色 6500 K 物の色と色温度 Created by Holek
51. by Naoki Kato © Naoki Kato © Naoki Kato ホワイトバランス 写真フィルムは光源として太陽光を想定 太陽光を白 異なる光源 白が赤っぽく／青っぽく 白が白になるように調整する必要 人間の目は脳が調整 物の色と色温度
52. by Naoki Kato © Naoki Kato © Naoki Kato 心理４原色 橙には赤みと黄色みを感じる 赤みと緑みを感じる色はない 黄色には黄色以外感じない 青，赤，緑，黄はユニーク色 緑と赤，青と黄は共存しない （おまけ）色の表現 r-g y-b r g y b
53. by Naoki Kato © Naoki Kato © Naoki Kato マンセル表色系（HVC） 赤，黄，緑，青，紫を基本に，色差を均等に （おまけ）色の表現 Picture by SharkD, CC BY-SA 3.0 ⽩み ⿊み 明度:Value 彩度:chroma ⾊み Picture by Onyx, CC-BY-SA
54. by Naoki Kato © Naoki Kato © Naoki Kato オスワルト表色系 心理４原色（物理的補色に読み替え）と 橙・紫・青緑・黄緑を均等に 色み＋黒み＋白み＝100% （おまけ）色の表現 図は InfoColor: http://www.dic-color.com/knowledge/081024.html より引⽤ ⿊み ⽩み
55. by Naoki Kato © Naoki Kato © Naoki Kato ナチュラルカラーシステム（NCS） 心理４原色を均等に 二色＋黒み＋白み＝100% （おまけ）色の表現 図は InfoColor: http://www.dic-color.com/knowledge/081114.html より引⽤
56. by Naoki Kato © Naoki Kato © Naoki Kato PCCS（HSL） 心理４原色とその心理的補色を等間隔に （おまけ）色の表現 Lightness Saturation
57. by Naoki Kato © Naoki Kato © Naoki Kato 錯視（色の対比） （おまけ）色の現象
58. by Naoki Kato © Naoki Kato © Naoki Kato 錯視（ムンカー錯視） （おまけ）色の現象
59. by Naoki Kato © Naoki Kato © Naoki Kato 錯視（色の恒常性） （おまけ）色の現象 図は錯視のカタログ http://www.psy.ritsumei.ac.jp/~akitaoka/catalog.html より引⽤
60. by Naoki Kato © Naoki Kato © Naoki Kato ハレーション 反対色は目立つ けど， ちらちらする なぜなら，赤と緑は心理的補色関係 （おまけ）色の現象
61. by Naoki Kato © Naoki Kato © Naoki Kato プルキンエ現象 昼間，赤は目立つ！！ かど，夕方は青が目立つ！！ 桿体細胞は長波長の感度が低い （おまけ）色の現象
62. by Naoki Kato © Naoki Kato © Naoki Kato お おし しま まい い 画像・動画の表現