ふわっと理解する類似画像検索技術

ふわっと理解する類似画像検索技術社内

今日話すこと統計・機械学習の専門的知識を有さない一般的なエンジニア向けに雰囲気で類似画像検索技術を理解してもらう。

今日話さないことソースコードの中身数式は一切使いません

類似画像検索技術画像データをクエリとしてクエリと類似度の高い画像データを検索する技術

画像の類似尺度は様々タッチ・テクスチャーが似てる対象・構図が似てるゴッホの「ひまわり」ひまわりの写真ゴッホの「夜のカフェテラス」

画像の類似尺度は様々タッチ・テクスチャーが似てる対象・構図が似てるゴッホの「ひまわり」ひまわりの写真ゴッホの「夜のカフェテラス」今日はこっちの話

類似画像検索技術も様々

… 画像A 画像Aの特徴ベクトル画像Aの特徴ベクトル画像Bの特徴ベクトル画像Cの特徴ベクトル画像は画像よりも画像に似ている
しかし、ほぼ全ての手法で以下の流れは共通するもにょもにょ...

今日は機械学習の手法を３つ組み合わせたやり方を説明します。

具体的な流れ特徴抽出次元削減近傍探索フェーズ1 フェーズ2 フェーズ3

特徴抽出&次元削減近傍探索もにょもにょ...

フェーズ特徴抽出

フェーズ１：特徴抽出特徴抽出次元削減近傍探索フェーズ1 フェーズ2 フェーズ3

特徴抽出とは推定や分析に有用と思われる情報を，生データから抽出し，特徴として使えるようにすること田島特徴ベクトル㎝特徴抽出

今回は画像データからの特徴抽出を使います。ディープラーニングの手法の一種空間的相関性のあるデータに強い画像音声

による画像分類猫入力された画像に写っている一般物体を分類する学習器をにデータを学習させて作成犬兎犬猫兎入力(RGB画像)
入力層出力層中間層

による特徴抽出猫犬兎犬猫兎入力(RGB画像) 入力層出力層
中間層学習済み学習器の中間層の出力は一般物体の視覚認識に基づいた特徴表現特徴ベクトル

今回はというのアーキテクチャの一種をクラスの一般物体画像を分類するタスクで学習させたモデル学習済みモデルに画像を入力した時の中間層の出力次元
を特徴ベクトルとする

フェーズ：次元削減特徴抽出次元削減近傍探索フェーズ1 フェーズ2 フェーズ3

次元削減データの意味をできるだけ保ちつつデータの次元を減らすこと

直感的なイメージ身長[cm] 体重[kg] α 2次元 1次元データの意味をできるだけ保ちつつ次元を減らす Aさん Bさん
Cさん Aさん Bさん Cさん

今回は主成分分析という手法を使います。次元→ 次元に圧縮。

なぜ次元削減が必要かフェーズ３近似最近傍探索をうまく機能させるためには、データの次元数を次元以下にする必要がある

フェーズ近傍探索特徴抽出次元削減近傍探索フェーズ1 フェーズ2 フェーズ3

近傍探索とは距離空間における最も近い点を探索すること。今回でいえば、最も近い画像の特徴ベクトルを探索すること。

今回は高速近似最近傍探索ライブラリ製を使用。ヒューリスティックではあるが、高速

実験

データセットで見つけた映画ポスターのデータセット約４万枚そのうち約万枚を使用

クエリ画像と類似度が高いの映画ポスターの画像を出力してみる

クエリ１クエリ画像 TOP 1 TOP 2 TOP 3 ※画像の著作権・肖像権を考慮。

クエリクエリ画像 TOP 1 TOP 2 TOP 3 ※画像の著作権・肖像権を考慮。

おしまい

More Decks by TajimaTheMemer