画像類似度計算

127622866eaa739e06f9507aff67be2f?s=47 OHNO
November 07, 2019
210

 画像類似度計算

127622866eaa739e06f9507aff67be2f?s=128

OHNO

November 07, 2019
Tweet

Transcript

  1. 見積もり省力化のための 画像類似度計算 新潟県工業技術総合研究所 大野 宏 1 Python機械学習勉強会in新潟/TFUG Niigata合同勉強会 2019/11/2

  2. 本日の内容 ・今回の取り組みのきっかけ ・自動見積もり ・類似図面の検索 画像の類似度の計算 CNN(畳み込みニューラルネットワーク)の利用 画像を使っての実験 ・まとめ ・お知らせ 2

  3. 自動見積もり ・見積もりは受注につながるかわからないが、手間をかけ ずにできるだけ正確に出したい ・部品加工は切削、プレス、ワイヤーカット等、工程に分解 し、各工程にどれだけ時間を要するか計算 ・多くの企業で開発が進められている ・見積もり計算を簡単に計算するソフトもあり SNS型見積もりサービス「Terminal」 (月井精密) ・ミスミ

    3DのCADデータをアップすると自動で見積もり
  4. ミスミの見積もりシステム1 ・従来は、ユーザ(発注者側)が、選んで設計 4

  5. ミスミの見積もりシステム2 ・3DのCADデータをアップすると自動で見積もり ・工程に分解し、各工程の時間を計算 詳細は不明 https://jp.misumi-ec.com/ 5

  6. 類似図面の検索 ・工程に分解するのは大変 ・新規の見積もり依頼があった時、過去の類似品を参考に することが一般的 → 工程分解や自動見積もりも可? ・自分のやった仕事は記憶に残るが、他の社員の仕事は わからない → システム化すれば全員が使える

    ・類似図面検索システムのニーズが高い ・3次元CADデータか2次元図面か、デジタルか紙か
  7. 畳み込みニューラルネットワーク ルカンらが畳み込みニューラルネットワークで手書き数字 を認識 畳み込み層 局所的な特徴抽出 プーリング層 位置ずれを吸収 Y.Lecun,et al.”Gradient-based Learning

    Appplied to Document Recognition”,Proc. of The IEEE,1998 畳み込み層 プーリング層 入力層 出力層 プーリング層 畳み込み層 (1998 LeNet) 全結合層 0~9 (Convolutional Neural Networks) 7
  8. 類似画像(図面)の検索 ・過去の類似品を探して見積もりを出すことが多い → 類似図面を検索するシステムの開発 ・CNNで全結合層の出力を比較 類似図面を複数表示 出力層 全結合層 0~9 出力層の1つ手前の全結合層

    の出力を比較する ①3次元形状を2次元で表示 ②3面図を利用 ③点群データを利用 8
  9. 入力画像1 ・3次元形状を2次元画像に変換(透視変換)して利用 ・一般的なCNNがそのまま使える ・学習データは442×3=1326 部品1 部品2 部品3

  10. 類似度の計算 学習用画像 部品1 部品2 部品3 テスト用画像 部品1 部品2 部品3 テスト用画像

    ・全結合層の出力を比較 各出力の差の合計が小さいもの
  11. 部品1 部品2 部品3 ヒストグラムの比較 テスト用画像は部品3 ・テスト用画像は部品3のヒストグラムに類似 ・1326枚の全結合層において、差の合計の最も小さいも のが類似画像(図面)

  12. 組み合わせネットワーク CNN Dense CNN RNN Dense 画像 分類 一般的なSequentialモデル 多入力モデル

    テキスト 画像 分類
  13. 入力画像2 ・三面図を使い3入力1出力ネットワーク Tensorflow/Keras → concatente(A,B,C) CNN CNN Dense 分類 CNN

    平面図 側面図 正面図
  14. 入力画像3 ・点群データをそのまま使う ・3次元CADデータは点群データから構成される

  15. PointNet ・3次元の物体を識別するネットワーク (Ubuntu版) 分類、パーツ分け、セマンティック・セグメンテーション https://arxiv.org/abs/1612.00593

  16. PointNet の構造 ・点の順番の影響をなくす、回転の影響をなくす等の工夫 ・改良型のPointNet++などもある http://kaldir.vc.in.tum.de/scannet_benchmark/semantic_label_3d

  17. 類似図面の検索システム ・(株)日立ソリューションズがすでに販売 (Ubuntu版) ・ベンチャー企業も同様のサービスを提供

  18. まとめ ・見積もりの省力化のための類似図面の検索 画像の類似度の計算 画像を使っての実験 ・CNNの入力数を増やしたり、PointNetを使うことでより 正確になるかも ・書籍「PythonとKerasによるディープラーニング (マイナ ビ)」がおすすめ 18

  19. お知らせ(新潟県) ・講演会 11月22日(金)午後 中部大山下准教授 ディープラーニング(画像系)最前線 リタテクノロジー(ウエノテックス) 廃棄物の選別 場所は県工業技術総合研究所(新潟市鐙) ・講習会 12月3日

    一般物体検出(中越技術支援センター) 12月13日 CNNとRNN(下越技術支援センター) ・「工技総研」で検索 19