画像類似度計算

Transcript

1. 見積もり省力化のための 画像類似度計算 新潟県工業技術総合研究所 大野 宏 1 Python機械学習勉強会in新潟/TFUG Niigata合同勉強会 2019/11/2
2. 本日の内容 ・今回の取り組みのきっかけ ・自動見積もり ・類似図面の検索 画像の類似度の計算 ＣＮＮ（畳み込みニューラルネットワーク）の利用 画像を使っての実験 ・まとめ ・お知らせ 2
3. 自動見積もり ・見積もりは受注につながるかわからないが、手間をかけ ずにできるだけ正確に出したい ・部品加工は切削、プレス、ワイヤーカット等、工程に分解 し、各工程にどれだけ時間を要するか計算 ・多くの企業で開発が進められている ・見積もり計算を簡単に計算するソフトもあり SNS型見積もりサービス「Terminal」 （月井精密） ・ミスミ ３ＤのＣＡＤデータをアップすると自動で見積もり
4. ミスミの見積もりシステム１ ・従来は、ユーザ（発注者側）が、選んで設計 4
5. ミスミの見積もりシステム２ ・３ＤのＣＡＤデータをアップすると自動で見積もり ・工程に分解し、各工程の時間を計算 詳細は不明 https://jp.misumi-ec.com/ 5
6. 類似図面の検索 ・工程に分解するのは大変 ・新規の見積もり依頼があった時、過去の類似品を参考に することが一般的 → 工程分解や自動見積もりも可？ ・自分のやった仕事は記憶に残るが、他の社員の仕事は わからない → システム化すれば全員が使える ・類似図面検索システムのニーズが高い ・３次元CADデータか２次元図面か、デジタルか紙か
7. 畳み込みニューラルネットワーク ルカンらが畳み込みニューラルネットワークで手書き数字 を認識 畳み込み層 局所的な特徴抽出 プーリング層 位置ずれを吸収 Y.Lecun,et al.”Gradient-based Learning Appplied to Document Recognition”,Proc. of The IEEE,1998 畳み込み層 プーリング層 入力層 出力層 プーリング層 畳み込み層 （1998 LeNet) 全結合層 0～9 （Convolutional Neural Networks） 7
8. 類似画像（図面）の検索 ・過去の類似品を探して見積もりを出すことが多い → 類似図面を検索するシステムの開発 ・ＣＮＮで全結合層の出力を比較 類似図面を複数表示 出力層 全結合層 0～9 出力層の１つ手前の全結合層 の出力を比較する ①３次元形状を２次元で表示 ②３面図を利用 ③点群データを利用 8
9. 入力画像１ ・３次元形状を２次元画像に変換（透視変換）して利用 ・一般的なＣＮＮがそのまま使える ・学習データは４４２×３＝１３２６ 部品１ 部品２ 部品３
10. 類似度の計算 学習用画像 部品１ 部品２ 部品３ テスト用画像 部品１ 部品２ 部品３ テスト用画像 ・全結合層の出力を比較 各出力の差の合計が小さいもの
11. 部品１ 部品２ 部品３ ヒストグラムの比較 テスト用画像は部品３ ・テスト用画像は部品３のヒストグラムに類似 ・１３２６枚の全結合層において、差の合計の最も小さいも のが類似画像（図面）
12. 組み合わせネットワーク CNN Dense CNN RNN Dense 画像 分類 一般的なSequentialモデル 多入力モデル テキスト 画像 分類
13. 入力画像２ ・三面図を使い３入力１出力ネットワーク Tensorflow/Keras → concatente(A,B,C) CNN CNN Dense 分類 CNN 平面図 側面図 正面図
14. 入力画像３ ・点群データをそのまま使う ・３次元CADデータは点群データから構成される
15. ＰｏｉｎｔＮｅｔ ・３次元の物体を識別するネットワーク （Ubuntu版） 分類、パーツ分け、セマンティック・セグメンテーション https://arxiv.org/abs/1612.00593
16. ＰｏｉｎｔＮｅｔ の構造 ・点の順番の影響をなくす、回転の影響をなくす等の工夫 ・改良型のPointNet++などもある http://kaldir.vc.in.tum.de/scannet_benchmark/semantic_label_3d
17. 類似図面の検索システム ・（株）日立ソリューションズがすでに販売 (Ubuntu版） ・ベンチャー企業も同様のサービスを提供
18. まとめ ・見積もりの省力化のための類似図面の検索 画像の類似度の計算 画像を使っての実験 ・ＣＮＮの入力数を増やしたり、PointNetを使うことでより 正確になるかも ・書籍「PythonとKerasによるディープラーニング （マイナ ビ）」がおすすめ 18
19. お知らせ（新潟県） ・講演会 １１月２２日（金）午後 中部大山下准教授 ディープラーニング（画像系）最前線 リタテクノロジー（ウエノテックス） 廃棄物の選別 場所は県工業技術総合研究所（新潟市鐙） ・講習会 １２月３日 一般物体検出（中越技術支援センター） １２月１３日 ＣＮＮとＲＮＮ（下越技術支援センター） ・「工技総研」で検索 19