Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
画像類似度計算
Search
OHNO
November 07, 2019
0
1.8k
画像類似度計算
OHNO
November 07, 2019
Tweet
Share
More Decks by OHNO
See All by OHNO
生成系AIで自データを扱うには
planeta
0
180
外観検査の難しさ
planeta
0
430
儲かるPython
planeta
0
220
画像処理ライブラリOpenCVの使い方0910
planeta
0
1.4k
Pythonによる工業用カメラ画像取得事例
planeta
0
1.2k
画像処理ライブラリOpenCVの使い方
planeta
0
870
SONYのNNC
planeta
0
510
機械学習による動作認識
planeta
0
690
Tensorflow/Keras(Python)で作ったモデルをC++で使う
planeta
0
2.1k
Featured
See All Featured
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.1k
How To Stay Up To Date on Web Technology
chriscoyier
789
250k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
44
9.3k
Writing Fast Ruby
sferik
628
61k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Being A Developer After 40
akosma
87
590k
Keith and Marios Guide to Fast Websites
keithpitt
410
22k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
28
900
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
Optimising Largest Contentful Paint
csswizardry
33
3k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.9k
Transcript
見積もり省力化のための 画像類似度計算 新潟県工業技術総合研究所 大野 宏 1 Python機械学習勉強会in新潟/TFUG Niigata合同勉強会 2019/11/2
本日の内容 ・今回の取り組みのきっかけ ・自動見積もり ・類似図面の検索 画像の類似度の計算 CNN(畳み込みニューラルネットワーク)の利用 画像を使っての実験 ・まとめ ・お知らせ 2
自動見積もり ・見積もりは受注につながるかわからないが、手間をかけ ずにできるだけ正確に出したい ・部品加工は切削、プレス、ワイヤーカット等、工程に分解 し、各工程にどれだけ時間を要するか計算 ・多くの企業で開発が進められている ・見積もり計算を簡単に計算するソフトもあり SNS型見積もりサービス「Terminal」 (月井精密) ・ミスミ
3DのCADデータをアップすると自動で見積もり
ミスミの見積もりシステム1 ・従来は、ユーザ(発注者側)が、選んで設計 4
ミスミの見積もりシステム2 ・3DのCADデータをアップすると自動で見積もり ・工程に分解し、各工程の時間を計算 詳細は不明 https://jp.misumi-ec.com/ 5
類似図面の検索 ・工程に分解するのは大変 ・新規の見積もり依頼があった時、過去の類似品を参考に することが一般的 → 工程分解や自動見積もりも可? ・自分のやった仕事は記憶に残るが、他の社員の仕事は わからない → システム化すれば全員が使える
・類似図面検索システムのニーズが高い ・3次元CADデータか2次元図面か、デジタルか紙か
畳み込みニューラルネットワーク ルカンらが畳み込みニューラルネットワークで手書き数字 を認識 畳み込み層 局所的な特徴抽出 プーリング層 位置ずれを吸収 Y.Lecun,et al.”Gradient-based Learning
Appplied to Document Recognition”,Proc. of The IEEE,1998 畳み込み層 プーリング層 入力層 出力層 プーリング層 畳み込み層 (1998 LeNet) 全結合層 0~9 (Convolutional Neural Networks) 7
類似画像(図面)の検索 ・過去の類似品を探して見積もりを出すことが多い → 類似図面を検索するシステムの開発 ・CNNで全結合層の出力を比較 類似図面を複数表示 出力層 全結合層 0~9 出力層の1つ手前の全結合層
の出力を比較する ①3次元形状を2次元で表示 ②3面図を利用 ③点群データを利用 8
入力画像1 ・3次元形状を2次元画像に変換(透視変換)して利用 ・一般的なCNNがそのまま使える ・学習データは442×3=1326 部品1 部品2 部品3
類似度の計算 学習用画像 部品1 部品2 部品3 テスト用画像 部品1 部品2 部品3 テスト用画像
・全結合層の出力を比較 各出力の差の合計が小さいもの
部品1 部品2 部品3 ヒストグラムの比較 テスト用画像は部品3 ・テスト用画像は部品3のヒストグラムに類似 ・1326枚の全結合層において、差の合計の最も小さいも のが類似画像(図面)
組み合わせネットワーク CNN Dense CNN RNN Dense 画像 分類 一般的なSequentialモデル 多入力モデル
テキスト 画像 分類
入力画像2 ・三面図を使い3入力1出力ネットワーク Tensorflow/Keras → concatente(A,B,C) CNN CNN Dense 分類 CNN
平面図 側面図 正面図
入力画像3 ・点群データをそのまま使う ・3次元CADデータは点群データから構成される
PointNet ・3次元の物体を識別するネットワーク (Ubuntu版) 分類、パーツ分け、セマンティック・セグメンテーション https://arxiv.org/abs/1612.00593
PointNet の構造 ・点の順番の影響をなくす、回転の影響をなくす等の工夫 ・改良型のPointNet++などもある http://kaldir.vc.in.tum.de/scannet_benchmark/semantic_label_3d
類似図面の検索システム ・(株)日立ソリューションズがすでに販売 (Ubuntu版) ・ベンチャー企業も同様のサービスを提供
まとめ ・見積もりの省力化のための類似図面の検索 画像の類似度の計算 画像を使っての実験 ・CNNの入力数を増やしたり、PointNetを使うことでより 正確になるかも ・書籍「PythonとKerasによるディープラーニング (マイナ ビ)」がおすすめ 18
お知らせ(新潟県) ・講演会 11月22日(金)午後 中部大山下准教授 ディープラーニング(画像系)最前線 リタテクノロジー(ウエノテックス) 廃棄物の選別 場所は県工業技術総合研究所(新潟市鐙) ・講習会 12月3日
一般物体検出(中越技術支援センター) 12月13日 CNNとRNN(下越技術支援センター) ・「工技総研」で検索 19