画像類似度計算

Transcript

1. 見積もり省力化のための
   画像類似度計算
   新潟県工業技術総合研究所
   大野 宏
   1
   Python機械学習勉強会in新潟/TFUG Niigata合同勉強会
   2019/11/2
   

   View Slide

2. 本日の内容
   ・今回の取り組みのきっかけ
   ・自動見積もり
   ・類似図面の検索
   画像の類似度の計算
   ＣＮＮ（畳み込みニューラルネットワーク）の利用
   画像を使っての実験
   ・まとめ
   ・お知らせ
   2
   

   View Slide

3. 自動見積もり
   ・見積もりは受注につながるかわからないが、手間をかけ
   ずにできるだけ正確に出したい
   ・部品加工は切削、プレス、ワイヤーカット等、工程に分解
   し、各工程にどれだけ時間を要するか計算
   ・多くの企業で開発が進められている
   ・見積もり計算を簡単に計算するソフトもあり
   SNS型見積もりサービス「Terminal」 （月井精密）
   ・ミスミ ３ＤのＣＡＤデータをアップすると自動で見積もり
   

   View Slide

4. ミスミの見積もりシステム１
   ・従来は、ユーザ（発注者側）が、選んで設計
   4
   

   View Slide

5. ミスミの見積もりシステム２
   ・３ＤのＣＡＤデータをアップすると自動で見積もり
   ・工程に分解し、各工程の時間を計算 詳細は不明
   https://jp.misumi-ec.com/ 5
   

   View Slide

6. 類似図面の検索
   ・工程に分解するのは大変
   ・新規の見積もり依頼があった時、過去の類似品を参考に
   することが一般的 → 工程分解や自動見積もりも可？
   ・自分のやった仕事は記憶に残るが、他の社員の仕事は
   わからない → システム化すれば全員が使える
   ・類似図面検索システムのニーズが高い
   ・３次元CADデータか２次元図面か、デジタルか紙か
   

   View Slide

7. 畳み込みニューラルネットワーク
   ルカンらが畳み込みニューラルネットワークで手書き数字
   を認識
   畳み込み層
   局所的な特徴抽出
   プーリング層
   位置ずれを吸収
   Y.Lecun,et al.”Gradient-based Learning Appplied to Document Recognition”,Proc. of The IEEE,1998
   畳み込み層
   プーリング層
   入力層
   出力層
   プーリング層
   畳み込み層
   （1998 LeNet)
   全結合層
   0～9
   （Convolutional Neural Networks）
   7
   

   View Slide

8. 類似画像（図面）の検索
   ・過去の類似品を探して見積もりを出すことが多い
   → 類似図面を検索するシステムの開発
   ・ＣＮＮで全結合層の出力を比較 類似図面を複数表示
   出力層
   全結合層
   0～9
   出力層の１つ手前の全結合層
   の出力を比較する
   ①３次元形状を２次元で表示
   ②３面図を利用
   ③点群データを利用
   8
   

   View Slide

9. 入力画像１
   ・３次元形状を２次元画像に変換（透視変換）して利用
   ・一般的なＣＮＮがそのまま使える
   ・学習データは４４２×３＝１３２６
   部品１ 部品２ 部品３
   

   View Slide

10. 類似度の計算
    学習用画像
    部品１ 部品２ 部品３
    テスト用画像
    部品１
    部品２
    部品３
    テスト用画像
    ・全結合層の出力を比較 各出力の差の合計が小さいもの
    

    View Slide

11. 部品１
    部品２
    部品３
    ヒストグラムの比較
    テスト用画像は部品３
    ・テスト用画像は部品３のヒストグラムに類似
    ・１３２６枚の全結合層において、差の合計の最も小さいも
    のが類似画像（図面）
    

    View Slide

12. 組み合わせネットワーク
    CNN Dense
    CNN
    RNN
    Dense
    画像
    分類
    一般的なSequentialモデル
    多入力モデル
    テキスト
    画像 分類
    

    View Slide

13. 入力画像２
    ・三面図を使い３入力１出力ネットワーク
    Tensorflow/Keras → concatente(A,B,C)
    CNN
    CNN Dense 分類
    CNN
    平面図
    側面図
    正面図
    

    View Slide

14. 入力画像３
    ・点群データをそのまま使う
    ・３次元CADデータは点群データから構成される
    

    View Slide

15. ＰｏｉｎｔＮｅｔ
    ・３次元の物体を識別するネットワーク （Ubuntu版）
    分類、パーツ分け、セマンティック・セグメンテーション
    https://arxiv.org/abs/1612.00593
    

    View Slide

16. ＰｏｉｎｔＮｅｔ の構造
    ・点の順番の影響をなくす、回転の影響をなくす等の工夫
    ・改良型のPointNet++などもある
    http://kaldir.vc.in.tum.de/scannet_benchmark/semantic_label_3d
    

    View Slide

17. 類似図面の検索システム
    ・（株）日立ソリューションズがすでに販売 (Ubuntu版）
    ・ベンチャー企業も同様のサービスを提供
    

    View Slide

18. まとめ
    ・見積もりの省力化のための類似図面の検索
    画像の類似度の計算
    画像を使っての実験
    ・ＣＮＮの入力数を増やしたり、PointNetを使うことでより
    正確になるかも
    ・書籍「PythonとKerasによるディープラーニング （マイナ
    ビ）」がおすすめ
    18
    

    View Slide

19. お知らせ（新潟県）
    ・講演会
    １１月２２日（金）午後
    中部大山下准教授 ディープラーニング（画像系）最前線
    リタテクノロジー（ウエノテックス） 廃棄物の選別
    場所は県工業技術総合研究所（新潟市鐙）
    ・講習会
    １２月３日 一般物体検出（中越技術支援センター）
    １２月１３日 ＣＮＮとＲＮＮ（下越技術支援センター）
    ・「工技総研」で検索 19
    

    View Slide