Upgrade to Pro — share decks privately, control downloads, hide ads and more …

画像類似度計算

OHNO
November 07, 2019
1.4k

 画像類似度計算

OHNO

November 07, 2019
Tweet

Transcript

  1. 見積もり省力化のための
    画像類似度計算
    新潟県工業技術総合研究所
    大野 宏
    1
    Python機械学習勉強会in新潟/TFUG Niigata合同勉強会
    2019/11/2

    View full-size slide

  2. 本日の内容
    ・今回の取り組みのきっかけ
    ・自動見積もり
    ・類似図面の検索
    画像の類似度の計算
    CNN(畳み込みニューラルネットワーク)の利用
    画像を使っての実験
    ・まとめ
    ・お知らせ
    2

    View full-size slide

  3. 自動見積もり
    ・見積もりは受注につながるかわからないが、手間をかけ
    ずにできるだけ正確に出したい
    ・部品加工は切削、プレス、ワイヤーカット等、工程に分解
    し、各工程にどれだけ時間を要するか計算
    ・多くの企業で開発が進められている
    ・見積もり計算を簡単に計算するソフトもあり
    SNS型見積もりサービス「Terminal」 (月井精密)
    ・ミスミ 3DのCADデータをアップすると自動で見積もり

    View full-size slide

  4. ミスミの見積もりシステム1
    ・従来は、ユーザ(発注者側)が、選んで設計
    4

    View full-size slide

  5. ミスミの見積もりシステム2
    ・3DのCADデータをアップすると自動で見積もり
    ・工程に分解し、各工程の時間を計算 詳細は不明
    https://jp.misumi-ec.com/ 5

    View full-size slide

  6. 類似図面の検索
    ・工程に分解するのは大変
    ・新規の見積もり依頼があった時、過去の類似品を参考に
    することが一般的 → 工程分解や自動見積もりも可?
    ・自分のやった仕事は記憶に残るが、他の社員の仕事は
    わからない → システム化すれば全員が使える
    ・類似図面検索システムのニーズが高い
    ・3次元CADデータか2次元図面か、デジタルか紙か

    View full-size slide

  7. 畳み込みニューラルネットワーク
    ルカンらが畳み込みニューラルネットワークで手書き数字
    を認識
    畳み込み層
    局所的な特徴抽出
    プーリング層
    位置ずれを吸収
    Y.Lecun,et al.”Gradient-based Learning Appplied to Document Recognition”,Proc. of The IEEE,1998
    畳み込み層
    プーリング層
    入力層
    出力層
    プーリング層
    畳み込み層
    (1998 LeNet)
    全結合層
    0~9
    (Convolutional Neural Networks)
    7

    View full-size slide

  8. 類似画像(図面)の検索
    ・過去の類似品を探して見積もりを出すことが多い
    → 類似図面を検索するシステムの開発
    ・CNNで全結合層の出力を比較 類似図面を複数表示
    出力層
    全結合層
    0~9
    出力層の1つ手前の全結合層
    の出力を比較する
    ①3次元形状を2次元で表示
    ②3面図を利用
    ③点群データを利用
    8

    View full-size slide

  9. 入力画像1
    ・3次元形状を2次元画像に変換(透視変換)して利用
    ・一般的なCNNがそのまま使える
    ・学習データは442×3=1326
    部品1 部品2 部品3

    View full-size slide

  10. 類似度の計算
    学習用画像
    部品1 部品2 部品3
    テスト用画像
    部品1
    部品2
    部品3
    テスト用画像
    ・全結合層の出力を比較 各出力の差の合計が小さいもの

    View full-size slide

  11. 部品1
    部品2
    部品3
    ヒストグラムの比較
    テスト用画像は部品3
    ・テスト用画像は部品3のヒストグラムに類似
    ・1326枚の全結合層において、差の合計の最も小さいも
    のが類似画像(図面)

    View full-size slide

  12. 組み合わせネットワーク
    CNN Dense
    CNN
    RNN
    Dense
    画像
    分類
    一般的なSequentialモデル
    多入力モデル
    テキスト
    画像 分類

    View full-size slide

  13. 入力画像2
    ・三面図を使い3入力1出力ネットワーク
    Tensorflow/Keras → concatente(A,B,C)
    CNN
    CNN Dense 分類
    CNN
    平面図
    側面図
    正面図

    View full-size slide

  14. 入力画像3
    ・点群データをそのまま使う
    ・3次元CADデータは点群データから構成される

    View full-size slide

  15. PointNet
    ・3次元の物体を識別するネットワーク (Ubuntu版)
    分類、パーツ分け、セマンティック・セグメンテーション
    https://arxiv.org/abs/1612.00593

    View full-size slide

  16. PointNet の構造
    ・点の順番の影響をなくす、回転の影響をなくす等の工夫
    ・改良型のPointNet++などもある
    http://kaldir.vc.in.tum.de/scannet_benchmark/semantic_label_3d

    View full-size slide

  17. 類似図面の検索システム
    ・(株)日立ソリューションズがすでに販売 (Ubuntu版)
    ・ベンチャー企業も同様のサービスを提供

    View full-size slide

  18. まとめ
    ・見積もりの省力化のための類似図面の検索
    画像の類似度の計算
    画像を使っての実験
    ・CNNの入力数を増やしたり、PointNetを使うことでより
    正確になるかも
    ・書籍「PythonとKerasによるディープラーニング (マイナ
    ビ)」がおすすめ
    18

    View full-size slide

  19. お知らせ(新潟県)
    ・講演会
    11月22日(金)午後
    中部大山下准教授 ディープラーニング(画像系)最前線
    リタテクノロジー(ウエノテックス) 廃棄物の選別
    場所は県工業技術総合研究所(新潟市鐙)
    ・講習会
    12月3日 一般物体検出(中越技術支援センター)
    12月13日 CNNとRNN(下越技術支援センター)
    ・「工技総研」で検索 19

    View full-size slide