図面からの母材形状認識 - 【ABEJA × CADDi】Computer Visionのビジネス活用を考える

Transcript

1. 図面からの母材形状認識
   #ABEJAxCADDi
   竹原大智
   

   View Slide

2. 図面からの母材形状認識
   本発表で話すこと
   • 母材形状認識とは
   • 図面？母材形状？何の役に立つ？
   • 母材形状認識をCNNでやってみた
   話せないこと
   • 認識結果の実例の詳細など... (扱ってい
   るデータの機密性が高いため)
   Copyright 2017-2021 CADDi Inc. All rights reserved. 1
   図面
   母材形状：丸棒

   

   View Slide

3. キャディについて
   

   View Slide

4. SERVICE FEATURE
   産業・市場構造の中でキャディが目指すものは個々の加工会社が強みを

   最大限活かすことができるフラットな市場構造です

   

   マッチング（のみ行う）

   マッチングだけでは 

   探索コストが減るだけで 

   交渉・監督コストはそのまま 

   ファブレスメーカー

   （的立ち位置）

   商流に入ることで発注者・ 

   受注者の取引コスト・ 

   製造コストを下げる 

   図面データ

   アップロード・

   送付

   2
   ・調達工数削減 ・コスト削減 ・安定価格、納期 

   

   発注者

   ・見積レス ・論理的原価計算 ・売上安定化

   最適

   加工会社に

   確定発注

   

   自動製造原価計算・

   見積提示

   

   1
   検査・品質保証

   製品納入

   

   3
   CADDi 発注者

   MERIT MERIT
   

   View Slide

5. 母材形状認識とは？
   

   View Slide

6. 母材形状とは
   Copyright 2017-2021 CADDi Inc. All rights reserved. 5
   加工前の材料の形状
   • 完成品から逆算して選択される
   完成品
   母材 旋盤加工
   

   View Slide

7. 母材形状とは
   Copyright 2017-2021 CADDi Inc. All rights reserved. 6
   加工前の材料の形状
   • 完成品から逆算して選択される
   • 今回は板金加工と機械加工（フライス・旋盤）を含む10種類の母材が対象
   母材形状の一例
   

   View Slide

8. 母材形状とは
   Copyright 2017-2021 CADDi Inc. All rights reserved. 7
   加工前の材料の形状
   • 完成品から逆算して選択される
   • 今回は板金加工と機械加工（フライス・旋盤）を含む10種類の母材が対象
   母材形状から制作される部品の一例
   

   View Slide

9. 母材形状認識
   図面（画像）から母材形状を読み取る
   • 多クラス分類（10クラス）
   • 今回は複数の母材を含む組図などは対象としていない
   Copyright 2017-2021 CADDi Inc. All rights reserved. 8
   図面 母材形状：丸棒
   

   View Slide

10. 母材形状認識ができると何が嬉しい？
    Copyright 2017-2021 CADDi Inc. All rights reserved. 9
    図面から読み取られた母材形状の情報がプロダクトで活用されている
    • 受発注業務
    • 図面管理SaaS
    

    View Slide

11. 母材形状認識ができると何が嬉しい？
    Copyright 2017-2021 CADDi Inc. All rights reserved. 10
    図面から読み取られた母材形状の情報がプロダクトで活用されている
    • 受発注業務
    • 図面管理SaaS
    

    View Slide

12. 母材形状認識のための取り組み
    

    View Slide

13. 母材形状認識をCNNで
    Copyright 2017-2021 CADDi Inc. All rights reserved. 12
    図面 母材形状：丸棒
    CNN
    

    View Slide

14. 図面画像
    • 画像サイズが大きい（1辺が3000
    ~ 4000 px くらいが多い）
    • 発注者による図面の書き方や質
    の違いが大きい
    • 手書きのスキャンなどノイジーなも
    のも多い
    Copyright 2017-2021 CADDi Inc. All rights reserved. 13
    丸棒
 平鋼板

    板金
 板金

    

    View Slide

15. 前処理
    Copyright 2017-2021 CADDi Inc. All rights reserved. 14
    • テーブル・外枠除去
    • Augmentation（学習時のみ）
    テーブル・外枠除去
    

    View Slide

16. 前処理
    Copyright 2017-2021 CADDi Inc. All rights reserved. 15
    • テーブル・外枠除去
    • Augmentation （学習のみ）
    • Transpose(p=0.5)
    • HorizontalFlip(p=0.5)
    • VerticalFlip(p=0.5)
    • ShiftScaleRotate(p=0.5)
    

    View Slide

17. データセット
    学習データ
    • 自社での受発注業務を通して正解データが貯まる
    • 母材形状によっては少ないものもある
    • 数千図面ある母材、数十図面しかない母材
    Copyright 2017-2021 CADDi Inc. All rights reserved. 16
    

    View Slide

18. モデル・学習
    データ分割: Stratified K-fold
    画像サイズ: 1024 x 1024 pixel
    前処理: テーブル・外枠除去, Augumentation
    モデル: EfficientNet-B0 with FC Layer
    損失関数: Cross Entropy Loss with label smoothing (0.05)
    Copyright 2017-2021 CADDi Inc. All rights reserved. 17
    

    View Slide

19. 結果
    

    View Slide

20. 認識精度
    検証データ
    • 母材形状毎にバランス良く用意したもの
    • 顧客ごとの評価用セット
    分類正解率
    • 10クラス分類で8.5~9割程度
    • 信頼度が高いもの(半数程度)のみなどであれば9.5割程度
    Copyright 2017-2021 CADDi Inc. All rights reserved. 19
    

    View Slide

21. 認識精度
    誤分類パターン
    • 母材が似ているもの
    • 〜棒 ↔ パイプ、など
    • ノイジーなもの
    • 発注者による図面の書き方や質の違い
    が大きい、結果として発注者毎の精度
    のブレもある
    Copyright 2017-2021 CADDi Inc. All rights reserved. 20
    

    View Slide

22. 認識精度
    Copyright 2017-2021 CADDi Inc. All rights reserved. 21
    六角形の断面図も図面がノイジーだと丸
    みたいになってたりする
    誤分類パターン
    • 母材が似ているもの
    • 〜棒 ↔ パイプ
    • ノイジーなもの
    • 発注者による図面の書き方や質の違い
    が大きい、結果として発注者毎の精度
    のブレもある
    • 関連する発表: 図面をデノイジングする
    技術について
    

    View Slide

23. まとめ
    

    View Slide

24. 図面の母材形状認識について話しました
    • CNNにより図面から母材形状を読み取る
    • 初期検証の結果としては上々！現在プロダクトで活用する諸々の準備中
    Copyright 2017-2021 CADDi Inc. All rights reserved. 23
    図面 母材形状：丸棒
    CNN
    

    View Slide

25. We are hiring!!
    「キャディ　エンジニア採用」で検索！

    

    View Slide