図面からの母材形状認識 - 【ABEJA × CADDi】Computer Visionのビジネス活用を考える

1. 図面からの母材形状認識 #ABEJAxCADDi 竹原大智
2. 図面からの母材形状認識 本発表で話すこと • 母材形状認識とは • 図面？母材形状？何の役に立つ？ • 母材形状認識をCNNでやってみた 話せないこと • 認識結果の実例の詳細など... (扱ってい るデータの機密性が高いため) Copyright 2017-2021 CADDi Inc. All rights reserved. 1 図面 母材形状：丸棒

3. キャディについて
4. SERVICE FEATURE 産業・市場構造の中でキャディが目指すものは個々の加工会社が強みを
 最大限活かすことができるフラットな市場構造です
 
 マッチング（のみ行う）
 マッチングだけでは 
 探索コストが減るだけで 
 交渉・監督コストはそのまま 
 ファブレスメーカー
 （的立ち位置）
 商流に入ることで発注者・ 
 受注者の取引コスト・ 
 製造コストを下げる 
 図面データ
 アップロード・
 送付
 2 ・調達工数削減 ・コスト削減 ・安定価格、納期 
 
 発注者
 ・見積レス ・論理的原価計算 ・売上安定化
 最適
 加工会社に
 確定発注
 
 自動製造原価計算・
 見積提示
 
 1 検査・品質保証
 製品納入
 
 3 CADDi 発注者
 MERIT MERIT
5. 母材形状認識とは？
6. 母材形状とは Copyright 2017-2021 CADDi Inc. All rights reserved. 5 加工前の材料の形状 • 完成品から逆算して選択される 完成品 母材 旋盤加工
7. 母材形状とは Copyright 2017-2021 CADDi Inc. All rights reserved. 6 加工前の材料の形状 • 完成品から逆算して選択される • 今回は板金加工と機械加工（フライス・旋盤）を含む10種類の母材が対象 母材形状の一例
8. 母材形状とは Copyright 2017-2021 CADDi Inc. All rights reserved. 7 加工前の材料の形状 • 完成品から逆算して選択される • 今回は板金加工と機械加工（フライス・旋盤）を含む10種類の母材が対象 母材形状から制作される部品の一例
9. 母材形状認識 図面（画像）から母材形状を読み取る • 多クラス分類（10クラス） • 今回は複数の母材を含む組図などは対象としていない Copyright 2017-2021 CADDi Inc. All rights reserved. 8 図面 母材形状：丸棒
10. 母材形状認識ができると何が嬉しい？ Copyright 2017-2021 CADDi Inc. All rights reserved. 9 図面から読み取られた母材形状の情報がプロダクトで活用されている • 受発注業務 • 図面管理SaaS
11. 母材形状認識ができると何が嬉しい？ Copyright 2017-2021 CADDi Inc. All rights reserved. 10 図面から読み取られた母材形状の情報がプロダクトで活用されている • 受発注業務 • 図面管理SaaS
12. 母材形状認識のための取り組み
13. 母材形状認識をCNNで Copyright 2017-2021 CADDi Inc. All rights reserved. 12 図面 母材形状：丸棒 CNN
14. 図面画像 • 画像サイズが大きい（1辺が3000 ~ 4000 px くらいが多い） • 発注者による図面の書き方や質 の違いが大きい • 手書きのスキャンなどノイジーなも のも多い Copyright 2017-2021 CADDi Inc. All rights reserved. 13 丸棒
 平鋼板
 板金
 板金

15. 前処理 Copyright 2017-2021 CADDi Inc. All rights reserved. 14 • テーブル・外枠除去 • Augmentation（学習時のみ） テーブル・外枠除去
16. 前処理 Copyright 2017-2021 CADDi Inc. All rights reserved. 15 • テーブル・外枠除去 • Augmentation （学習のみ） • Transpose(p=0.5) • HorizontalFlip(p=0.5) • VerticalFlip(p=0.5) • ShiftScaleRotate(p=0.5)
17. データセット 学習データ • 自社での受発注業務を通して正解データが貯まる • 母材形状によっては少ないものもある • 数千図面ある母材、数十図面しかない母材 Copyright 2017-2021 CADDi Inc. All rights reserved. 16
18. モデル・学習 データ分割: Stratified K-fold 画像サイズ: 1024 x 1024 pixel 前処理: テーブル・外枠除去, Augumentation モデル: EfficientNet-B0 with FC Layer 損失関数: Cross Entropy Loss with label smoothing (0.05) Copyright 2017-2021 CADDi Inc. All rights reserved. 17
19. 結果
20. 認識精度 検証データ • 母材形状毎にバランス良く用意したもの • 顧客ごとの評価用セット 分類正解率 • 10クラス分類で8.5~9割程度 • 信頼度が高いもの(半数程度)のみなどであれば9.5割程度 Copyright 2017-2021 CADDi Inc. All rights reserved. 19
21. 認識精度 誤分類パターン • 母材が似ているもの • 〜棒 ↔ パイプ、など • ノイジーなもの • 発注者による図面の書き方や質の違い が大きい、結果として発注者毎の精度 のブレもある Copyright 2017-2021 CADDi Inc. All rights reserved. 20
22. 認識精度 Copyright 2017-2021 CADDi Inc. All rights reserved. 21 六角形の断面図も図面がノイジーだと丸 みたいになってたりする 誤分類パターン • 母材が似ているもの • 〜棒 ↔ パイプ • ノイジーなもの • 発注者による図面の書き方や質の違い が大きい、結果として発注者毎の精度 のブレもある • 関連する発表: 図面をデノイジングする 技術について
23. まとめ
24. 図面の母材形状認識について話しました • CNNにより図面から母材形状を読み取る • 初期検証の結果としては上々！現在プロダクトで活用する諸々の準備中 Copyright 2017-2021 CADDi Inc. All rights reserved. 23 図面 母材形状：丸棒 CNN
25. We are hiring!! 「キャディ　エンジニア採用」で検索！