CADDi DRAWER_ 仕組みで品質を作る図面解析

20230720_Data-Centric AI 勉強会資料

Transcript

1. 2023.07.20 Data-Centric AI勉強会
   Takeaki Imai
   CADDi DRAWER: 仕組みで品質を作る図面解析
   

   View Slide

2. About Me

   2
   Takeaki Imai
   　@imaimai0
   大学・大学院: 航空宇宙・マルチエージェントシステム・渋滞学
   NTT研究所: 機械学習・データ分析
   i Smart Technologies: 製造業向けIoTサービスを開発
   CADDi: AI Lab立ち上げ、DRAWERのTechnical PdM
   Carrer:
   Hobby:
   テーマは「技術で文化を創る」
   サウナ・家造り・茶道
   計らずも技術と距離を置いて生きています
   

   View Slide

3. About CADDi

   

   View Slide

4. モノづくり産業のポテンシャルを解放する

   Unleash the potential of manufacturing

   MISSION（経営理念）

   4
   

   View Slide

5. 2つの事業で、サプライチェーン変革を支援

   設計 調達 製造 販売
   CADDi MANUFACTURING
   調達・製造の
   ワンストップパートナー
   ・調達生産機能の外部集約化
   ・QCD担保・納品責任を負う
   ・自らIntelligentなサプライチェーンを構築・運用
   CADDi DRAWER
   図面からサプライチェーン
   全体をアセット化
   ・最重要データの「図面」から資産化支援
   ・利用データに基づく価値の継続向上
   サプライチェーンにまつわる上流・下流のデータを相互に補完し合う
   technology
   knowledge
   

   View Slide

6. MANUFACTURING 調達・製造のワンストップパートナー

   設計 調達 製造 販売
   CADDi MANUFACTURING
   調達・製造の
   ワンストップパートナー
   ・調達生産機能の外部集約化
   ・QCD担保・納品責任を負う
   ・自らIntelligentなサプライチェーンを構築・運用
   CADDi DRAWER
   図面からサプライチェーン
   全体をアセット化
   ・最重要データの「図面」から資産化支援
   ・利用データに基づく価値の継続向上
   サプライチェーンにまつわる上流・下流のデータを相互に補完し合う
   ※SaaS-Enabled Virtual Factory / Virtual Factory-Enabled SaaS
   technology
   knowledge
   

   View Slide

7. 業界・部品例

   Machining
   Semiconductor Food/Packaging
   Data center
   多品種少量生産

   (1～1,000/月)

   製品の例

   7
   

   View Slide

8. 業界・部品例

   Plant
   多品種少量生産

   (1～100/月)

   製品の例

   8
   

   View Slide

9. CADDi DRAWER

   設計 調達 製造 販売
   CADDi MANUFACTURING
   調達・製造の
   ワンストップパートナー
   ・調達生産機能の外部集約化
   ・QCD担保・納品責任を負う
   ・自らIntelligentなサプライチェーンを構築・運用
   CADDi DRAWER
   図面からサプライチェーン
   全体をアセット化
   ・最重要データの「図面」から資産化支援
   ・利用データに基づく価値の継続向上
   サプライチェーンにまつわる上流・下流のデータを相互に補完し合う
   ※SaaS-Enabled Virtual Factory / Virtual Factory-Enabled SaaS
   technology
   knowledge
   

   View Slide

10. 製造業「最重要データ」といわれる図面は、資産とほど遠い
    https://warekennis.nl/wp-content/uploads/2013/11/bridging-the-information-worker-productivity-gap.pdf
    部署問わずアクセスしたい過去図面に即座にアクセスできる、検索性が高い、形式
    知化されている、将来の設計・調達・製造・保守等に「価値を生む」
    という状態からはほど遠く課題が山積
    10年以上前の図面が
    紙で保管されている
    各調達・設計者のローカルフォ
    ルダに保存。他の人が何を持っ
    ているかは知らない
    システムに保管されて
    いるが、1図面ずつしか
    引き出せない
    

    View Slide

11. DXの第一歩としてのCADDi DRAWER

    設計 調達 製造・施工 検査・納品 販売
    サービス
    図面のデータアセット化
    部署問わずアクセスしたい過去図面に即座にアクセスできる、検索性が高い、形式知化さ
    れている、将来の設計・調達・製造・保守等に「価値を生む」状態へ
    

    View Slide

12. CADDiのData-Centric AIの取り組み

    

    View Slide

13. CADDi Technology History

    3DCADからの

    自動見積りで事業スタート
    

    調達の課題に入り込むと、
    

    やり取りがほぼ2Dだった

    →2Dにシフトチェンジ

    図面の管理・解析

    SCM

    見積自動計算

    3DCAD解析

    2D図面の活用を起点に

    SaaS立ち上げ展開

    類似検索

    図面解析

    サービスアプリケーション

    SaaSを起点に3D+αへの再挑戦

    プラットフォームからデータの
    プロトコル化

    

    View Slide

14. CADDi × ML活用

    CADDi AI Lab
    CADDi MANU
    Tech Team
    MANU DRAWER
    CADDi DRAWER
    Tech
    ML/Algo Team
    技術コアとして、DRAWERの下で素早く検証・価値提供
    3Dなどの構造化データが増えていく中で、 ML/Algoチームの融合
    CADDi
    DRAWER
    Tech Team
    MANU DRAWER
    CADDi MANU
    Tech Team
    CADDi DRAWER
    App Team
    検証から価値提供まで遠い
    縦にチームをつなぐことで質とス
    ピードを高める
    

    View Slide

15. MLモデリングのフロー

    データ収集
    課題定義
    アノテーション モデリング 運用 再学習
    

    View Slide

16. データ収集・課題定義
 データ収集
    課題定義
    アノテーショ
    ン
    モデリング 運用 再学習
    DRAWER:
    図面データをコアとしたナレッ
    ジマネジメントプラットフォー
    ム
    図面
    etc..
    品質
    設計
    見積
    受注 発注
    図面を
    貯める
    検索する
    情報を
    抜きだす
    情報を
    関連づける
    行動する
    分析する
    DRAWERでデータを貯め顧客
    ヒアリングなどを通して何を
    MLで解くか決める

    

    View Slide

17. プロジェクト管理
    物流拠点などの
    管理担当を登用
    →QCDの管理体制が整う
    Annotation Ops
 データ収集
    課題定義
    アノテーショ
    ン
    モデリング 運用 再学習
    ● 製造業ドメインに強いメンバ / プロジェクト管理が得意なメンバと共にデータ品質を仕組みで作り込んでい
    くことで、継続的にMLモデルの品質を高めつつ、
    MLEがより高度なタスクに集中できる環境を作る
    ドメインナレッジ
    社内で図面の
    見積業務担当を登用
    →データ品質の向上につながる
    モデリング
    属人性を排除する仕組みを開発中
    →基本タスクの属人性の解消、より
    高度なタスクにフォーカス
    Biz Tech
    

    View Slide

18. アノテーションツールの選定
 データ収集
    課題定義
    アノテーショ
    ン
    モデリング 運用 再学習
    考慮したポイント
    ● MLタスクの網羅性
    ● データソースの柔軟性(ローカル/GCP/AWS連携)
    ● アノテーションラベル等タスク設定のしやすさ
    ● ショートカットの有無
    ● UIの洗練
    ● 複数人同時処理
    ● 進捗確認のしやすさ
    etc…
    

    View Slide

19. 仕組みでデータのQCDを作る
 データ収集
    課題定義
    アノテーショ
    ン
    モデリング 運用 再学習
    Quality
    ● 詳細なドキュメンテーションによるアノテーション作業員とのすり合わせ
    ● オンボーディングによる品質のボトムラインを担保
    ● ダブルチェックによる人為ミスの低減
    Cost Delivery
    ● 詳細なドキュメンテーションによるアノテーション作業員とのすり合わせ
    ● オンボーディングによる品質のボトムラインを担保
    ● ダブルチェックによる人為ミスの低減
    ● IoU閾値/ピクセル閾値:明確な基準の提示
    ● 合格スコア:フォローアップ効率化
    ● 目標時間:ショートカット活用促進
    オンボ1回目　合格率 50%(10/20人)
    オンボ2回目　合格率 80%(16/20人)
    オンボ3回目　合格率 100%(20/20人)
    *社内アンケートにより 15人/17人がオンボの品質向上効果
    を実感
    https://fastlabel.notion.site/4db080decbcd4f08bcdd826389868e16
    アノテーション
    ダブルチェック
    最終抜き取りチェック
    チェックプロセス
    84.1% pass
    99.8%pass
    ● ダブルチェックではリーダーが持ち回りで品質
    チェック。指導や質問の醸成も目的
    ● 抜き取りチェックではマネージャーがチェック。最
    終的な品質責任を追う。社内
    SLOは99.5%に設
    定
    

    View Slide

20. 仕組みでデータのQCDを作る
 データ収集
    課題定義
    アノテーショ
    ン
    モデリング 運用 再学習
    OPS リソース
    時期
    ● OPSの繁閑差を利用してアノテーションをブースト
    ● 質問対応など、プロジェクト効率化の徹底
    通常オペレーション
    アノテーション業務
    Cost
    Quality Delivery
    質問解消プロセス/権限委譲による対応工数/単価の低減
    ・メンバ→リーダー同接質問
    ・マニュアル解決
    ・リーダー→PM質問
    ・FAQ/変更点のナレッジ化
    →マニュアル作成byリーダー
    ・PM→MLE質問/方針決め
    

    View Slide

21. 仕組みでデータのQCDを作る
 データ収集
    課題定義
    アノテーショ
    ン
    モデリング 運用 再学習
    Delivery
    ● アノテーション専属工数の確保によるボトムライン確保
    ● プロジェクト予実管理
    Delivery
    Quality Cost
    リソース調整 実測値計測 予実管理
    ・2事業部/3部門/4業務で調整
    ・ボトムライン業務量の合意
    ・セキュリティ管理を徹底
    ・スプレッドシートにて管理
    ・業務単位で開始/中断/完了を打刻
    ・今後作業ツールと一体化したい
    ・スプレッドシートにて集計
    ・遅延分は再計画(シフト/作業量調整)
    ・前例比較し異常があれば検証
    /修正
    

    View Slide

22. モデリングの属人性を下げる取り組み
 データ収集
    課題定義
    アノテーショ
    ン
    モデリング 運用 再学習
    ● 学習までのフローの基盤を整備
    ○ データ収集 / アノテーション / 評価 / デプロイ etc…
    ○ モデリングに関しても分類 / 検出など類似タスクに置いてベンチマークとなるモデルと評価指標を用
    意し、横展開
    ML未経験者がモデル作成にチャレンジし、
    2ヶ月でデプロイまで達成。要因
    ● kaggle体験会による画像認識タスクのオンボーディングと
    kaggle masterのペアプロを通したメンタリング
    ● モデル作成からWebAPI化する仕組みや手順がすでに確立していた
    ● (未経験者だけど単純に本人が優秀だった
    )
    

    View Slide

23. 運用: モニタリングでの品質管理
 データ収集
    課題定義
    アノテーショ
    ン
    モデリング 運用 再学習
    モニタリング項目
    ● 品質やコストのモニタリング
    ○ サービスの中で収集されたデータをアノテーションに回すことで精度測定
    ○ 間違っているものをアノテーションできるようにCSチームと連携
    ○ ダッシュボードで推論コストを管理
    ● 価値のモニタリング
    ○ 認識結果がどのくらい使われたかも保存されている。ROIの検証
    

    View Slide

24. 運用: Bizとの連携、フィードバックサイクルを
    回す仕組みの構築

    データ収集
    課題定義
    アノテーショ
    ン
    モデリング 運用 再学習
    ● プロダクト利用の中で間違っている箇所をレイズし、そのまま要アノテーションデータとして登録される仕組
    み「Pitman」を社内で構築。Customer Successが拾った顧客要望をすぐにフィードバックできるように
    Pitman
    annotation
    tool
    CS Feedback
    

    View Slide

25. ドリフトを検知する仕組みづくり
 データ収集
    課題定義
    アノテーショ
    ン
    モデリング 運用 再学習
    板金のみ
    旋盤も
    含まれる
    ように
    データドリフトの検知や、再
    学習の基盤を構築していく
    

    View Slide

26. データ基盤と再学習基盤
 データ収集
    課題定義
    アノテーショ
    ン
    モデリング 運用 再学習
    下記状態を目指してデータ管理基盤・再学習基盤を構築中
    ● アノテーション結果がシームレスにデータ基盤につながっている
    ● データ基盤には、タグが付けられていてバージョン管理ができる
    ● テストデータセットによるテスト→デプロイ
    アノテーション データストア
    タグ付き
    データセット
    v1
    v2
    v3…
    再学習 モデル評価 デプロイ
    基準を満たなければデ
    プロイされない
    

    View Slide

27. We’re Hiring!!
    CADDi Tech Open Position
    

    View Slide