2023.07.20 Data-Centric AI勉強会 Takeaki Imai CADDi DRAWER: 仕組みで品質を作る図面解析

About Me
 2 Takeaki Imai 　@imaimai0 大学・大学院: 航空宇宙・マルチエージェントシステム・渋滞学 NTT研究所: 機械学習・データ分析 i Smart Technologies: 製造業向けIoTサービスを開発 CADDi: AI Lab立ち上げ、DRAWERのTechnical PdM Carrer: Hobby: テーマは「技術で文化を創る」 サウナ・家造り・茶道 計らずも技術と距離を置いて生きています

About CADDi


モノづくり産業のポテンシャルを解放する
 Unleash the potential of manufacturing
 MISSION（経営理念）
 4

2つの事業で、サプライチェーン変革を支援
 設計 調達 製造 販売 CADDi MANUFACTURING 調達・製造の ワンストップパートナー ・調達生産機能の外部集約化 ・QCD担保・納品責任を負う ・自らIntelligentなサプライチェーンを構築・運用 CADDi DRAWER 図面からサプライチェーン 全体をアセット化 ・最重要データの「図面」から資産化支援 ・利用データに基づく価値の継続向上 サプライチェーンにまつわる上流・下流のデータを相互に補完し合う technology knowledge

MANUFACTURING 調達・製造のワンストップパートナー
 設計 調達 製造 販売 CADDi MANUFACTURING 調達・製造の ワンストップパートナー ・調達生産機能の外部集約化 ・QCD担保・納品責任を負う ・自らIntelligentなサプライチェーンを構築・運用 CADDi DRAWER 図面からサプライチェーン 全体をアセット化 ・最重要データの「図面」から資産化支援 ・利用データに基づく価値の継続向上 サプライチェーンにまつわる上流・下流のデータを相互に補完し合う ※SaaS-Enabled Virtual Factory / Virtual Factory-Enabled SaaS technology knowledge

業界・部品例
 Machining Semiconductor Food/Packaging Data center 多品種少量生産
 (1～1,000/月)
 製品の例
 7

業界・部品例
 Plant 多品種少量生産
 (1～100/月)
 製品の例
 8

CADDi DRAWER
 設計 調達 製造 販売 CADDi MANUFACTURING 調達・製造の ワンストップパートナー ・調達生産機能の外部集約化 ・QCD担保・納品責任を負う ・自らIntelligentなサプライチェーンを構築・運用 CADDi DRAWER 図面からサプライチェーン 全体をアセット化 ・最重要データの「図面」から資産化支援 ・利用データに基づく価値の継続向上 サプライチェーンにまつわる上流・下流のデータを相互に補完し合う ※SaaS-Enabled Virtual Factory / Virtual Factory-Enabled SaaS technology knowledge

製造業「最重要データ」といわれる図面は、資産とほど遠い https://warekennis.nl/wp-content/uploads/2013/11/bridging-the-information-worker-productivity-gap.pdf 部署問わずアクセスしたい過去図面に即座にアクセスできる、検索性が高い、形式 知化されている、将来の設計・調達・製造・保守等に「価値を生む」 という状態からはほど遠く課題が山積 10年以上前の図面が 紙で保管されている 各調達・設計者のローカルフォ ルダに保存。他の人が何を持っ ているかは知らない システムに保管されて いるが、1図面ずつしか 引き出せない

DXの第一歩としてのCADDi DRAWER
 設計 調達 製造・施工 検査・納品 販売 サービス 図面のデータアセット化 部署問わずアクセスしたい過去図面に即座にアクセスできる、検索性が高い、形式知化さ れている、将来の設計・調達・製造・保守等に「価値を生む」状態へ

CADDiのData-Centric AIの取り組み


CADDi Technology History
 3DCADからの
 自動見積りで事業スタート 
 調達の課題に入り込むと、 
 やり取りがほぼ2Dだった
 →2Dにシフトチェンジ
 図面の管理・解析
 SCM
 見積自動計算
 3DCAD解析
 2D図面の活用を起点に
 SaaS立ち上げ展開
 類似検索
 図面解析
 サービスアプリケーション
 SaaSを起点に3D+αへの再挑戦
 プラットフォームからデータの プロトコル化


CADDi × ML活用
 CADDi AI Lab CADDi MANU Tech Team MANU DRAWER CADDi DRAWER Tech ML/Algo Team 技術コアとして、DRAWERの下で素早く検証・価値提供 3Dなどの構造化データが増えていく中で、 ML/Algoチームの融合 CADDi DRAWER Tech Team MANU DRAWER CADDi MANU Tech Team CADDi DRAWER App Team 検証から価値提供まで遠い 縦にチームをつなぐことで質とス ピードを高める

MLモデリングのフロー
 データ収集 課題定義 アノテーション モデリング 運用 再学習

データ収集・課題定義
 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 DRAWER: 図面データをコアとしたナレッ ジマネジメントプラットフォー ム 図面 etc.. 品質 設計 見積 受注 発注 図面を 貯める 検索する 情報を 抜きだす 情報を 関連づける 行動する 分析する DRAWERでデータを貯め顧客 ヒアリングなどを通して何を MLで解くか決める


プロジェクト管理 物流拠点などの 管理担当を登用 →QCDの管理体制が整う Annotation Ops
 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 ● 製造業ドメインに強いメンバ / プロジェクト管理が得意なメンバと共にデータ品質を仕組みで作り込んでい くことで、継続的にMLモデルの品質を高めつつ、 MLEがより高度なタスクに集中できる環境を作る ドメインナレッジ 社内で図面の 見積業務担当を登用 →データ品質の向上につながる モデリング 属人性を排除する仕組みを開発中 →基本タスクの属人性の解消、より 高度なタスクにフォーカス Biz Tech

アノテーションツールの選定
 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 考慮したポイント ● MLタスクの網羅性 ● データソースの柔軟性(ローカル/GCP/AWS連携) ● アノテーションラベル等タスク設定のしやすさ ● ショートカットの有無 ● UIの洗練 ● 複数人同時処理 ● 進捗確認のしやすさ etc…

仕組みでデータのQCDを作る
 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 Quality ● 詳細なドキュメンテーションによるアノテーション作業員とのすり合わせ ● オンボーディングによる品質のボトムラインを担保 ● ダブルチェックによる人為ミスの低減 Cost Delivery ● 詳細なドキュメンテーションによるアノテーション作業員とのすり合わせ ● オンボーディングによる品質のボトムラインを担保 ● ダブルチェックによる人為ミスの低減 ● IoU閾値/ピクセル閾値:明確な基準の提示 ● 合格スコア:フォローアップ効率化 ● 目標時間:ショートカット活用促進 オンボ1回目　合格率 50%(10/20人) オンボ2回目　合格率 80%(16/20人) オンボ3回目　合格率 100%(20/20人) *社内アンケートにより 15人/17人がオンボの品質向上効果 を実感 https://fastlabel.notion.site/4db080decbcd4f08bcdd826389868e16 アノテーション ダブルチェック 最終抜き取りチェック チェックプロセス 84.1% pass 99.8%pass ● ダブルチェックではリーダーが持ち回りで品質 チェック。指導や質問の醸成も目的 ● 抜き取りチェックではマネージャーがチェック。最 終的な品質責任を追う。社内 SLOは99.5%に設 定

仕組みでデータのQCDを作る
 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 OPS リソース 時期 ● OPSの繁閑差を利用してアノテーションをブースト ● 質問対応など、プロジェクト効率化の徹底 通常オペレーション アノテーション業務 Cost Quality Delivery 質問解消プロセス/権限委譲による対応工数/単価の低減 ・メンバ→リーダー同接質問 ・マニュアル解決 ・リーダー→PM質問 ・FAQ/変更点のナレッジ化 →マニュアル作成byリーダー ・PM→MLE質問/方針決め

仕組みでデータのQCDを作る
 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 Delivery ● アノテーション専属工数の確保によるボトムライン確保 ● プロジェクト予実管理 Delivery Quality Cost リソース調整 実測値計測 予実管理 ・2事業部/3部門/4業務で調整 ・ボトムライン業務量の合意 ・セキュリティ管理を徹底 ・スプレッドシートにて管理 ・業務単位で開始/中断/完了を打刻 ・今後作業ツールと一体化したい ・スプレッドシートにて集計 ・遅延分は再計画(シフト/作業量調整) ・前例比較し異常があれば検証 /修正

モデリングの属人性を下げる取り組み
 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 ● 学習までのフローの基盤を整備 ○ データ収集 / アノテーション / 評価 / デプロイ etc… ○ モデリングに関しても分類 / 検出など類似タスクに置いてベンチマークとなるモデルと評価指標を用 意し、横展開 ML未経験者がモデル作成にチャレンジし、 2ヶ月でデプロイまで達成。要因 ● kaggle体験会による画像認識タスクのオンボーディングと kaggle masterのペアプロを通したメンタリング ● モデル作成からWebAPI化する仕組みや手順がすでに確立していた ● (未経験者だけど単純に本人が優秀だった )

運用: モニタリングでの品質管理
 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 モニタリング項目 ● 品質やコストのモニタリング ○ サービスの中で収集されたデータをアノテーションに回すことで精度測定 ○ 間違っているものをアノテーションできるようにCSチームと連携 ○ ダッシュボードで推論コストを管理 ● 価値のモニタリング ○ 認識結果がどのくらい使われたかも保存されている。ROIの検証

運用: Bizとの連携、フィードバックサイクルを 回す仕組みの構築
 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 ● プロダクト利用の中で間違っている箇所をレイズし、そのまま要アノテーションデータとして登録される仕組 み「Pitman」を社内で構築。Customer Successが拾った顧客要望をすぐにフィードバックできるように Pitman annotation tool CS Feedback

ドリフトを検知する仕組みづくり
 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 板金のみ 旋盤も 含まれる ように データドリフトの検知や、再 学習の基盤を構築していく

データ基盤と再学習基盤
 データ収集 課題定義 アノテーショ ン モデリング 運用 再学習 下記状態を目指してデータ管理基盤・再学習基盤を構築中 ● アノテーション結果がシームレスにデータ基盤につながっている ● データ基盤には、タグが付けられていてバージョン管理ができる ● テストデータセットによるテスト→デプロイ アノテーション データストア タグ付き データセット v1 v2 v3… 再学習 モデル評価 デプロイ 基準を満たなければデ プロイされない

We’re Hiring!! CADDi Tech Open Position