SSII2026 [OS2-2] 製造業ドメインにおける VLMの現在地

Transcript

1. SSII 2026 製造業ドメインにおける VLMの現在地 2026.6.11 稲葉　正樹（キャディ株式会社 ）
2. © CADDi Inc. 01 ⾃⼰紹介 会社紹介 ⽣成AIの活⽤事例 製造業LLM/VLMベンチマーク ManuDraw-Bench 02 03 04 05 まとめ: 実利⽤の難しさや今後の論点
3. © CADDi Inc. ⾃⼰紹介 Data Platform / Data & Analysis Engineering Manager 稲葉 正樹 • キヤノンでロボットビジョン、デンソーで⾞載カメラ画像認 識の研究開発に従事。研究機関との共同研究や実⽤化に加 え、⼤規模な⾞載画像データを処理する機械学習パイプライ ンの設計/構築をリード • エクサウィザーズでMachine Learning Vision GroupのTech Leadとして様々なPoC開発を経験 • 2022年7⽉に、キャディ株式会社に⼊社。2D/3D図⾯を⼊⼒ とし、機械学習技術で認識/解析するプロジェクトに参画
4. © CADDi, Inc. モノづくり産業の ポテンシャルを解放する 4 Unleash the potential of manufacturing Mission
5. © CADDi Inc. システムコンセプト 図⾯ 仕様書 発注⾦額 不良写真 3D CAD 不具合情報 ⾒積 やり取り記録 情報の 解析‧構造化 CADDi データ基盤 価値の源泉となるデータを提供するレイヤー。 製造業に眠る膨⼤な⾮構造化データを、解析フローの実⾏を 通じて資産へと変換。 図⾯やCAD、Document、受発注データなど、製造業のコア となるデータを、アプリケーションやソリューションが利⽤ 可能な状態で提供する。 受注最⼤化 原価最適化 リスク最⼩化 ⽣準 LT 短縮 設計 LT 短縮 商品⼒向上 Application Solution AI QCD 最適化 ⽣産性向上 属⼈性排除 製造業データ活⽤クラウド 製造業AI⾒積クラウド 製造業 AI データ プラットフォーム CADDi® 紙ファイル PLM / PDM ファイルサーバー ERP 5
6. © CADDi Inc. 6 製造業において最も重要なデータとされている「図⾯」。 図⾯をはじめとする、サプライチェーンの中で⽣まれるあらゆる データは、PDFや紙などの⾮構造的なデータとなり、その多くが活 ⽤できる状態にありません。 図⾯などのデータをただ貯めるのではなく、将来価値を⽣む「資 産」として活⽤する。貯めたものを引き出す、価値を⽣み出す。 そのためのアプリケーションが「CADDi Drawer」です。 Drawing Drawer : 図⾯ : 引き出し © CADDi Inc. アプリケーション①
7. © CADDi Inc. 7 原価が8割を占める製造業において、価格を決定する「⾒積業務」 は⾮常に重要です。しかしこれまで⼤きなイノベーションが起き ず、ベテラン社員への属⼈化や、メール‧FAXでの実施による業務 ⼯数の逼迫など多くの課題を抱えていました。 「CADDi Quote」は⾒積業務の体験を⼤きく改善し、⽇々の業務 が資産化されるサイクルを⽣み出します。 AI 見積クラウド © CADDi Inc. アプリケーション②
8. © CADDi Inc. 8 製造業の共通言語： 2D図面 作りたいモノと設計意図を図、記号、数字、⽂字で伝える、製造現場における重要⽂書 図⾯に込められている主な情報 形状：三⾯図による3D表現と⼨法 加⼯指⽰： 加⼯精度（⼨法公差, 幾何公差） 表⾯粗さ 溶接種類 材料： 鉄、アルミ等 表⾯処理：メッキ処理等 関連部品：複数部品との組み⽴て品 注記：バリ‧カエリなきことなど暗黙知を含む表現 モノづくりの多くの業務‧⼯程において2D図⾯が登場 調達 製造 品質管理 設計
9. © CADDi Inc. 9 製造業データ： 3DCAD, 各種文書
10. © CADDi Inc. 10 生成AI活用：過去案件を参考に判断するプロセスの自律化 コアプロセスの流れ データ⼊⼒ （図⾯など） データ読解 関連事例検索 対応事例把握 判断‧⾏動 多くの業務で意識的‧無意識的に関わらず⾏われているプロセス 設計⽀援 「この製品の過去の不具合トラブルを把握し、今の設計 に活かせないか？」 膨⼤な技術⽂書から過去の類似不具合情報を検索し、具体的な対応 策を提⽰ 調達⽀援 「この図⾯を加⼯できる/発注できるサプライヤーはど こか？妥当なコストはいくらか？」 加⼯指⽰‧材料‧表⾯処理を⾃動で読み取り、最適なサプライヤー の特定とコスト試算を⽀援
11. © CADDi Inc. 11 設計支援：製造業 RAG LLM 時間‧組織の壁を越え、分散した知⾒を統合‧抽出するRAGプロセス RAGの基本プロセス ユーザー RAGシステム ⽂書DB 回答 ①質問⼊⼒ ②関連⽂書検索 ③回答⽣成 ④回答出⼒ 図⾯ / 議事録 / 仕様書 / 不具合情報 / 試験結果 ユーザーのクエリ例 RAGによる回答（求められる情報） 「⾼負荷試験の⼿順を教えて」 試験装置、実施条件、安全基準の具体的なステップ 「製品Xの耐久試験の結果は？」 開発段階ごとの課題、対策、および最終的な試験結果 「この部品の過去トラブルは？」 不具合事例、故障履歴、および関連する技術⽂書の要約 他部署の情報にアクセスし、それぞれの⽂書を読み込まずとも必要な知⾒だけを抽出
12. © CADDi Inc. 12 製造業RAGで直面した課題 課題 対策 1. ユーザクエリの分解‧拡張 • 製造業の知識をベースに関連キーワードへ拡張 （製品‧部品、専⾨⽤語） • 適切な回答構造を識別し、試験条件や評価指標などの 詳細情報を取得 2. 網羅性重視のチャンク取得 • 安全性‧品質に関わる⾒逃しを防ぐため、 重要⽂書の取得を優先 • 広めに取得し後段で精度を⾼める設計により、 回答可能範囲を拡⼤ 2. 検索と絞り込みの調整 • 設計変更による類似⽂書が⼤量に存在 （構成が共通し⼀部のみ異なる） • 製品仕様や品質記録など、散在する情報を横断的に 調査する必要性 1. ユーザクエリのあいまいさ • 専⾨⽤語の表記揺れ（製品名と管理番号、略称の混在 e.g. AAA-001, パワーリレー • クエリが曖昧でも、回答には具体的な情報が必要 3. 評価‧運⽤の難しさ • 回答の正しさを検証する⼿段が乏しい ただ⼀般的なRAGシステムを利⽤するだけでは、ユーザが求めるタスクはこなせない 固有知識‧慣習を吸収し、Agenticな検索で情報を絞り込む設計が重要 3. 評価⽅法の確⽴ • LLM as a Judge による⾃動評価 • ドメインエキスパートがラベル付けした⾼品質な e2e評価データセットの構築
13. © CADDi Inc. 13 さらに、複数の生成 AI活用の取り組みで共通する課題に直面 期待する回答が得られていない場合の原因は何か？どこを改善すればいいのか？どういう効果があるのか？ データの特性 • ⾃然⾔語だけでなく図形の解釈が必要 • 3次元の形状理解が必要 • 多種の情報が混在‧スパースでフォーマット化 されていない LLM / VLM単体では難しいタスク • 業界の常識や暗黙知が必要 • ユーザの背景を知らないため意図が不明瞭 • ⾒逃しや誤りが許されないタスク 実⽤化の壁 「どこが弱いか」を定量的に把握しないと、改善の⽅向も我々が取り組むべきことも定まらない 業界の体系的な評価ベンチマーク作成へ
14. © CADDi Inc. 14 製造業LLM/VLMベンチマーク ManuDraw-Bench 熟練者が図⾯を読む流れ: 評価タスク定義 STEP 01 3D形状を 把握する 空間把握 STEP 02 各要素の意味を 読みとる 要素認識 STEP 03 要素の位置と 関係性の理解 要素検出 STEP 04 製造品質⽂脈を 踏まえて解釈 製造品質解釈 関連研究: VLMs4Design, MechVQA 汎⽤ベンチマークでは測れない、形状把握能⼒や製造設計意図理解⼒を評価 熟練者の図⾯読解プロセスに基づいて定義した製造業向けVLM評価ベンチマーク まだデファクトと呼べる製造業界の ベンチマークは存在しない
15. © CADDi Inc. 15 ManuDraw-Bench: 空間把握 図⾯の中に書かれている⽴体がどのような形か把握できているかどうか 形状復元 2D図⾯から3D CADの形状を 復元する 2D-3D対応点推定 2D図⾯に対応する3次元座標 を予測
16. © CADDi Inc. 16 ManuDraw-Bench: 要素認識・要素検出 図⾯内の個々の要素（⽂字‧⼨法‧記号など）の意味と位置の正確な把握 要素認識 {key: value} の構造化 「この図⾯の図番は何番か」「この数値は 何の⼨法か」「この記号は何を指すか」と いった意味的な対応付けを⾏う 要素検出 構造化 ＋ 位置 (Bounding Box) 要素が図⾯上の「どこ」にあるかを座標と して特定する なぜ位置が必要か？ 要素の位置関係によって、どの加⼯がどこ になされるべきかの判断が異なるため
17. © CADDi Inc. 17 ManuDraw-Bench: 製造品質解釈 製品の製造‧検査⼯程を理解しているかどうかを知識試験を通じて評価 •評価⽅法：製造業ドメインの資格試験の問題に対する正答率を測定 ⼊⼒: 質問⽂ アルミニウムの陽極酸化処理に関する記述と して、誤っているものはどれか。 イ. 陽極酸化処理では、アルミニウムを陽極 として電解し、表⾯に酸化⽪膜を形成する。 ロ. 硫酸浴による陽極酸化⽪膜は、⼀般に染 ⾊処理を⾏うことができる。 ハ. 陽極酸化⽪膜は導電性が⾼いため、電気 接点部品の仕上げとして多⽤される。 出⼒: 回答 ハ 陽極酸化⽪膜は酸化アルミニウムを主 体とするため、⼀般に絶縁性が⾼いで す。そのため、導電性が必要な接点部 には不向きな場合があります。 LLM / VLM 評価 出⼒と正解をつき合わせて、どの程度の割 合が正解できているかを測定。 → 製造‧検査の知識量を定量的に評価する
18. © CADDi Inc. 18 ManuDraw-Bench: 結果 空間把握 空間把握⼒は実⽤レベルと は⾔い難い。モデルによっ て性能差が⼤きい 要素認識 要素認識はそこそこ。VLM サイズが異なっても劇的な 性能変化は⾒られない 要素検出 位置まで含めて要素検出す るのは不得意。ただ、最近 ⼤きな伸びを⾒せている VLMが現れている 製造品質解釈 資格試験の合格ライン （7割程度）を考慮しても、 全体として⼗分な性能
19. © CADDi Inc. 19 ManuDraw-Bench: 考察・学び • 教科書やWeb記事など⾃然⾔語で記述されていることの知識と理解⼒は⼗分にある • 2D図⾯読解や形状把握能⼒はまだまだ課題があるが、性能が伸びているタスクはあるためトレンド は要観察 ◦ ドメイン特化のモデルはまだ必要。QualityだけでなくCostの⾼さを考慮しても必要。 ◦ 世の中の論⽂を⾒渡しても画像‧空間理解の課題が同様に報告されている(BabyVision, 2026) • もっとも⾼級なVLMだからQualityが⼀番⾼いとは限らない タスクに合わせてQuality, Cost, Deliveryのバランスを考慮したモデル選択が重要
20. © CADDi Inc. 20 まとめ • LLM/VLMを⽤いたシステムを容易に⽴ち上げられる世の中だが、期待する動きをさせるまでには 様々な課題がある ◦ 会社‧業界の固有知識や慣習の管理と注⼊ ◦ ユーザ意図やタスクの性質を理解した実⾏戦略 • 結局のところ機械学習と同様に実⽤化に向けて評価は必要 ◦ 今回は個別ベンチマークに触れたが、LLM/VLM活⽤やAgentにおいても評価設計は⼤事 • ベンチマークを通して⾃分たちが関わるドメインにおける得意不得意とトレンドを掴むことは重要 ◦ 製造業ドメインでは各モデルの2D図⾯理解や形状把握能⼒はまだ不⼗分。 ただ、性能が伸びているタスクもある。
21. © CADDi Inc. 21 実利用の難しさや今後の論点 • コストと成果のバランス ◦ モデルルーティング: 適材適所のモデル選択が重要か。 ▪ Quality, Cost, Deliveryを総合的に考慮するとドメイン特化モデルはまだ必要だと考えている。 • UI/UX ◦ AIの出⼒を100%信⽤できるわけではないため、修正UIや共同作業UXは必須。 • 責任の所在 ◦ 誰がいつ判断‧⾏動に責任を持つのか。そして、それはAIに置き換えられるのか？ • ナレッジ管理 ◦ ユーザの個別タスクが⾏われる中でチーム、組織、会社の共通ナレッジ管理はどうするか？ • 継続的な価値を⽣むものとして運⽤するには？ ◦ Skills, Tools差分変更管理？評価基盤？評価に基づいたCI/CD？
22. © CADDi Inc. We are hiring! CADDi Careers CADDi note CADDi Tech 22 カジュアル⾯談 採⽤情報 TOP まずは話を聞いてみたい⽅ コーポレートブログ Tech Blog