製造業ドメインにおける LLMプロダクト構築： 複雑な文脈へのアプローチ

本資料は2026年3月5日開催の「異なるドメインで挑む LLM / VLM 開発：3社の実装とキャリアのリアル」のイベント登壇資料です。
エンジニア採用情報はこちら
https://recruit.caddi.tech/

Transcript

1. © CADDi Inc. 製造業ドメインにおける LLMプロダクト構築： 複雑な文脈へのアプローチ
2. © CADDi Inc. 自己紹介 キャディ株式会社 / Data & Analysis 髙橋 悠 専門は化学工学。前職の飲料メーカーでは生産技術 を担当。 2022年にキャディ株式会社へ参画。パートナー営業部 門、アプリケーション開発部門を経て、現在はLLMプロ ダクトの開発に従事しています。
3. © CADDi Inc. 3 モノづくり産業のポテンシャルを解放する Unleash the potential of manufacturing モノづくりに携わるすべての⼈が、 本来持っている⼒を最⼤限に発揮できる社会を実現する。 そのために私たちは、産業の常識を変える「新たな仕組み」をつくります。 現在モノづくり産業では、⾮常に多くの⼒が埋もれたままになっています。 ⾒積業務や管理業務に忙殺される、 営業⼒が⾜りない、情報やネットワークが乏しい。 あらゆる理由によってがんじがらめにされ、 本来の開発⼒や技術⼒を発揮しきれていません。 こうした縛りをほどくことで、各企業のポテンシャルを解放。 産業全体に⼤きな⼒を⽣み出し、豊かにすることが私たちの使命です。 ⼩さな町⼯場も、歴史ある⼤規模メーカーも、創⽴まもないベンチャーも。 すべてのモノづくり企業が強みを活かして輝き、新たな価値がたくさん⽣まれる。 そんな未来を切り拓くために、私たちは挑み続けます。 会社概要 - Mission
4. © CADDi Inc. 製造業は「世界最大の産業」 4 暮らしを⽀えるインフラ産業 医療や⾷、移動、通信など、私たちの暮らしに必要な 物事のすべてに製造業が関わっています。 あらゆるモノが、産業機械‧⼯作機械や、加⼯会社な どたくさんの⼈の⼿から⽣み出されています。  経済価値は巨⼤⽇本のGDPにも迫る IoTのみに焦点を当てて経済価値を業界別に産出した 場合、製造業は3.9兆ドル。 ⾦融や流通⼩売り等の他業界を上回り、⽇本の名⽬ GDPに迫る勢いです。 スマートフォンは半導体、 電池、ディスプレイなど 1000以上の部品で構成 業界の特徴
5. © CADDi Inc. 本日の内容 製造業ドメイン特化の RAG開発 • プロダクト概念説明 • プロダクト概要説明 • 課題 • 工夫したところ • どのように評価するのか
6. © CADDi Inc. 本日の内容 製造業ドメイン特化の RAG開発 • プロダクト概念説明 • プロダクト概要説明 • 課題 • 工夫したところ • どのように評価するのか
7. © CADDi Inc. プロダクト概念説明 製造業向けのRAG。技術検討書・品質検査報告書・仕様書などを横断検索。 ① 質問を⼊⼒ ② 関連⽂書を検索 ③ 回答を返す ④ 回答を出⼒ 議事録 不具合情報 試験結果 時間や組織の隔たりを越えた知⾒の活⽤で、知⾒に価値を ✓ ✓ 他部署の情報や過去情報でもすぐに発⾒ ⽂書データを読み込まなくても、ほしい情報だけを簡単に抽出
8. © CADDi Inc. プロダクト概要説明 Ingestion Search Answer レイアウト解析 チャンキング Embedding Keyword/Semantic Rerank • Ingestionステージで検索Indexを事前に作成 • Search, AnswerステージでUserのクエリに対して回答生成 Source selection Answer generation
9. © CADDi Inc. 本日の内容 製造業ドメイン特化の RAG開発 • プロダクト概念説明 • プロダクト概要説明 • 課題 • 工夫したところ • どのように評価するのか
10. © CADDi Inc. 課題：製造業特有のクエリと望ましい回答 クエリ例 • 「高負荷試験の手順を教えて」 • 「製品Xの耐久試験の結果はどうだった？」 • 「この部品の過去トラブルをざっくり知りたい」 求めている回答は ... • 「高負荷試験の手順を教えて」 -> どの試験装置・条件・安全基準で実施す べき試験なのか • 「製品Xの耐久試験の結果はどうだった？」 -> どの開発段階で、どんな課 題と対策が出ていたか • 「この部品の過去トラブルをざっくり知りたい」 -> 過去にどんな故障例が多 かったか。該当の文書の概要が知りたい
11. © CADDi Inc. クエリの理解 課題 • 専門用語の表記揺れ（製品名と管理番号、略称の混在） • クエリが曖昧でも、回答には具体的な情報が必要（試験条件、不具合など） 情報を選択するときの課題 • 設計変更により、構成が共通し一部のみ異なる類似文書が大量に存在する • 不具合究明などでは、製品仕様や品質記録など散在する情報を横断的に調査する必要がある システム設計の課題 • LLMが情報を混同する • 回答の正しさを検証する手段の王道がない 検索元データもクエリも、会社・業界のドメインに依存する
12. © CADDi Inc. 検索の工夫 ユーザークエリ ドメイン知識ベース キーワード抽出 検索用クエリ生成 ドキュメント検索 検索クエリ前処理 ユーザークエリの分解 製造業の知識をベースに、検索キーワードに変換 • 製品・部品の識別情報 • 技術用語や専門表現 • 試験条件や評価指標 複数単語と論理条件（ AND/OR）を組み合わせたキーワー ド検索 取得するチャンクは網羅性を重視 • 製造業では不具合情報を「少しでも見つける」ことが最優先 ◦ 安全性・品質に関わる情報の見逃しは致命的 • 重要文書を逃さないことを優先 • 検索では広めに取得し、後段で精度を高める設計 ファイル検索ヒット数が増加し、回答可能なクエリが拡大
13. © CADDi Inc. 検索改善の効果 専門用語・番号体系 AND/OR条件で クエリを生成 網羅性重視の検索 期待してない情報 関連性の高い情報 セマンティック検索 AAA-001の 接点不良対策を教えて 別製品のマニュアル 無関係な対策事例 パワーリレーの 基本構造を教えて 一般的なリレー資料のみ 改善前 改善後 AAA-001の 接点不良対策を教えて パワーリレーの 基本構造を教えて AAA-001の対策記録中心 パワーリレーの設計資料
14. © CADDi Inc. 生成の工夫 ユーザークエリ ユーザークエリの 質問を識別 In-context learning 回答生成 回答構造の判別 分析でわかったユーザーニーズ • 聞いたことに網羅的に回答してほしい • 複数の項目を並べて検索したい • 因果関係を知りたい • 複雑な条件でも検索したい XとYを教えて AとBで何が違う? 問題→原因→対策 Aまたは、BかつC どのように工夫したか • クエリの種類に応じた適切な回答構造を識別 • ダイレクト回答を求められるケースが多いので結論ファースト • クエリ条件を漏らさず考慮する ◦ 例：「製品A,Bで機能X,検査Yの資料」→ A/B各製品について 機能X,検査Y両方の資料
15. © CADDi Inc. 生成改善の効果 クエリ：「仕様AとBで、寸法X・寸法Yは異なるか？」 仕様Aの概要から説明すると...、 仕様Bの概要から説明すると...、 寸法値は散在してますが...、 情報はあるが、冗長な説明で わかりやすい構造になってない はい、異なります。 仕様A: 寸法X=~~mm, Y=~~mm 仕様B: 寸法X=~~mm, Y=~~mm 知りたいことが先頭にある。 根拠がその後に書いてある。 改善されたポイント 回答生成の範囲が明確 項目の抜け漏れの抑制 冗長な説明が抑制 改善前 改善後
16. © CADDi Inc. 本日の内容 製造業ドメイン特化の RAG開発 • プロダクト概念説明 • プロダクト概要説明 • 課題 • 工夫したところ • どのように評価するのか
17. © CADDi Inc. 評価の難しさ 難しいポイント • 正解の文書がどれかわからない（専門知識が必要...） • 回答の正しさを判断できる人が限られる • 定性評価の基準がブレる • 大量のクエリを手動で評価するのは現実的でない どうにかして定量的に評価したい。 どうやって改善をはかるのか ??
18. © CADDi Inc. LLM as a Judge • 検索精度: 検索した情報が根拠として確からしいか • 情報源の多様性 : 偏りなく複数の情報源を参照しているか • 質問との関連度 : 質問と回答の関連性 • 回答の具体性 : 具体的に回答を提示しているのか 定量評価 限界と課題 LLM as a Judgeの限界 • 表面的な判定 • ドメインに踏み込めない 定性評価の限界 • 専門知識が必要 • ドキュメントが膨大
19. © CADDi Inc. 評価データセットの作成 構成要素 1. ユーザークエリ 2. 理想的な検索結果 3. 回答に含まれるべき論点・事実 ドメインエキスパートがラベル付けした評価データセット 検索の網羅性 • 検索されるべきドキュメントを どれだけ取得できたか 回答の網羅性 • 回答に含まれるべき事実がど れだけ取得できたか 作成方法 1. パートナー企業と協力 2. 実際のユーザークエリを精査 3. 継続的なデータセット拡充 ドメインを考慮した評価が可能になる
20. © CADDi Inc. Engineering Manager Machine Learning プロダクト開発にとっても、⽣産性向上にとっても ⽣成AIはゲームチェンジャーになる破壊⼒です。 キャディでは最⼤限活⽤していくので、 興味のある⽅はぜひご連絡ください カジュアルにお話しましょう！ カジュアル⾯談ページ エンジニア採⽤ポータル CADDi Engineering Senior Software Engineer, Backend - Analysis Platform AI Engineer こちらのチームで TPdMも 募集中です！ 最後に