20260219_PoCから実運用へ、生成AIをプロダクトに組み込む不確実性の壁

キャディは「製造業向け AI データプラットフォーム」の実現に向け、プロダクト開発を行っています。
PoC の段階を越えて実運用へ展開する過程では、想定以上に多様な壁が立ちはだかります。
本セッションでは、その壁にどう向き合ったかをプロダクト開発の事例を交えてお届けします。

# 20260219 ML PM #2 にて登壇
https://lycorptech-jp.connpass.com/event/380619/

Transcript

1. 実開発で学んだ⽣成AI活⽤と プロダクト導⼊の壁 ML PM Talk#2 キャディ株式会社 テクノロジー統括本部 Data Platform 本部⻑ 今井 武晃
2. ⾃⼰紹介 Takeaki Imai @imaimai0 CADDi: 2021年1⽉よりTechnical PdM AI Labを⽴ち上げ、現在はデータとAI部⾨のEMを務める。 NTT研究所: 機械学習‧データ分析 i Smart Technologies: 製造業向けIoTサービスを開発 Career: 「技術で⽂化を創る」をテーマに 製造業×DXに10年弱携わっています Hobby: サウナ‧家造り‧茶道 デジタルと距離を置いた⽣活をしています CADDi AI Labの進化 R&Dから実⽤プロダクトへの旅路
3. © CADDi Inc. Mission 3 モノづくり産業のポテンシャルを解放する Unleash the potential of manufacturing モノづくりに携わるすべての⼈が、 本来持っている⼒を最⼤限に発揮できる社会を実現する。 そのために私たちは、産業の常識を変える「新たな仕組み」をつくります。 現在モノづくり産業では、⾮常に多くの⼒が埋もれたままになっています。 ⾒積業務や管理業務に忙殺される、 営業⼒が⾜りない、情報やネットワークが乏しい。 あらゆる理由によってがんじがらめにされ、 本来の開発⼒や技術⼒を発揮しきれていません。 こうした縛りをほどくことで、各企業のポテンシャルを解放。 産業全体に⼤きな⼒を⽣み出し、豊かにすることが私たちの使命です。 ⼩さな町⼯場も、歴史ある⼤規模メーカーも、創⽴まもないベンチャーも。 すべてのモノづくり企業が強みを活かして輝き、新たな価値がたくさん⽣まれる。 そんな未来を切り拓くために、私たちは挑み続けます。
4. © CADDi Inc. 設計 調達 製造‧品証 営業 “ 苦労して学べ（⾃分も苦労したから）” 過去と類似の 図⾯作成 イチから 相⾒積‧交渉 類似の 品質不良対応 イチから ⾒積作業 データの分断により⾞輪の再発明が頻発 業界の特徴
5. © CADDi Inc. 5 キャディの⽬指す世界とアプローチ 全ての業務やデータを資産化し、AI‧テクノロジーで⾃動化‧最適化。 製造業全体でイノベーションがより⽣まれる世界へ。 データが 資産化されていない 同じ作業の繰り返し ⾞輪の再発明 データが 資産化されている 過去の積み重ねを“活⽤” 標準化の浸透で成⻑加速 業界の特徴 サイロ化している全てのデータを繋ぎ、活⽤可能な状態に整理する
6. 6 図⾯ 仕様書 不具合 情報 ⾒積 やり取り 記録 不良写真 発注⾦額 データソース CADDi データ基盤 情報を統合‧解析 3D CAD ERP PLM / PDM ファイルサーバー 紙ファイル データ探索‧分析 製造業データ活⽤クラウド 調達業務の⾼度化 製造業AI⾒積クラウド アプリケーション データ活⽤ 製造業AIデータ プラットフォーム CADDi ⽣産性向上 / 脱属⼈化 / QCD最適化 … AI System of CADDi データを統合し、データを活かして価値を⽣む
7. © CADDi Inc. プロダクトライフサイクルの各所で⽣成AI適⽤の壁が存在 運⽤ プロダクト化 PoC • ⾃然⾔語の定量評価は難し い。定性評価になる • temperature = 0 でも 冪等にならない 例） • tokenを富豪的に使った RAGだと1クエリ数⼗円に • Provisioning Throughput がGPU不⾜で捕まらない 例） • embeddingの洗替 • 新しいモデルがでたときに 適切に評価したい • うまくクエリを⼊⼒できる ⼈ほど満⾜度が⾼い 例） 評価や再現性担保が難しい 精度∝体験 なのか コストとスループットの壁 モデルのライフサイクル 体験がユーザのリテラシー に依存
8. © CADDi Inc. ⾃然⾔語の回答やAgentの⾏動結果を評価するのは⾮常に困難 • 定性的な感覚になるので揃わない • 単⼀でないステップでの、E2Eの評価だとどこがボトルネック か不明 • LLMのAPIの得意不得意もある ◦ 新しいverにしたら精度が下がったなんてことも • temperature = 0にしても冪等にならない etc… PoC: 評価の壁 運⽤ プロダ クト化 PoC
9. © CADDi Inc. 観点を揃え、ヒアリングと改善でiterationを回す 課題 ヒアリング Q&Aの 評価設計 ⽣成AIの 回答 回答の評価 ヒアリングから改善を1スプリントで⾼速で回す 例: RAG 使われないとわからない部分もあるので、 最後は継続的に改善していく覚悟を持ってリリース判断をする 運⽤ プロダ クト化 観点を揃えて評価を すり合わせていく 検索の精度 観点の網羅性 観点の適合性 回答の具体性 LLM as a Judgeで判定 PoC
10. © CADDi Inc. 精度を⾼めるだけがプロダクト改善ではない 運⽤ プロダ クト化 PoC • LLMにより、スケーラビリティとスピードが⾼まり、MLチーム とAppチームの分業から協業にする必要性が⾼まっている • それに伴い体験を⾼める⼿段が精度だけではなくなる ◦ 例 ▪ 修正UIを作ることで、完璧ではない前提の設定をする ▪ LLMモデル選択やプロンプトの⾃由度を⾼め、精度の責任をユー ザーに委ねる ▪ Push型のUIを作り、意図への答えを⽤意するのではなく気づきを与 える
11. © CADDi Inc. • コスト ◦ Retrievalの仕⽅によっては⼤量のtokenを消費、1件のRAGで数⼗ 円のコストが⾶ぶこともある ◦ → コストと性能のトレードオフを考慮した設計をする必要があり • スループット ◦ 安定したスループット要求を出すために、Provisioningが必要 ◦ 世界的な GPU の供給不⾜、提供を確約できるものではない ◦ → GPU関連は早め早めの申請を⼼がける プロダクト化: コストとスループットの壁 運⽤ プロダク ト化 PoC
12. © CADDi Inc. コストを考えるのは難しい 引用: https://x.com/swyx/status/1882933368444309723 現状、同レベルの賢さにおい て、コストは半年で1/10に なっている 今のコストだけではなく、将 来のコストも想定した選定が 必要 運⽤ プロダク ト化 PoC
13. © CADDi Inc. 運⽤: EOL / New Modelへの追従 永続的にモデルが存在するという幻想を捨てる 必要性能に応じてSelf Hostingも視野にいれる 2024 2025 2026 LLM APIのEOL(End of Life)により • Embeddingだとデータ洗替の必要が ある • コスト構造が変わり、精度とコスト のトレードオフを測定し直す必要が ある 新しいモデルがでたときの追従を素早 く⾏う必要がある Azure OpenAIの主要APIのリリースと提供終了⽇ 運⽤ プロダ クト化 PoC
14. © CADDi Inc. • プロダクトのユーザークエリと利⽤量を分析すると ◦ ⼀回⽬の雑クエリで意気消沈し、離脱するケースが⾒られる ◦ ヘビーユーザーほどクエリの練度が⾼い。 • 特に⾃然⾔語⼊⼒系の機能はInputに⾃由度がある分、ユー ザーの成⻑とそれを⽀援する仕組みも必要 ◦ オンボーディングの強化、クエリのサジェスト機能など ◦ Claude CodeのSkillsの設定を修正プロセスの中で⾃動的に組み込 むなどの体験も近い 運⽤: 体験を点でなく線で捉える 運⽤ プロダ クト化 PoC
15. © CADDi Inc. 体験を点でなく線で捉える 運⽤ プロダ クト化 PoC 元々のMLプロダクト: 溜まったデータに対して体験が良くなる 。 ユーザーは使うことでデータを増やし、モデルを良くする User better model more Data More Usage Better Experience Product
16. © CADDi Inc. 体験を点でなく線で捉える User better model more Data Better Query More Usage Better Experience Product LLM含めたプロダクト: ユーザーの成⻑によっても体験が変化 運⽤ プロダ クト化 PoC
17. © CADDi Inc. Engineering Manager Machine Learning We are Hiring !! プロダクト開発にとっても、⽣産性向上にとっても ⽣成AIはゲームチェンジャーになる破壊⼒です。 キャディでは最⼤限活⽤していくので、 興味のある⽅はぜひご連絡ください カジュアルにお話しましょう！ カジュアル⾯談ページ エンジニア採⽤ポータル CADDi Engineering Senior Software Engineer, Backend - Analysis Platform AI Engineer こちらのチームで TPdMも 募集中です！
18. キャディAI組織の変遷について知るには (2026年時点) Masaki Inaba (Data & Analysis 部 部⻑) https://note.com/mi_spindel/n/n4ab561be6d49
19. © CADDi Inc. © CADDi Inc. モノづくり産業の ポテンシャルを解放する Unleash the potential of manufacturing MISSION - 企 業 理 念-