実開発で学んだ⽣成AI活⽤と プロダクト導⼊の壁 ML PM Talk#2 キャディ株式会社 テクノロジー統括本部 Data Platform 本部⻑ 今井 武晃 

⾃⼰紹介 Takeaki Imai @imaimai0 CADDi: 2021年1⽉よりTechnical PdM AI Labを⽴ち上げ、現在はデータとAI部⾨のEMを務める。 NTT研究所: 機械学習‧データ分析 i Smart Technologies: 製造業向けIoTサービスを開発 Career: 「技術で⽂化を創る」をテーマに 製造業×DXに10年弱携わっています Hobby: サウナ‧家造り‧茶道 デジタルと距離を置いた⽣活をしています CADDi AI Labの進化 R&Dから実⽤プロダクトへの旅路 

© CADDi Inc. Mission 3 モノづくり産業のポテンシャルを解放する Unleash the potential of manufacturing モノづくりに携わるすべての⼈が、 本来持っている⼒を最⼤限に発揮できる社会を実現する。 そのために私たちは、産業の常識を変える「新たな仕組み」をつくります。 現在モノづくり産業では、⾮常に多くの⼒が埋もれたままになっています。 ⾒積業務や管理業務に忙殺される、 営業⼒が⾜りない、情報やネットワークが乏しい。 あらゆる理由によってがんじがらめにされ、 本来の開発⼒や技術⼒を発揮しきれていません。 こうした縛りをほどくことで、各企業のポテンシャルを解放。 産業全体に⼤きな⼒を⽣み出し、豊かにすることが私たちの使命です。 ⼩さな町⼯場も、歴史ある⼤規模メーカーも、創⽴まもないベンチャーも。 すべてのモノづくり企業が強みを活かして輝き、新たな価値がたくさん⽣まれる。 そんな未来を切り拓くために、私たちは挑み続けます。 

© CADDi Inc. 設計 調達 製造‧品証 営業 “ 苦労して学べ（⾃分も苦労したから）” 過去と類似の 図⾯作成 イチから 相⾒積‧交渉 類似の 品質不良対応 イチから ⾒積作業 データの分断により⾞輪の再発明が頻発 業界の特徴 

© CADDi Inc. 5 キャディの⽬指す世界とアプローチ 全ての業務やデータを資産化し、AI‧テクノロジーで⾃動化‧最適化。 製造業全体でイノベーションがより⽣まれる世界へ。 データが 資産化されていない 同じ作業の繰り返し ⾞輪の再発明 データが 資産化されている 過去の積み重ねを“活⽤” 標準化の浸透で成⻑加速 業界の特徴 サイロ化している全てのデータを繋ぎ、活⽤可能な状態に整理する 

6 図⾯ 仕様書 不具合 情報 ⾒積 やり取り 記録 不良写真 発注⾦額 データソース CADDi データ基盤 情報を統合‧解析 3D CAD ERP PLM / PDM ファイルサーバー 紙ファイル データ探索‧分析 製造業データ活⽤クラウド 調達業務の⾼度化 製造業AI⾒積クラウド アプリケーション データ活⽤ 製造業AIデータ プラットフォーム CADDi ⽣産性向上 / 脱属⼈化 / QCD最適化 … AI System of CADDi データを統合し、データを活かして価値を⽣む 

© CADDi Inc. プロダクトライフサイクルの各所で⽣成AI適⽤の壁が存在 運⽤ プロダクト化 PoC ● ⾃然⾔語の定量評価は難し い。定性評価になる ● temperature = 0 でも 冪等にならない 例） ● tokenを富豪的に使った RAGだと1クエリ数⼗円に ● Provisioning Throughput がGPU不⾜で捕まらない 例） ● embeddingの洗替 ● 新しいモデルがでたときに 適切に評価したい ● うまくクエリを⼊⼒できる ⼈ほど満⾜度が⾼い 例） 評価や再現性担保が難しい 精度∝体験 なのか コストとスループットの壁 モデルのライフサイクル 体験がユーザのリテラシー に依存 

© CADDi Inc. ⾃然⾔語の回答やAgentの⾏動結果を評価するのは⾮常に困難 ● 定性的な感覚になるので揃わない ● 単⼀でないステップでの、E2Eの評価だとどこがボトルネック か不明 ● LLMのAPIの得意不得意もある ○ 新しいverにしたら精度が下がったなんてことも ● temperature = 0にしても冪等にならない etc… PoC: 評価の壁 運⽤ プロダ クト化 PoC 

© CADDi Inc. 観点を揃え、ヒアリングと改善でiterationを回す 課題 ヒアリング Q&Aの 評価設計 ⽣成AIの 回答 回答の評価 ヒアリングから改善を1スプリントで⾼速で回す 例: RAG 使われないとわからない部分もあるので、 最後は継続的に改善していく覚悟を持ってリリース判断をする 運⽤ プロダ クト化 観点を揃えて評価を すり合わせていく 検索の精度 観点の網羅性 観点の適合性 回答の具体性 LLM as a Judgeで判定 PoC 

© CADDi Inc. 精度を⾼めるだけがプロダクト改善ではない 運⽤ プロダ クト化 PoC ● LLMにより、スケーラビリティとスピードが⾼まり、MLチーム とAppチームの分業から協業にする必要性が⾼まっている ● それに伴い体験を⾼める⼿段が精度だけではなくなる ○ 例 ■ 修正UIを作ることで、完璧ではない前提の設定をする ■ LLMモデル選択やプロンプトの⾃由度を⾼め、精度の責任をユー ザーに委ねる ■ Push型のUIを作り、意図への答えを⽤意するのではなく気づきを与 える 

© CADDi Inc. ● コスト ○ Retrievalの仕⽅によっては⼤量のtokenを消費、1件のRAGで数⼗ 円のコストが⾶ぶこともある ○ → コストと性能のトレードオフを考慮した設計をする必要があり ● スループット ○ 安定したスループット要求を出すために、Provisioningが必要 ○ 世界的な GPU の供給不⾜、提供を確約できるものではない ○ → GPU関連は早め早めの申請を⼼がける プロダクト化: コストとスループットの壁 運⽤ プロダク ト化 PoC 

© CADDi Inc. コストを考えるのは難しい 引用: https://x.com/swyx/status/1882933368444309723 現状、同レベルの賢さにおい て、コストは半年で1/10に なっている 今のコストだけではなく、将 来のコストも想定した選定が 必要 運⽤ プロダク ト化 PoC 

© CADDi Inc. 運⽤: EOL / New Modelへの追従 永続的にモデルが存在するという幻想を捨てる 必要性能に応じてSelf Hostingも視野にいれる 2024 2025 2026 LLM APIのEOL(End of Life)により ● Embeddingだとデータ洗替の必要が ある ● コスト構造が変わり、精度とコスト のトレードオフを測定し直す必要が ある 新しいモデルがでたときの追従を素早 く⾏う必要がある Azure OpenAIの主要APIのリリースと提供終了⽇ 運⽤ プロダ クト化 PoC 

© CADDi Inc. ● プロダクトのユーザークエリと利⽤量を分析すると ○ ⼀回⽬の雑クエリで意気消沈し、離脱するケースが⾒られる ○ ヘビーユーザーほどクエリの練度が⾼い。 ● 特に⾃然⾔語⼊⼒系の機能はInputに⾃由度がある分、ユー ザーの成⻑とそれを⽀援する仕組みも必要 ○ オンボーディングの強化、クエリのサジェスト機能など ○ Claude CodeのSkillsの設定を修正プロセスの中で⾃動的に組み込 むなどの体験も近い 運⽤: 体験を点でなく線で捉える 運⽤ プロダ クト化 PoC 

© CADDi Inc. 体験を点でなく線で捉える 運⽤ プロダ クト化 PoC 元々のMLプロダクト: 溜まったデータに対して体験が良くなる 。 ユーザーは使うことでデータを増やし、モデルを良くする User better model more Data More Usage Better Experience Product 

© CADDi Inc. 体験を点でなく線で捉える User better model more Data Better Query More Usage Better Experience Product LLM含めたプロダクト: ユーザーの成⻑によっても体験が変化 運⽤ プロダ クト化 PoC 

© CADDi Inc. Engineering Manager Machine Learning We are Hiring !! プロダクト開発にとっても、⽣産性向上にとっても ⽣成AIはゲームチェンジャーになる破壊⼒です。 キャディでは最⼤限活⽤していくので、 興味のある⽅はぜひご連絡ください カジュアルにお話しましょう！ カジュアル⾯談ページ エンジニア採⽤ポータル CADDi Engineering Senior Software Engineer, Backend - Analysis Platform AI Engineer こちらのチームで TPdMも 募集中です！ 

キャディAI組織の変遷について知るには (2026年時点) Masaki Inaba (Data & Analysis 部 部⻑) https://note.com/mi_spindel/n/n4ab561be6d49 

© CADDi Inc. © CADDi Inc. モノづくり産業の ポテンシャルを解放する Unleash the potential of manufacturing MISSION - 企 業 理 念-