Slide 1

Slide 1 text

実開発で学んだ⽣成AI活⽤と プロダクト導⼊の壁 ML PM Talk#2 キャディ株式会社 テクノロジー統括本部 Data Platform 本部⻑ 今井 武晃

Slide 2

Slide 2 text

⾃⼰紹介 Takeaki Imai @imaimai0 CADDi: 2021年1⽉よりTechnical PdM AI Labを⽴ち上げ、現在はデータとAI部⾨のEMを務める。 NTT研究所: 機械学習‧データ分析 i Smart Technologies: 製造業向けIoTサービスを開発 Career: 「技術で⽂化を創る」をテーマに 製造業×DXに10年弱携わっています Hobby: サウナ‧家造り‧茶道 デジタルと距離を置いた⽣活をしています CADDi AI Labの進化 R&Dから実⽤プロダクトへの旅路

Slide 3

Slide 3 text

© CADDi Inc. Mission 3 モノづくり産業のポテンシャルを解放する Unleash the potential of manufacturing モノづくりに携わるすべての⼈が、 本来持っている⼒を最⼤限に発揮できる社会を実現する。 そのために私たちは、産業の常識を変える「新たな仕組み」をつくります。 現在モノづくり産業では、⾮常に多くの⼒が埋もれたままになっています。 ⾒積業務や管理業務に忙殺される、 営業⼒が⾜りない、情報やネットワークが乏しい。 あらゆる理由によってがんじがらめにされ、 本来の開発⼒や技術⼒を発揮しきれていません。 こうした縛りをほどくことで、各企業のポテンシャルを解放。 産業全体に⼤きな⼒を⽣み出し、豊かにすることが私たちの使命です。 ⼩さな町⼯場も、歴史ある⼤規模メーカーも、創⽴まもないベンチャーも。 すべてのモノづくり企業が強みを活かして輝き、新たな価値がたくさん⽣まれる。 そんな未来を切り拓くために、私たちは挑み続けます。

Slide 4

Slide 4 text

© CADDi Inc. 設計 調達 製造‧品証 営業 “ 苦労して学べ(⾃分も苦労したから)” 過去と類似の 図⾯作成 イチから 相⾒積‧交渉 類似の 品質不良対応 イチから ⾒積作業 データの分断により⾞輪の再発明が頻発 業界の特徴

Slide 5

Slide 5 text

© CADDi Inc. 5 キャディの⽬指す世界とアプローチ 全ての業務やデータを資産化し、AI‧テクノロジーで⾃動化‧最適化。 製造業全体でイノベーションがより⽣まれる世界へ。 データが 資産化されていない 同じ作業の繰り返し ⾞輪の再発明 データが 資産化されている 過去の積み重ねを“活⽤” 標準化の浸透で成⻑加速 業界の特徴 サイロ化している全てのデータを繋ぎ、活⽤可能な状態に整理する

Slide 6

Slide 6 text

6 図⾯ 仕様書 不具合 情報 ⾒積 やり取り 記録 不良写真 発注⾦額 データソース CADDi データ基盤 情報を統合‧解析 3D CAD ERP PLM / PDM ファイルサーバー 紙ファイル データ探索‧分析 製造業データ活⽤クラウド 調達業務の⾼度化 製造業AI⾒積クラウド アプリケーション データ活⽤ 製造業AIデータ プラットフォーム CADDi ⽣産性向上 / 脱属⼈化 / QCD最適化 … AI System of CADDi データを統合し、データを活かして価値を⽣む

Slide 7

Slide 7 text

© CADDi Inc. プロダクトライフサイクルの各所で⽣成AI適⽤の壁が存在 運⽤ プロダクト化 PoC ● ⾃然⾔語の定量評価は難し い。定性評価になる ● temperature = 0 でも 冪等にならない 例) ● tokenを富豪的に使った RAGだと1クエリ数⼗円に ● Provisioning Throughput がGPU不⾜で捕まらない 例) ● embeddingの洗替 ● 新しいモデルがでたときに 適切に評価したい ● うまくクエリを⼊⼒できる ⼈ほど満⾜度が⾼い 例) 評価や再現性担保が難しい 精度∝体験 なのか コストとスループットの壁 モデルのライフサイクル 体験がユーザのリテラシー に依存

Slide 8

Slide 8 text

© CADDi Inc. ⾃然⾔語の回答やAgentの⾏動結果を評価するのは⾮常に困難 ● 定性的な感覚になるので揃わない ● 単⼀でないステップでの、E2Eの評価だとどこがボトルネック か不明 ● LLMのAPIの得意不得意もある ○ 新しいverにしたら精度が下がったなんてことも ● temperature = 0にしても冪等にならない etc… PoC: 評価の壁 運⽤ プロダ クト化 PoC

Slide 9

Slide 9 text

© CADDi Inc. 観点を揃え、ヒアリングと改善でiterationを回す 課題 ヒアリング Q&Aの 評価設計 ⽣成AIの 回答 回答の評価 ヒアリングから改善を1スプリントで⾼速で回す 例: RAG 使われないとわからない部分もあるので、 最後は継続的に改善していく覚悟を持ってリリース判断をする 運⽤ プロダ クト化 観点を揃えて評価を すり合わせていく 検索の精度 観点の網羅性 観点の適合性 回答の具体性 LLM as a Judgeで判定 PoC

Slide 10

Slide 10 text

© CADDi Inc. 精度を⾼めるだけがプロダクト改善ではない 運⽤ プロダ クト化 PoC ● LLMにより、スケーラビリティとスピードが⾼まり、MLチーム とAppチームの分業から協業にする必要性が⾼まっている ● それに伴い体験を⾼める⼿段が精度だけではなくなる ○ 例 ■ 修正UIを作ることで、完璧ではない前提の設定をする ■ LLMモデル選択やプロンプトの⾃由度を⾼め、精度の責任をユー ザーに委ねる ■ Push型のUIを作り、意図への答えを⽤意するのではなく気づきを与 える

Slide 11

Slide 11 text

© CADDi Inc. ● コスト ○ Retrievalの仕⽅によっては⼤量のtokenを消費、1件のRAGで数⼗ 円のコストが⾶ぶこともある ○ → コストと性能のトレードオフを考慮した設計をする必要があり ● スループット ○ 安定したスループット要求を出すために、Provisioningが必要 ○ 世界的な GPU の供給不⾜、提供を確約できるものではない ○ → GPU関連は早め早めの申請を⼼がける プロダクト化: コストとスループットの壁 運⽤ プロダク ト化 PoC

Slide 12

Slide 12 text

© CADDi Inc. コストを考えるのは難しい 引用: https://x.com/swyx/status/1882933368444309723 現状、同レベルの賢さにおい て、コストは半年で1/10に なっている 今のコストだけではなく、将 来のコストも想定した選定が 必要 運⽤ プロダク ト化 PoC

Slide 13

Slide 13 text

© CADDi Inc. 運⽤: EOL / New Modelへの追従 永続的にモデルが存在するという幻想を捨てる 必要性能に応じてSelf Hostingも視野にいれる 2024 2025 2026 LLM APIのEOL(End of Life)により ● Embeddingだとデータ洗替の必要が ある ● コスト構造が変わり、精度とコスト のトレードオフを測定し直す必要が ある 新しいモデルがでたときの追従を素早 く⾏う必要がある Azure OpenAIの主要APIのリリースと提供終了⽇ 運⽤ プロダ クト化 PoC

Slide 14

Slide 14 text

© CADDi Inc. ● プロダクトのユーザークエリと利⽤量を分析すると ○ ⼀回⽬の雑クエリで意気消沈し、離脱するケースが⾒られる ○ ヘビーユーザーほどクエリの練度が⾼い。 ● 特に⾃然⾔語⼊⼒系の機能はInputに⾃由度がある分、ユー ザーの成⻑とそれを⽀援する仕組みも必要 ○ オンボーディングの強化、クエリのサジェスト機能など ○ Claude CodeのSkillsの設定を修正プロセスの中で⾃動的に組み込 むなどの体験も近い 運⽤: 体験を点でなく線で捉える 運⽤ プロダ クト化 PoC

Slide 15

Slide 15 text

© CADDi Inc. 体験を点でなく線で捉える 運⽤ プロダ クト化 PoC 元々のMLプロダクト: 溜まったデータに対して体験が良くなる 。 ユーザーは使うことでデータを増やし、モデルを良くする User better model more Data More Usage Better Experience Product

Slide 16

Slide 16 text

© CADDi Inc. 体験を点でなく線で捉える User better model more Data Better Query More Usage Better Experience Product LLM含めたプロダクト: ユーザーの成⻑によっても体験が変化 運⽤ プロダ クト化 PoC

Slide 17

Slide 17 text

© CADDi Inc. Engineering Manager Machine Learning We are Hiring !! プロダクト開発にとっても、⽣産性向上にとっても ⽣成AIはゲームチェンジャーになる破壊⼒です。 キャディでは最⼤限活⽤していくので、 興味のある⽅はぜひご連絡ください カジュアルにお話しましょう! カジュアル⾯談ページ エンジニア採⽤ポータル CADDi Engineering Senior Software Engineer, Backend - Analysis Platform AI Engineer こちらのチームで TPdMも 募集中です!

Slide 18

Slide 18 text

キャディAI組織の変遷について知るには (2026年時点) Masaki Inaba (Data & Analysis 部 部⻑) https://note.com/mi_spindel/n/n4ab561be6d49

Slide 19

Slide 19 text

© CADDi Inc. © CADDi Inc. モノづくり産業の ポテンシャルを解放する Unleash the potential of manufacturing MISSION - 企 業 理 念-