実開発で学んだ⽣成AI活⽤と プロダクト導⼊の壁 AI Engineering Summit キャディ株式会社 テクノロジー統括本部 Data&Analysis部 部⻑ 今井 武晃 

⾃⼰紹介 Takeaki Imai @imaimai0 CADDi: 2021年1⽉よりTechnical PdM AI Labを⽴ち上げ、現在はデータとAI部⾨のEMを務める。 NTT研究所: 機械学習‧データ分析 i Smart Technologies: 製造業向けIoTサービスを開発 Career: 「技術で⽂化を創る」をテーマに 製造業×DXに10年弱携わっています Hobby: サウナ‧家造り‧茶道 デジタルと距離を置いた⽣活をしています CADDi AI Labの進化 R&Dから実⽤プロダクトへの旅路 

© CADDi Inc. Mission 3 モノづくり産業のポテンシャルを解放する Unleash the potential of manufacturing モノづくりに携わるすべての⼈が、 本来持っている⼒を最⼤限に発揮できる社会を実現する。 そのために私たちは、産業の常識を変える「新たな仕組み」をつくります。 現在モノづくり産業では、⾮常に多くの⼒が埋もれたままになっています。 ⾒積業務や管理業務に忙殺される、 営業⼒が⾜りない、情報やネットワークが乏しい。 あらゆる理由によってがんじがらめにされ、 本来の開発⼒や技術⼒を発揮しきれていません。 こうした縛りをほどくことで、各企業のポテンシャルを解放。 産業全体に⼤きな⼒を⽣み出し、豊かにすることが私たちの使命です。 ⼩さな町⼯場も、歴史ある⼤規模メーカーも、創⽴まもないベンチャーも。 すべてのモノづくり企業が強みを活かして輝き、新たな価値がたくさん⽣まれる。 そんな未来を切り拓くために、私たちは挑み続けます。 

What is “CADDi”? CAD から Direct に 「CADDi」という社名は、 「CAD※からダイレクトに発注する」という意味と、 ゴルフのキャディになぞらえて、 「製造業のプレイヤーを⽀えるインフラになりたい」という 想いを兼ねています。 ※Computer Aided Designの略で、コンピュータ上で設計や製図を⾏うツール 

キャディは今まさに“第⼆創業期” 関⻄⽀社開設 本社拡⼤移転 明治維新からちょうど 150周年の⽇に創業 CADDi Drawer 開始 タイ法⼈設⽴ ベトナム法⼈設⽴ 本社拡⼤移転 “製造業AIデータプラット フォーム”として 第⼆章を始めたばかり シリーズB 80.3億円調達 US法⼈設⽴ シリーズC 118億円調達 事業統合 2017 2018 2019 2020 2021 2022 2024 2023 2025 シリーズC 91億円 追加調達 CADDi Quote 開始 

© CADDi Inc. 製造業は「世界最⼤の産業」 6 暮らしを⽀えるインフラ産業 医療や⾷、移動、通信など、私たちの暮らしに必要な 物事のすべてに製造業が関わっています。 あらゆるモノが、産業機械‧⼯作機械や、加⼯会社な どたくさんの⼈の⼿から⽣み出されています。  経済価値は巨⼤⽇本のGDPにも迫る IoTのみに焦点を当てて経済価値を業界別に産出した 場合、製造業は3.9兆ドル。 ⾦融や流通⼩売り等の他業界を上回り、⽇本の名⽬ GDPに迫る勢いです。 スマートフォンは半導体、 電池、ディスプレイなど 1000以上の部品で構成 業界の特徴 

© CADDi Inc. 設計 調達 製造‧品証 営業 “ 苦労して学べ（⾃分も苦労したから）” 過去と類似の 図⾯作成 イチから 相⾒積‧交渉 類似の 品質不良対応 イチから ⾒積作業 データの分断により⾞輪の再発明が頻発 業界の特徴 

© CADDi Inc. 8 キャディの⽬指す世界とアプローチ 全ての業務やデータを資産化し、AI‧テクノロジーで⾃動化‧最適化。 製造業全体でイノベーションがより⽣まれる世界へ。 データが 資産化されていない 同じ作業の繰り返し ⾞輪の再発明 データが 資産化されている 過去の積み重ねを“活⽤” 標準化の浸透で成⻑加速 業界の特徴 サイロ化している全てのデータを繋ぎ、活⽤可能な状態に整理する 

© CADDi Inc. ⽣成AIの活⽤ プロダクト化 開発⽣産性 

© CADDi Inc. ⽣成AIの活⽤ プロダクト化 開発⽣産性 

11 図⾯ 仕様書 不具合 情報 ⾒積 やり取り 記録 不良写真 発注⾦額 データソース CADDi データ基盤 情報を統合‧解析 3D CAD ERP PLM / PDM ファイルサーバー 紙ファイル データ探索‧分析 製造業データ活⽤クラウド 調達業務の⾼度化 製造業AI⾒積クラウド アプリケーション データ活⽤ 製造業AIデータ プラットフォーム CADDi ⽣産性向上 / 脱属⼈化 / QCD最適化 … AI System of CADDi データを統合し、データを活かして価値を⽣む 

© CADDi Inc. ⽣成AIとの向き合い⽅ 12 Template 認識 特徴量抽出 モデル ⽣成AI ドメインの専⾨性が⾼くクローズドな製造業データの認識性能向上は限定的 汎⽤的なAIとしての⽣成AIとアルゴリズム / 従来のMLをうまく掛け合わせることが重要 ⽂字列 認識 表題欄 類似検索 記号認識 Algorithm 前処理 記号認識 モデル ML ⽣成AI 近傍探索 Input Output 凡例 CAD 図⾯ … ⽂書 

© CADDi Inc. 資産化された製造業データ データとドメイン知識を元に、最適な体験をAIとともに作る 設計 調達 製造・ 施工 検査・ 納品 販売 サービス 図⾯ 仕様書  不具合  情報 ⾒積 やり取り 記録 不良写真 発注⾦額 CADDi データ基盤 3D CAD AI アプリケーション データ活用 

© CADDi Inc. プロダクトライフサイクルの各所で⽣成AI適⽤の壁が存在 プロダクト化 開発⽣産性 運⽤ プロダクト化 PoC ● ⾃然⾔語の定量評価は難し い。定性評価になる ● temperature = 0 でも 冪等にならない 例） ● tokenを富豪的に使った RAGだと1クエリ数⼗円に ● Provisioning Throughput がGPU不⾜で捕まらない 例） ● embeddingの洗替 ● token計算⽅法の変更 ● 新しいモデルがでたときに 適切に評価したい 例） 評価や再現性担保が難しい コストとスループットの壁 モデルのライフサイクルに 追従する必要あり 

© CADDi Inc. ⾃然⾔語の回答やAgentの⾏動結果を評価するのは⾮常に困難 ● 定性的な感覚になるので揃わない ● 単⼀でないステップでの、E2Eの評価だとどこがボトルネック か不明 ● LLMのAPIの得意不得意もある ○ 新しいverにしたら精度が下がったなんてことも ● temperature = 0にしても冪等にならない etc… PoC: 評価の壁 運⽤ プロダ クト化 PoC 

© CADDi Inc. 観点を揃え、ヒアリングと改善でiterationを回す 課題 ヒアリング Q&Aの 評価設計 ⽣成AIの 回答 回答の評価 ヒアリングから改善を1スプリントで⾼速で回す 例: RAG 使われないとわからない部分もあるので、 最後は継続的に改善していく覚悟を持ってリリース判断をする 運⽤ プロダ クト化 PoC 観点を揃えて評価を すり合わせていく 観点の網羅性 (Recall) 観点の適合性 (Precision) 回答の有⽤性 コンテキスト関連性 etc… 

© CADDi Inc. ● コスト ○ Retrievalの仕⽅によっては⼤量のtokenを消費、1件のRAGで数⼗ 円のコストが⾶ぶこともある ○ → コストと性能のトレードオフを考慮した設計をする必要があり ● スループット ○ 安定したスループット要求を出すために、Provisioningが必要 ○ 世界的な GPU の供給不⾜、提供を確約できるものではない ○ → GPU関連は早め早めの申請を⼼がける プロダクト化: コストとスループットの壁 運⽤ プロダク ト化 PoC 

© CADDi Inc. コストを考えるのは難しい 引用: https://x.com/swyx/status/1882933368444309723 現状、同レベルの賢さにおい て、コストは半年で1/10に なっている 今のコストだけではなく、将 来のコストも想定した選定が 必要 運⽤ プロダク ト化 PoC 

© CADDi Inc. 運⽤: EOL / New Modelへの追従 永続的にモデルが存在するという幻想を捨てる 必要性能に応じてSelf Hostingも視野にいれる 2024 2025 2026 LLM APIのEOL(End of Life)により ● Embeddingだとデータ洗替の必要が ある ● コスト構造が変わり、精度とコスト のトレードオフを測定し直す必要が ある 新しいモデルがでたときに性質を知る ために評価を素早く⾏う必要がある Azure OpenAIの主要APIのリリースと提供終了⽇ 運⽤ プロダ クト化 PoC 

© CADDi Inc. ⽣成AIの活⽤ プロダクト化 開発⽣産性 

© CADDi Inc. 開発⽣産性 プロダクト化 導⼊‧浸透を経て真の⽣産性向上へ ⽣産性向上 浸透 導⼊ ‧何を使えばいいかわからない ‧試してみたいが誰にいえばい いかわからない ‧セキュリティやコストは⼤丈 夫なのか？ 例） ‧⽇々の仕事が忙しく、始めよ うと思わない 例） ‧PRが上がるがマージ/デプ ロイされない ‧DevinのPRが増えているが 全体のPRが増えていない 例） 使いたいがどう始めればい いかわからない 使われないと意味がない 使ってはいるが、⽣産性の 向上に結びつかない 

© CADDi Inc. 製造業ユーザ向けのデータ活⽤議論でいつも話していること 

© CADDi Inc. 注⽬度は上がりつつも進まないAIツール導⼊ ❏ 何を使えばいいかわからない ❏ 試してみたいが誰にいえばいいかわからない ❏ セキュリティやコストは⼤丈夫なのか？ ⽣産性 浸透 導⼊ 

© CADDi Inc. 

© CADDi Inc. 攻めと守りの双⽅でKickstart 推進委員会 AI ガバナンス 攻め 守り ⽣産性 浸透 導⼊ 

© CADDi Inc. 攻めと守りの双⽅でKickstart ● 有志で委員会メンバを募り、優先的 に触れる権限を付与 ● ⼀般展開後は利⽤ワークフローを簡 易化し、参⼊障壁を下げる ● ベストプラクティスの共有やハンズ オンで利⽤者を募る 推進委員会 ⽣産性 浸透 導⼊ 

© CADDi Inc. 攻めと守りの双⽅でKickstart ● CPIT / 法務 / セキュリティと相談し ながらガイドラインと承認フローを 整備策定 ● 利⽤量の⾒える化を⾏い、使い過ぎ などを追えるように AI ガバナンス ⽣産性 浸透 導⼊ 

© CADDi Inc. 使われないと意味がない イノベーションとは技術 ではなく顧客行動の不可逆的な 行動変容を起こす こと ⽣産性 浸透 導⼊ 

© CADDi Inc. なにはともあれ“触ってもらい価値を体感”。その後使い⽅を模索 使われるためには、⼼理ハードルを下げる。 2週間で下記を実施 ● 利⽤促進ハンズオン実施 ● Devin LT⼤会 ● Vibe Coding Hackathon Usageを上げるための取り組み ⽣産性 浸透 導⼊ 

© CADDi Inc. Devin 活⽤ LT⼤会 https://caddi.tech/2025/06/12/101301 各チームのベスプラを共有 Data Management: Devinをslack workflowから呼び出せるように App開発: Devinでタスクチケットのチェック ⽣産性 浸透 導⼊ 

© CADDi Inc. ルール: ⽣成AIツールを使い、できる限り コーディングをせずApplicationを作成。 各チームリーダー も積極的に参加し、全員で ⽣成AIツールに浸かる 9割以上のチームがデモまで到達 Vibe Coding Hackathon ⽣産性 浸透 導⼊ 

利⽤のハードルは下がり、良し悪しを⼀⽇で体験 ⽣産性 浸透 導⼊ 

⽣産性向上の壁 モメンタム アウトカム アウトプット 浸透 生産性向上 導入 推進者の数 活⽤までのリードタイム ROI PRマージ数 利⽤者の数 API Request数 KPIの例 追うもの 1 2 3 フェーズで追うべきKPIが変わる ⽣産性 浸透 導⼊ 

© CADDi Inc. 実際にAIツールを使い続けるためには、整備が必要 ハッカソンの感想戦 感じた悩みを共有→有識者が回答 ● .clinerulesの作り⽅ ● コーディング以外の使い⽅ ● モデルの選び⽅ ● etc… 開発利⽤において重要そうな課題を 深堀りし、Next Actionへ ⽣産性 浸透 導⼊ 

© CADDi Inc. Findy Team+でみる、PR数の変化 ■ Devin ■ Developer 効果的に使えてい なさそうなチーム 指標を⾒て、うまく⾏っているチームにナレッジを共有してもらう 効果的に使えてい そうなチーム ⽣産性 浸透 導⼊ 

© CADDi Inc. まとめ：プロダクト開発にも⽣産性向上にも壁は存在 正しく評価をし、コストやス ループットなどは先のモデル を追従できる体制を作る プロダクトへのAI採⽤が競争⼒につながる が、PoC‧プロダクト化‧運⽤において、適 切に⽣成AIを取り扱う必要性は⾼まっている ⽣成AIツールの注⽬度は⾼まりつつある⼀⽅ で、導⼊‧浸透‧⽣産性向上それぞれにおい て壁が存在する ⽣成AIツールの未来にBetし、 モメンタムを作りながら Output→Outcomeへと移る プロダクト化 開発⽣産性 

© CADDi Inc. We are Hiring !! プロダクト開発にとっても、⽣産性向上にとっても ⽣成AIはゲームチェンジャーになる破壊⼒です。 キャディでは最⼤限活⽤していくので、 興味のある⽅はぜひご連絡ください カジュアルにお話しましょう！ カジュアル⾯談ページ エンジニア採⽤ポータル CADDi Engineering ML Engineer AI Engineer MLOps Engineer 

© CADDi Inc. © CADDi Inc. モノづくり産業の ポテンシャルを解放する Unleash the potential of manufacturing MISSION - 企 業 理 念-