Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
生成AI活用のROI、どう測る? DMM.com 開発責任者から学ぶ「AI効果検証のノウハウ」...
Search
Masato Ishigaki / 石垣雅人
August 18, 2025
Technology
4
250
生成AI活用のROI、どう測る? DMM.com 開発責任者から学ぶ「AI効果検証のノウハウ」 / ROI of AI
TECH PLAY「生成AI活用のROI、どう測る? DMM.com 開発責任者から学ぶ「AI効果検証のノウハウ」」の登壇資料
https://techplay.jp/event/984918
Masato Ishigaki / 石垣雅人
August 18, 2025
Tweet
Share
More Decks by Masato Ishigaki / 石垣雅人
See All by Masato Ishigaki / 石垣雅人
大規模組織にAIエージェントを迅速に導入するためのセキュリティの勘所 / AI agents for large-scale organizations
i35_267
7
1k
無意味な開発生産性の議論から抜け出すための予兆検知とお金とAI
i35_267
8
21k
Clineを含めたAIエージェントを 大規模組織に導入し、投資対効果を考える / Introducing AI agents into your organization
i35_267
6
2.2k
開発フェーズだけではない AI導入はどのように進めていくべきか / How should we proceed with AI adoption beyond the development stage?
i35_267
4
290
【Forkwell】「正しく」失敗できるチームを作る──現場のリーダーのための恐怖と不安を乗り越える技術 - FL#83 / A team that can fail correctly by forkwell
i35_267
6
680
【Findy】「正しく」失敗できる チームの作り方 〜リアルな事例から紐解く失敗を恐れない組織とは〜 / A team that can fail correctly by findy
i35_267
9
1.8k
技術負債の「予兆検知」と「状況異変」のススメ / Technology Dept
i35_267
2
1.5k
技術負債による事業の失敗はなぜ起こるのか / Why do business failures due to technical debt occur?
i35_267
5
2.6k
「開発生産性を上げる改善」って儲かるの?に答えられるようにする / Is development productivity profitable?
i35_267
30
22k
Other Decks in Technology
See All in Technology
生成AI時代のセキュアコーディングとDevSecOps
yuriemori
0
130
Geospatialの世界最前線を探る [2025年版]
dayjournal
1
240
業務効率化をさらに加速させる、ノーコードツールとStep Functionsのハイブリッド化
smt7174
2
150
コンテキストエンジニアリング入門〜AI Coding Agent作りで学ぶ文脈設計〜
kworkdev
PRO
3
1.7k
React19.2のuseEffectEventを追う
maguroalternative
2
500
ソフトウェアエンジニアの生成AI活用と、これから
lycorptech_jp
PRO
0
500
HR Force における DWH の併用事例 ~ サービス基盤としての BigQuery / 分析基盤としての Snowflake ~@Cross Data Platforms Meetup #2「BigQueryと愉快な仲間たち」
ryo_suzuki
0
230
いまからでも遅くない!SSL/TLS証明書超入門(It's not too late to start! SSL/TLS Certificates: The Absolute Beginner's Guide)
norimuraz
0
270
Databricks AI/BI Genie の「値ディクショナリー」をAmazonの奥地(S3)まで見に行く
kameitomohiro
1
190
LLMプロダクトの信頼性を上げるには?LLM Observabilityによる、対話型音声AIアプリケーションの安定運用
ivry_presentationmaterials
0
510
AWS Control Tower に学ぶ! IAM Identity Center 権限設計の第一歩 / IAM Identity Center with Control Tower
y___u
1
200
Introduction to Sansan, inc / Sansan Global Development Center, Inc.
sansan33
PRO
0
2.8k
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Why Our Code Smells
bkeepers
PRO
340
57k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
34
2.3k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
Embracing the Ebb and Flow
colly
88
4.9k
Music & Morning Musume
bryan
46
6.8k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
It's Worth the Effort
3n
187
28k
Transcript
1 Masato Ishigaki July. 19, 2025 生成AI活用のROI、どう測る? DMM.com 開発責任者から学ぶ
「AI効果検証のノウハウ 」
2 About me 石垣 雅人 合同会社 DMM.com プラットフォーム開発本部 副本部長
/ 第1開発部 部長 / VPoE室 / アルファ室 ・連載中 : 『開発生産性の多角的視点』(CodeZine) ・連載中 : 『スモールチームが武器になる時代へ』(ProductZine) ・連載中 : 『群知能から紐解く、スケールする“組織“の作り方 』(NewsPicks) 2
None
None
https://jp.findy-team.io/blog/ai-casestudy/ai_effectiveness_verification_dmm/ 話すこと 5
6 Table of Contents - AIによって開発スタイルとスケーリングの違い - AIへの投資と人への投資によるお金の変化 - AIエージェントへの投資対効果の投資と効果の基準
- AI疲れ・レビュー負荷にどう立ち向かうか
7 Table of Contents - AIによって開発スタイルとスケーリングの違い - AIへの投資と人への投資によるお金の変化 - AIエージェントへの投資対効果の投資と効果の基準
- AI疲れ・レビュー負荷にどう立ち向かうか
AIエージェントによる開発スタイルの変化 従来 プロダクション 現在 成果物は物理的な時間と人 が同期していた ガードレール役に徹する (CodeRabbit等で短縮) プロダクション 人の物理的な時間と成果物
が非同期で出てくる これから 成果物のレビューもAIへ LLM-as-a-judge 人は問い型へ プロダクション 8
これから 人は問い型へ プロダクション 9 AIエージェントによる開発スタイルの変化 成果物のレビューもAIへ LLM-as-a-judge
人による量のスケーリングの終わり 10 人の増やして量を作る 2 pizzaで分解する アジャイル × マイクロサービス 人とのコミュニケーションパス
が膨大 人とのコミュニケーションパス を縮小 AIで代替する 1チームあたりの 規模が縮小.AIとの対話へ
11 ちなみに AIが人を代替するのではなく、 AIを使っている人がAIを使っていない人を代替する
人によるスケーリングから、AIによるスケーリング + + + 人を増やして、スケール 個の生産性を上げて、スケール 個とAIを増やして、スケール
+ Lead Time 早 スケール方法 12
人材関連費 ・給与手当 ・賞与 ・法定福利費 ・福利厚生費 ・地代家賃 ・採用費 ・販管費 / 支払い手数料
販管費/支払手数料 (ライセンス料) P/L + + + + 人にかかるお金とAIにかけるお金による変化 +700万 +700万 +700万 +700万 +700万 +20万 +20万 +700万 +700万 +20万 +20万 +20万 スケール方法 13
14 Table of Contents - AIによって開発スタイルとスケーリングの違い - AIへの投資と人への投資によるお金の変化 - AIエージェントへの投資対効果の投資と効果の基準
- AI疲れ・レビュー負荷にどう立ち向かうか
AIエージェントへの投資対効果について - 投資対効果の「投資の部分」 - AIエージェントやFindy Team+といったチームの生産性 に寄与するものコスト(人件費は除く) - 投資対効果の「効果の部分」
- 生産量・リードタイム・個々の生産性(同じAIエージェント の金額でも数値は違う) ・AIエージェント ・Findy Team+ ・その他、チーム生産性に寄与 するもの ・生産量増 ・リードタイム短縮 ・1人あたりの生産性 output input 15
投資対効果の「投資の部分」 チームごとのコスト ツールごとのコスト AIエージェントのツールは 使わないものは削る
- 「感覚的には早くなっている」をどう自分たちの行動ログとして表出化させるか - 定量データで言えば「AIに置き換え」と「AIとの協働」で難易度は違う - └ AIに置き換え → 人でやっていたものを丸々削減時間とする -
└ AI協働 → 人でやったときの予測とAI協働での実績比較やAAテストからのABテス トはできないので移動平均などで抽出して行う 投資対効果の「効果の部分」 17
生産量・リードタイム・1人あたりの生産性 - 生産量 : ノイズを取り除いた状態でのPR数などの数的推移 - リードタイム : 類推見積りでおおよそ一致した施策のリードタイム比較
- 1人あたりの生産性 : 同じAIエージェントの金額でも個々で 成果がバラバラの場合が多い。そのため、 1人1人可視化していく必要あり - SPACEなどの定性評価も組み合わせて 筋が良さそうな指標を組み合わせて生産活動の変化傾向 を 見ていく 投資対効果の「効果の部分」 18
AIへの投資対効果の観点 - スピードと品質の両方を考慮する - 品質を落として量産しても意味がない。逆に負荷がかかるだけになる - 単一プロセスの最適化ではなく、バリューストリーム全体を見る - 生産量が多くなっても、変更障害率が多くなっている等
Findy Team+, Findy AIによる比較 ある平均的な1チームの例(3ヶ月)
Findy Team+, Findy AIによる比較 指標 人間チーム Devin AI 勝者 総合⽣産量
189件 74件 ⼈間チーム 個別⽣産性 15.8件/⼈ 74件 Devin AI 継続性 不規則 111⽇中74⽇活動 Devin AI ピーク⽣産 3件/⽇ (最⼤) 9件/⽇ (最⼤) Devin AI ある平均的な1チームの例(3ヶ月) 【生産性分析】
Findy Team+, Findy AIによる比較 ある平均的な1チームの例(3ヶ月) 【品質分析】 指標 人間チーム Devin
AI 勝者 マージ率 85-90% 60.1% ⼈間チーム レビュー品質 ⾃⼰完結型 要⼈間確認 ⼈間チーム 複雑度対応 ⾼度な設計可能 定型作業のみ ⼈間チーム エラー率 10-15% 40% ⼈間チーム
Findy Team+, Findy AIによる比較 ある平均的な1チームの例(3ヶ月) 【作業内容分析】 人間チーム (189件) の作業分布
新機能開発 40% (76件) バグ修正‧改善 30% (57件) テスト実装 20% (38件) 保守‧リファクタ 10% (18件) Devin AI (74件) の作業分布 コード変換 60% (44件) ‒ Kotlin-Java テスト変換 30% (22件) 機能改善 10% (8件)
AI疲れとレビュー負荷の違い - AI疲れ - Devin/ Cursor background agentを 非同期で動かしながら手元では 同期的にAIエージェントとvibe-codingをし
ているというメンバーが増える。AIのキャッチアップ疲れもある - 使いすぎると単一時間あたりの業務密度が高くなり、人が バーンアウトするときもあるか - 以前までは、働き過ぎの部分は残業などでキャッチしてきましたが、AI時代だとそうもいかないこともあるため、 どう労務を見ていくかは思案し始めている - レビュー負荷 - AIが作ったものをどう評価し、成果物としてリリースしていくかに抵抗がある組織も多い - しかし、AIエージェントによる生産量が増えることは間違いないので、人によるレビュー限界が来る - 一部、LLM as a Judgeの試験的導入をしているチームもある
25 まとめ - AIによって開発スタイルとスケーリングの違い - AIへの投資と人への投資によるお金の変化 - AIエージェントへの投資対効果の投資と効果の基準 - 今後
: AI疲れ・レビュー負荷にどう立ち向かうか