Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
生成AI活用のROI、どう測る? DMM.com 開発責任者から学ぶ「AI効果検証のノウハウ」...
Search
Masato Ishigaki / 石垣雅人
August 18, 2025
Technology
4
250
生成AI活用のROI、どう測る? DMM.com 開発責任者から学ぶ「AI効果検証のノウハウ」 / ROI of AI
TECH PLAY「生成AI活用のROI、どう測る? DMM.com 開発責任者から学ぶ「AI効果検証のノウハウ」」の登壇資料
https://techplay.jp/event/984918
Masato Ishigaki / 石垣雅人
August 18, 2025
Tweet
Share
More Decks by Masato Ishigaki / 石垣雅人
See All by Masato Ishigaki / 石垣雅人
大規模組織にAIエージェントを迅速に導入するためのセキュリティの勘所 / AI agents for large-scale organizations
i35_267
7
1k
無意味な開発生産性の議論から抜け出すための予兆検知とお金とAI
i35_267
8
21k
Clineを含めたAIエージェントを 大規模組織に導入し、投資対効果を考える / Introducing AI agents into your organization
i35_267
6
2.2k
開発フェーズだけではない AI導入はどのように進めていくべきか / How should we proceed with AI adoption beyond the development stage?
i35_267
4
290
【Forkwell】「正しく」失敗できるチームを作る──現場のリーダーのための恐怖と不安を乗り越える技術 - FL#83 / A team that can fail correctly by forkwell
i35_267
6
680
【Findy】「正しく」失敗できる チームの作り方 〜リアルな事例から紐解く失敗を恐れない組織とは〜 / A team that can fail correctly by findy
i35_267
9
1.8k
技術負債の「予兆検知」と「状況異変」のススメ / Technology Dept
i35_267
2
1.5k
技術負債による事業の失敗はなぜ起こるのか / Why do business failures due to technical debt occur?
i35_267
5
2.6k
「開発生産性を上げる改善」って儲かるの?に答えられるようにする / Is development productivity profitable?
i35_267
30
22k
Other Decks in Technology
See All in Technology
防災デジタル分野での官民共創の取り組み (2)DIT/CCとD-CERTについて
ditccsugii
0
310
コンテキストエンジニアリング入門〜AI Coding Agent作りで学ぶ文脈設計〜
kworkdev
PRO
3
1.8k
難しいセキュリティ用語をわかりやすくしてみた
yuta3110
0
300
能登半島地震で見えた災害対応の課題と組織変革の重要性
ditccsugii
0
1k
Data Hubグループ 紹介資料
sansan33
PRO
0
2.2k
LLMプロダクトの信頼性を上げるには?LLM Observabilityによる、対話型音声AIアプリケーションの安定運用
ivry_presentationmaterials
0
530
フレームワークを意識させないワークショップづくり
keigosuda
0
210
能登半島災害現場エンジニアクロストーク 【JAWS FESTA 2025 in 金沢】
ditccsugii
0
900
AWS Control Tower に学ぶ! IAM Identity Center 権限設計の第一歩 / IAM Identity Center with Control Tower
y___u
1
200
なぜAWSを活かしきれないのか?技術と組織への処方箋
nrinetcom
PRO
5
980
Azureコストと向き合った、4年半のリアル / Four and a half years of dealing with Azure costs
aeonpeople
1
170
「使い方教えて」「事例教えて」じゃもう遅い! Microsoft 365 Copilot を触り倒そう!
taichinakamura
0
440
Featured
See All Featured
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Music & Morning Musume
bryan
46
6.8k
How to train your dragon (web standard)
notwaldorf
97
6.3k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Building a Modern Day E-commerce SEO Strategy
aleyda
44
7.8k
How STYLIGHT went responsive
nonsquared
100
5.8k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
37
2.6k
jQuery: Nuts, Bolts and Bling
dougneiner
65
7.9k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
YesSQL, Process and Tooling at Scale
rocio
173
14k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
55
3k
Transcript
1 Masato Ishigaki July. 19, 2025 生成AI活用のROI、どう測る? DMM.com 開発責任者から学ぶ
「AI効果検証のノウハウ 」
2 About me 石垣 雅人 合同会社 DMM.com プラットフォーム開発本部 副本部長
/ 第1開発部 部長 / VPoE室 / アルファ室 ・連載中 : 『開発生産性の多角的視点』(CodeZine) ・連載中 : 『スモールチームが武器になる時代へ』(ProductZine) ・連載中 : 『群知能から紐解く、スケールする“組織“の作り方 』(NewsPicks) 2
None
None
https://jp.findy-team.io/blog/ai-casestudy/ai_effectiveness_verification_dmm/ 話すこと 5
6 Table of Contents - AIによって開発スタイルとスケーリングの違い - AIへの投資と人への投資によるお金の変化 - AIエージェントへの投資対効果の投資と効果の基準
- AI疲れ・レビュー負荷にどう立ち向かうか
7 Table of Contents - AIによって開発スタイルとスケーリングの違い - AIへの投資と人への投資によるお金の変化 - AIエージェントへの投資対効果の投資と効果の基準
- AI疲れ・レビュー負荷にどう立ち向かうか
AIエージェントによる開発スタイルの変化 従来 プロダクション 現在 成果物は物理的な時間と人 が同期していた ガードレール役に徹する (CodeRabbit等で短縮) プロダクション 人の物理的な時間と成果物
が非同期で出てくる これから 成果物のレビューもAIへ LLM-as-a-judge 人は問い型へ プロダクション 8
これから 人は問い型へ プロダクション 9 AIエージェントによる開発スタイルの変化 成果物のレビューもAIへ LLM-as-a-judge
人による量のスケーリングの終わり 10 人の増やして量を作る 2 pizzaで分解する アジャイル × マイクロサービス 人とのコミュニケーションパス
が膨大 人とのコミュニケーションパス を縮小 AIで代替する 1チームあたりの 規模が縮小.AIとの対話へ
11 ちなみに AIが人を代替するのではなく、 AIを使っている人がAIを使っていない人を代替する
人によるスケーリングから、AIによるスケーリング + + + 人を増やして、スケール 個の生産性を上げて、スケール 個とAIを増やして、スケール
+ Lead Time 早 スケール方法 12
人材関連費 ・給与手当 ・賞与 ・法定福利費 ・福利厚生費 ・地代家賃 ・採用費 ・販管費 / 支払い手数料
販管費/支払手数料 (ライセンス料) P/L + + + + 人にかかるお金とAIにかけるお金による変化 +700万 +700万 +700万 +700万 +700万 +20万 +20万 +700万 +700万 +20万 +20万 +20万 スケール方法 13
14 Table of Contents - AIによって開発スタイルとスケーリングの違い - AIへの投資と人への投資によるお金の変化 - AIエージェントへの投資対効果の投資と効果の基準
- AI疲れ・レビュー負荷にどう立ち向かうか
AIエージェントへの投資対効果について - 投資対効果の「投資の部分」 - AIエージェントやFindy Team+といったチームの生産性 に寄与するものコスト(人件費は除く) - 投資対効果の「効果の部分」
- 生産量・リードタイム・個々の生産性(同じAIエージェント の金額でも数値は違う) ・AIエージェント ・Findy Team+ ・その他、チーム生産性に寄与 するもの ・生産量増 ・リードタイム短縮 ・1人あたりの生産性 output input 15
投資対効果の「投資の部分」 チームごとのコスト ツールごとのコスト AIエージェントのツールは 使わないものは削る
- 「感覚的には早くなっている」をどう自分たちの行動ログとして表出化させるか - 定量データで言えば「AIに置き換え」と「AIとの協働」で難易度は違う - └ AIに置き換え → 人でやっていたものを丸々削減時間とする -
└ AI協働 → 人でやったときの予測とAI協働での実績比較やAAテストからのABテス トはできないので移動平均などで抽出して行う 投資対効果の「効果の部分」 17
生産量・リードタイム・1人あたりの生産性 - 生産量 : ノイズを取り除いた状態でのPR数などの数的推移 - リードタイム : 類推見積りでおおよそ一致した施策のリードタイム比較
- 1人あたりの生産性 : 同じAIエージェントの金額でも個々で 成果がバラバラの場合が多い。そのため、 1人1人可視化していく必要あり - SPACEなどの定性評価も組み合わせて 筋が良さそうな指標を組み合わせて生産活動の変化傾向 を 見ていく 投資対効果の「効果の部分」 18
AIへの投資対効果の観点 - スピードと品質の両方を考慮する - 品質を落として量産しても意味がない。逆に負荷がかかるだけになる - 単一プロセスの最適化ではなく、バリューストリーム全体を見る - 生産量が多くなっても、変更障害率が多くなっている等
Findy Team+, Findy AIによる比較 ある平均的な1チームの例(3ヶ月)
Findy Team+, Findy AIによる比較 指標 人間チーム Devin AI 勝者 総合⽣産量
189件 74件 ⼈間チーム 個別⽣産性 15.8件/⼈ 74件 Devin AI 継続性 不規則 111⽇中74⽇活動 Devin AI ピーク⽣産 3件/⽇ (最⼤) 9件/⽇ (最⼤) Devin AI ある平均的な1チームの例(3ヶ月) 【生産性分析】
Findy Team+, Findy AIによる比較 ある平均的な1チームの例(3ヶ月) 【品質分析】 指標 人間チーム Devin
AI 勝者 マージ率 85-90% 60.1% ⼈間チーム レビュー品質 ⾃⼰完結型 要⼈間確認 ⼈間チーム 複雑度対応 ⾼度な設計可能 定型作業のみ ⼈間チーム エラー率 10-15% 40% ⼈間チーム
Findy Team+, Findy AIによる比較 ある平均的な1チームの例(3ヶ月) 【作業内容分析】 人間チーム (189件) の作業分布
新機能開発 40% (76件) バグ修正‧改善 30% (57件) テスト実装 20% (38件) 保守‧リファクタ 10% (18件) Devin AI (74件) の作業分布 コード変換 60% (44件) ‒ Kotlin-Java テスト変換 30% (22件) 機能改善 10% (8件)
AI疲れとレビュー負荷の違い - AI疲れ - Devin/ Cursor background agentを 非同期で動かしながら手元では 同期的にAIエージェントとvibe-codingをし
ているというメンバーが増える。AIのキャッチアップ疲れもある - 使いすぎると単一時間あたりの業務密度が高くなり、人が バーンアウトするときもあるか - 以前までは、働き過ぎの部分は残業などでキャッチしてきましたが、AI時代だとそうもいかないこともあるため、 どう労務を見ていくかは思案し始めている - レビュー負荷 - AIが作ったものをどう評価し、成果物としてリリースしていくかに抵抗がある組織も多い - しかし、AIエージェントによる生産量が増えることは間違いないので、人によるレビュー限界が来る - 一部、LLM as a Judgeの試験的導入をしているチームもある
25 まとめ - AIによって開発スタイルとスケーリングの違い - AIへの投資と人への投資によるお金の変化 - AIエージェントへの投資対効果の投資と効果の基準 - 今後
: AI疲れ・レビュー負荷にどう立ち向かうか