データと事例で振り返るDevin導入の"リアル" / The Realities of Devin Reflected in Data and Case Studies

by r-kagaya

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© 2024 Loglass Inc. 5 ログラスのAIコーディングツール導入の歩み 12月一部メンバーは Cursor等を利用 DevinのPoC開始 1月主に新規事業チームでCursor/Devinを利用 2月エンジニア全員に Cursorを配布 3月既存事業側でも Cursor利用が一気に進む時間軸 4月既存事業チームでも Devinの導入開始（20ドルプラン） Devin自体は12月からPoC開始新規プロダクト開発チームでの活用想定

Slide 7

Slide 7 text

© 2024 Loglass Inc. 6 ログラスのAIコーディングツール導入の歩み 12月一部メンバーは Cursor等を利用 DevinのPoC開始 1月主に新規事業チームでCursor/Devinを利用 2月エンジニア全員に Cursorを配布 3月既存事業側でも Cursor利用が一気に進む時間軸 4月既存事業チームでも Devinの導入開始（20ドルプラン）社としてはCursor普及がメインコスト問題もあり、弊チームでの活用に専念

Slide 8

Slide 8 text

© 2024 Loglass Inc. 7 ログラスのAIコーディングツール導入の歩み 12月一部メンバーは Cursor等を利用 DevinのPoC開始 1月主に新規事業チームでCursor/Devinを利用 2月エンジニア全員に Cursorを配布 3月既存事業側でも Cursor利用が一気に進む時間軸 4月既存事業チームでも Devinの導入開始（20ドルプラン） Cursorの活用がひと段落プランの変更も伴い、複数チームで導入が開始

Slide 9

Slide 9 text

© 2024 Loglass Inc. 8 Devinの使い方(とある新規プロダクト開発チームの例） ● 出退勤の前に複数のToDoタスクを Devinに依頼 ● 追加指示も移動中に行える ● オフィス/自宅に到着した時にはPR が作成されいてる ● コンテキストスイッチを避けるためのリファクタリング委任 ● 集中を維持しながら副次的タスクを進行定型/小中規模のタスクタスクのオフロード移動時間の効率活用ドキュメント自動化 ● 既存コードを元にした新規エンドポイントの雛形作成 ● 特定の修正の横展開 ● プロトタイプ・ライブラリのサンプル実装 ● 翻訳やコードベースを元にした仕様ドキュメントの自動化

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2024 Loglass Inc. 16 ログラスでのDevin利用実態の分析〜PRリードタイム〜高速にたくさんのPRマージができるようになるか？ ● PRマージまでのリードタイム: 中央値約3.4時間、平均値約36.8時間 ● なぜか？ ○ プロダクションコードにマージする前にはPRレビュー/QAをする ○ エンジニアはDevinのお世話に専念してるわけではないため、PRレビュー待ちや微修正でリードタイムが伸びる品質保証・レビューをボトルネックにしない仕組みは必要

Slide 18

Slide 18 text

© 2024 Loglass Inc. 17 ログラスでのDevin利用実態の分析〜PRリードタイム〜（当たり前だが）機能実装系のタスクはPRリードタイム長め ● 特にフロントエンドの修正が含むタスク ○ 動作確認やデザイン整合性の確認で時間がかかる ● バックエンドタスクは途中で引き取って、エンジニアが実装を完成させるパターンが散見される ● マイクロタスクは爆速 ○ 細かな文言修正やUnit testで担保可能なリファクタや修正の横展開など

Slide 19

Slide 19 text

© 2024 Loglass Inc. 18 ログラスでのDevin利用実態の分析〜PRマージ率〜効率良くPRが作成できるか？ ● （同タスクで複数セッション作るなどの検証タスクも含まれるので、実態はもう少し高い） ● マージまで至ったのは約50%程度 ● 4月からマージ率が高いのはドキュメントの自動生成を始めたから初期の指示や方向づけを誤ると、自律的に間違った方向に進んでいく。後の修正コストを考えると”やり直す”例も多く、PRマージ率はそこまで高くなっていない

Slide 20

Slide 20 text

© 2024 Loglass Inc. 19 ログラスでのDevin利用実態の分析〜コスト・ROI〜シンプルにタスク毎の幅がとても大きい ● 0.13ACU (約$0.3〜) の軽微タスク (翻訳タスク、文言修正) から、36ACU超(約$73以上) の重量級タスク (MCPサーバーの実装) まで混在区分セッション数 ACU合計一回あたり平均ACU 機能実装系 74 360 4.88 QA/テスト 84 205 2.44 ドキュメント 80 188.45 2.36 リサーチ 3 8.02 2.67

Slide 21

Slide 21 text

© 2024 Loglass Inc. 20 ログラスでのDevin利用実態の分析〜コスト・ROI〜実装系タスクを分解（分類難度の高い一部は除外） ● バックエンド・APIがセッション数も多く、平均ACUも高いサブカテゴリセッション数 ACU 合計一回あたり平均 ACU 実装系内シェア Backend / API 35 215 ≈ 6.1 69 % Refactor / Optimization 14 55 ≈ 3.9 18 % Build / CI / Tooling 10 20 ≈ 2.0 6 % Frontend / UI 7 23 ≈ 3.3 7 %

Slide 22

Slide 22 text

© 2024 Loglass Inc. 21 ログラスでのDevin利用実態の分析〜コスト・ROI〜実装系タスクを分解（分類難度の高い一部は除外） ● バックエンド・APIがセッション数も多く、平均ACUも高いサブカテゴリセッション数 ACU 合計一回あたり平均 ACU 実装系内シェア Backend / API 35 215 ≈ 6.1 69 % Refactor / Optimization 14 55 ≈ 3.9 18 % Build / CI / Tooling 10 20 ≈ 2.0 6 % Frontend / UI 7 23 ≈ 3.3 7 % フロントエンドが少ない理由は、デザインの再現確認などのコストが高いため

Slide 23

Slide 23 text

© 2024 Loglass Inc. 22 ログラスでのDevin利用実態の分析〜コスト・ROI〜実装系タスクを分解（分類難度の高い一部は除外） ● バックエンド・APIがセッション数も多く、平均ACUも高いサブカテゴリセッション数 ACU 合計一回あたり平均 ACU 実装系内シェア Backend / API 35 215 ≈ 6.1 69 % Refactor / Optimization 14 55 ≈ 3.9 18 % Build / CI / Tooling 10 20 ≈ 2.0 6 % Frontend / UI 7 23 ≈ 3.3 7 % フロントエンドよりは Unit test・PRレビューで確認しやすいため？

Slide 24

Slide 24 text

© 2024 Loglass Inc. 23 ログラスでのDevin利用実態の分析〜コスト・ROI〜実装系タスクの“上位10%”で消費ACUの4割近くを占める ● バックエンド実装が上位。エンドポイント実装など比較的コード量が多くなる傾向 ● 上手くいかないタスクは本当に上手くいかない ○ = ACUが嵩む ● ACUが嵩んだタスクの例 ○ MCPサーバーのサンプル実装: 36ACU ○ エンドポイントの丸ごと実装: 18ACU

Slide 25

Slide 25 text

© 2024 Loglass Inc. 24 ログラスでのDevin利用実態の分析〜タスク種類別パフォーマンス〜 Devinは安い？高い？タスク次第！平均ACU高め、PR マージ成功率も低め既存コードの規約やクオリティ調整でコストが嵩みがち (例: エンドポイント作成, 機能改修) 平均2.5 ACU程度社内向けの仕様ドキュメント等の自動化が行えるのであれば期待大 (例: ドキュメント更新, リリースノート作成) 最もACUのばらつきが大きかったコード解析は比較的高めだったが、今なら Devin Searchも (例: ライブラリ実装調査, コード解析) Knowledge設定やCI設定などは比較的低ACU で安定特に新規リポジトリ側での利用は多かった機能実装系ドキュメント系調査/サンプル実装系環境整備/運用系

Slide 26

Slide 26 text

© 2024 Loglass Inc. 25 ログラスでのDevin利用実態の分析〜コスト・ROI〜 ACU消費から考えるコスパの良いDevinの使い方マイクロタスクのオフロード手元でブランチ切り替えて..などのコンテキストスイッチ削減やレビューコストを考えると👌 例 ● 翻訳/文言変更: 約0.2ACU ● リリースノート作成 (約1ACU ● 仕様ドキュメント: 約5ACU Playbookやknowledgeの整備でクオリティのコントロールは可能総コスト (ACU + レビュー修正時間) での考慮が必要だが、この種のタスクが一定オフロードできるのは嬉しい例 ● 簡単な機能追加: 2~6ACU ● Unitテスト作成 2~10ACU ドキュメントやナレッジ整備が完了していない and 試行錯誤の繰り返しが生まれるタスクは当然ACU は嵩みがち加えて、結果的にマージに至らないケースが比較的多い例 ● MCP Server実装: 36ACU 👌マイクロタスク 👌定型的な中規模タスク 🤔試験的な実装タスク

Slide 27

Slide 27 text

© 2024 Loglass Inc. 26 ログラスでのDevin利用実態の分析〜コスト・ROI〜 ACU消費から考えるコスパの良いDevinの使い方マイクロタスクのオフロード手元でブランチ切り替えて..などのコンテキストスイッチ削減やレビューコストを考えると👌 例 ● 翻訳/文言変更: 約0.2ACU ● リリースノート作成 (約1ACU ● 仕様ドキュメント: 約5ACU Playbookやknowledgeの整備でクオリティのコントロールは可能総コスト (ACU + レビュー修正時間) での考慮が必要だが、この種のタスクが一定オフロードできるのは嬉しい例 ● 簡単な機能追加: 2~6ACU ● Unitテスト作成 2~10ACU ドキュメントやナレッジ整備が完了していない and 試行錯誤の繰り返しが生まれるタスクは当然ACU は嵩みがち加えて、結果的にマージに至らないケースが比較的多い例 ● MCP Server実装: 36ACU 👌マイクロタスク 👌定型的な中規模タスク 🤔試験的な実装タスクとはいえ、複数ライブラリのPoC・サンプル実装を一気に捌くのは便利外部サービス・APIを繋げる際のサンプル実装なども

Slide 28

Slide 28 text

© 2024 Loglass Inc. 27 ログラスでのDevin利用実態の分析〜コスト・ROI〜所感 ● マージまでの「総コスト(レビュー等含む）」でROIや適したタスクを考える ● マイクロタスクのオフロードや複数パターン・ライブラリのサンプリ実装などは便利 ○ コンテキストスイッチ削減や煩雑さからの解放価値は大きい ● 新規 or 既存リポジトリのどちらからPoC/導入を始めるか ○ 既存リポジトリの方が消費ACUの平均は高かった ○ knowledgeを育てる経験を積むなら既存リポジトリの方が必然性は高い

Slide 29

Slide 29 text

© 2024 Loglass Inc. 28 ログラスでのDevin利用実態の分析〜コスト・ROI〜リポジトリやチーム等の環境次第で消費ACUの変動が大きいことは想像に容易い各々の組織でコスパの良い/悪いタスクを使いながら見極めていく必要性チームとしての許容コストラインを握っておくのも良い。どうしてもみんな利用額が気になる -> 「数ドルは誤差、10ドル越えは気にする」マインドでDevinのACUは気にしている

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© 2024 Loglass Inc. 31 Devinナレッジのリアル Knowledgeの管理と他AIツールとのダブルメンテ問題 ● Cursor Rulesで表現したいコンテキストは基本的には被りがち ○ e.g. 知識・手順・規約 ● 全て自分たちでDevin用に整備し直すのは手間 ● Cursor Rulesと比べるとまだ柔軟性は低い ○ フォルダ機能やIs Proceduralフラグなども出てきたので、今後に期待

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© 2024 Loglass Inc. 33 Devinのチーム運用のリアル組織で使う上での運用ルールはCursorよりは困りそう..？ユーザー毎の課金体系ではない費用負担先が異なる部署・チームが混在する時にどうするのか...？ ACU消費の分析も現状の管理機能では手間 Cursor RulesとDevin Knowledgeのダブルメンテナンスをどうするか？モノレポ and 担当チーム毎に規約等が異なる場合のknowledge のメンテナンスや競合をどう回避するか？ 🤔複数チームでの運用 🤔コンテキストの保守 🤔大規模コードベースでの運用そこまで大規模な開発組織 and 展開ではないので、より困るのはこれから・・

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

© 2024 Loglass Inc. 36 まとめ ● Devinの利用履歴を元にした傾向、ナレッジ運用などについて話した ● Cursorとの並行利用は、主にknowledge周りの運用面での難しさはある ● とはいえ、Cursorとはまた違った自動化・タスクオフロードの体験が作れるので、Devinの可能性は大いに感じる ○ ただ、Cursorがリモート環境で動作できるようになったので... ● 新規or既存リポジトリ等、各組織の環境によっても適したタスク・完了しやすいタスクは異なる可能性はある ● 結局は自分たちで使い倒してみるしかない