Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Devin 全社導入に向けた検証と実践 〜ギルドで進める生産性評価と共存文化形成〜

Avatar for hatamasa hatamasa
April 15, 2025
350

Devin 全社導入に向けた検証と実践 〜ギルドで進める生産性評価と共存文化形成〜

2025年4月15日
Coding Agent at Loft #2 〜 AIコーディング活用事例Night - 効果的な組織導入と実践〜
での登壇スライド
https://aws.amazon.com/startups/events/coding-agent-at-loft-02-20250415

AIエンジニアDevinを活用してCIパイプラインを改善した話
https://zenn.dev/canly/articles/701cbd3c7760ed

Avatar for hatamasa

hatamasa

April 15, 2025
Tweet

Transcript

  1. Copyright © Canly, Inc. All rights reserved. 前職での取締役 CTOの経験を活かし、プロダクトチームへの技術支援、エンジニア組織のイネーブルメン ト、AI活用推進に向けた取り組みなどを担当しています。

    自己紹介 波多野 雅哉 (X:@hatamasa1988) 株式会社カンリー プラットフォーム部 CTO室 大手SIer→ベンチャー x n→any→カンリー バックエンド > インフラ >>> フロントエンド BtoB SaaS, 2児の育児エンジニア お酒, サウナ, ジム, 年相応の運動 , X 衰えを感じてきていること 名前 所属 職歴 技術 特徴 趣味 最近の悩み
  2. 4 名称 代表者 設立 従業員 資本金 株主 株式会社カンリー 代表取締役Co-CEO 辰巳

    衛 / 秋山 祐太朗 2018年8月15日 正社員 137名(2025年2月時点) 100,000,000円
  3. Copyright © Canly, Inc. All rights reserved. はじめに カンリーでは全社的に AIを使い

    アウトカム・生産性を最大化する取り組みを初めています
  4. Copyright © Canly, Inc. All rights reserved. はじめに Devin検証のロードマップ 全社導入!!

    Phase2ギルド検証 開発チームごとにDevinで開発して検証 Phase1検証 自分でDevinを触って感触を確 かめる イマココ
  5. Copyright © Canly, Inc. All rights reserved. Phase1検証 全社導入!! Phase2ギルド検証

    開発チームごとにDevinで開発して検証 Phase1検証 自分でDevinを触って感触を確 かめる イマココ Devin検証のロードマップ
  6. Copyright © Canly, Inc. All rights reserved. ゴール ① Devinがいつ、何に使えそうなのかの可能性を見出せる

    ② 他のLLMツールと比較してどんな価値があるのか確認できる 体制 波多野 Devin 期間 約1ヶ月 Phase1検証
  7. Copyright © Canly, Inc. All rights reserved. Phase1はとりあえず任せてみて検証 • CIのテストの高速化

    
 • OpenAPI, Eloquentの自動生成クラスをそれぞれのModelsでextendsする 
 • フロントエンド共通コンポーネントの切り出り 
 • APIのアクセスログのアーキテクチャをコードから調査 
 • DBテーブルのPK変更 
 ・・・etc 他にも多数業務で使用 Phase1検証
  8. Copyright © Canly, Inc. All rights reserved. Phase1検証 アウトプット •

    タスク一覧 • Pros/Cons • 所感 • Phase2検証の方向性 • テックブログへの投稿
  9. Copyright © Canly, Inc. All rights reserved. 抜粋:AIエンジニアDevinを活用してCIパイプラインを改善した話 AIエンジニアとの協働 •

    エンジニアとマンツーで並走している感覚 • (指示者のキャパの範囲で ) 並列でタスク委譲可能 = スケールアウト 他者の指示の出し方が見える • 組織でのナレッジ共有が進みやすい • オープンチャンネルでやることで他社のプロンプトが知れる • Devinに限定した話ではなく、 Clineを利用する上でも助けになる Phase1検証
  10. Copyright © Canly, Inc. All rights reserved. Phase1検証 後者のような全体に占めるコーディングの割合が低い(お作法のウェイトが大きい)ものほど、実は Devinに任せるコスパ・タイパが良い。

    タスクの細分化や具体的な指示に落とし込むと自然と後者を任せるように寄っていく。 • 数行のconfig修正とか2~4ACUsでガンガン投げれる • レビューの負荷も低い clone checkout coding PR作成 clone checkout coding PR作成
  11. Copyright © Canly, Inc. All rights reserved. Phase2検証 Devin検証のロードマップ 全社導入!!

    Phase2ギルド検証 開発チームごとにDevinで開発して検証 Phase1検証 自分でDevinを触って感触を確 かめる イマココ
  12. Copyright © Canly, Inc. All rights reserved. ポイント① 各チームからバディを選出しギルド検証とした ①

    各チームからバディを選出しギルド検証とした ② ゴールの達成要素を分解し、成果を追えるようにした
  13. Copyright © Canly, Inc. All rights reserved. バディの選出 各チームごとにメンバー選出し EMとバディを組み、各チームで

    Devinを使っていく。より実務に即し た検証を行うことが可能に。 ポイント① 各チームからバディを選出しギルド検証とした
  14. Copyright © Canly, Inc. All rights reserved. ギルド チームを横断してPJを組成し検証を進める •

    Devinのガイダンス • 定期的MTGでのナレッジ共有 • メンバーのモメンタム向上 ポイント① 各チームからバディを選出しギルド検証とした
  15. Copyright © Canly, Inc. All rights reserved. ポイント② ゴールの達成要素を分解し、成果を追えるようにした ①

    各チームからバディを選出しギルド検証とした ② ゴールの達成要素を分解し、成果を追えるようにした
  16. Copyright © Canly, Inc. All rights reserved. ゴールである「Devinをチームの一員として活用するための適切なユース ケース、運用方法、導入アプローチの全体像を掴む 」の達成要素を下記の4

    つに設定した。 1. 各チームでの Devin活用シーンの明確化 2. チームを跨いだ活用方法の検証 3. 運用ルールやガイドラインのドラフト作成 4. 活用ナレッジの蓄積と全社活用に向けた布石 ポイント② ゴールの達成要素を分解し、成果を追えるようにした
  17. Copyright © Canly, Inc. All rights reserved. 悩みポイント:生産性?コスト?何で評価すべきか Fourkeys取得をしていない・・・ 達成要素1:各チームでの

    Devin活用シーンの明確化 13 5 8 全体の生産性 Fourkeys等 俯瞰的な評価 単独の生産性 アウトプット ÷ コスト
  18. Copyright © Canly, Inc. All rights reserved. 悩みポイント:生産性?コスト?何で評価すべきか Fourkeys取得をしていない・・・ 達成要素1:各チームでの

    Devin活用シーンの明確化 13 5 8 全体の生産性 Fourkeys等 俯瞰的な評価 単独の生産性 アウトプット ÷ コスト (開発リソースと考えた時に ) エンジニア一人雇うよりも安価 マネジメントコストもそんなかかっ ていないこと
  19. Copyright © Canly, Inc. All rights reserved. タスク記録でのコスト評価 仮説「Devinを人件費として説明可能な状態にできるのでは?」 必要に応じてタスクをアウトソースできる

    AIエンジニア。 下記でコスト計算できる。 1. 想定工数:自分でやったらどれくらいかかるか 2. 実工数:Devinにやらせてどれくらい ACUsかかったか 3. マネジメント工数:Devinへの指示やレビューでどれくらいかかったか それぞれ単価計算で 1 > (2 + 3) が成立すること。 達成要素1:各チームでの Devin活用シーンの明確化
  20. Copyright © Canly, Inc. All rights reserved. 達成要素1:各チームでの Devin活用シーンの明確化 タスク記録でのコスト評価

    タスクの想定工数や実工数 (ACUs)を記録することで客観的に評価できるように。 Slackワークフローを 📝スタンプで起動してタスクをスプシに一発転記。
  21. Copyright © Canly, Inc. All rights reserved. 達成要素2:チームを跨いだ活用方法の検証 knowledge機能の活用 Phase1検証から進んだ、複数人での

    Devinの教育 AI横断的ナレッジの管理 .cursorrules, .clinerurlesなど乱立するAIへのコンテキスト情報を整理 共通コンテキストを用意し、それぞれの ruleから参照できるように。
  22. Copyright © Canly, Inc. All rights reserved. AI横断的ナレッジの管理 複数リポジトリ、複数 AIツールに

    耐えうるナレッジ管理構成に変更 達成要素2:チームを跨いだ活用方法の検証
  23. Copyright © Canly, Inc. All rights reserved. 達成要素3:運用ルールやガイドラインのドラフト作成 ギルド内で定期的なディスカッション ギルド定例を隔週で行い、盛んにディスカッションを行う

    運用に向けたアイディアを協議 していく ギルドでのディスカッション内容 • Devinに任せたタスクと結果の共有 • Devinを組織で使うために必要なこと • 組織導入後のDevin展望
  24. Copyright © Canly, Inc. All rights reserved. 最後に とはいえまだ道半ば・・・ 全社導入!!

    Phase2ギルド検証 開発チームごとにDevinで開発して検証 Phase1検証 自分でDevinを触って感触を確 かめる イマココ
  25. Copyright © Canly, Inc. All rights reserved. 展望 wiki /

    knowledgeの進化 Notionと連携してドキュメント管理がもっと楽にならないかなー NotionにADR, 方針書、Devin’s wikiにアーキテクチャ, 設計書の世界観 AI-Coding x AI-Review AI-Reviewの精度を高めて、修正の精度向上と Devinを野放しで教育 Devinの精度向上 Devinがジュニアエンジニア教育