Devin 全社導入に向けた検証と実践 〜ギルドで進める生産性評価と共存文化形成〜

2025年4月15日
Coding Agent at Loft #2 〜 AIコーディング活用事例Night - 効果的な組織導入と実践〜
での登壇スライド
https://aws.amazon.com/startups/events/coding-agent-at-loft-02-20250415

AIエンジニアDevinを活用してCIパイプラインを改善した話
https://zenn.dev/canly/articles/701cbd3c7760ed

Transcript

1. Copyright © Canly, Inc. All rights reserved. Devin全社導入に向けた検証と実践 〜ギルドで進める生産性評価と共存文化形成〜 株式会社カンリー プラットフォーム部 CTO室 波多野 雅哉
2. Copyright © Canly, Inc. All rights reserved. 前職での取締役 CTOの経験を活かし、プロダクトチームへの技術支援、エンジニア組織のイネーブルメン ト、AI活用推進に向けた取り組みなどを担当しています。 自己紹介 波多野 雅哉 (X:@hatamasa1988) 株式会社カンリー プラットフォーム部 CTO室 大手SIer→ベンチャー x n→any→カンリー バックエンド > インフラ >>> フロントエンド BtoB SaaS, 2児の育児エンジニア お酒, サウナ, ジム, 年相応の運動 , X 衰えを感じてきていること 名前 所属 職歴 技術 特徴 趣味 最近の悩み
3. Copyright © Canly, Inc. All rights reserved. 会社紹介
4. 4 名称 代表者 設立 従業員 資本金 株主 株式会社カンリー 代表取締役Co-CEO 辰巳 衛 / 秋山 祐太朗 2018年8月15日 正社員 137名（2025年2月時点） 100,000,000円
5. 会社の沿革
6. いま、店舗のビジネス環境は、厳しい変化のなかにあります。 デジタル化の加速により、店舗と顧客との接点は複雑化するなか、 店舗の情報発信や集客には、大きな負荷が生まれている一方、 人手不足は深刻化し、店舗本来の仕事に割ける時間は減り続けています。 テクノロジーの力で、店舗経営をもっと生産的に。 店舗に関わるすべての人に、創造的な仕事に向き合える環境を。 カンリーは、店舗運営のDXを実現するプロダクトの提供を通じて、 店舗のコミュニケーションやあらゆる意思決定を円滑にし、 やがて店舗経営に欠かせないインフラとなることを目指しています。 店舗の創造性を解放し、 そこで生まれた価値が世の中を循環することで、 すべての人の豊かな暮らしが社会にあふれていく未来へ。 店舗経営を支える、 世界的なインフラを創る 6 Mission
7. カンリーが提供する 4つの主要サービス 7 店舗運営を効率化する「 カンリー店舗集客 」 マップで探せる「 カンリー福利厚生 」 アルバイト・パート採用支援「 カンリーAI面接」 スポットワーク活用支援「 カンリーワーク 」
8. Copyright © Canly, Inc. All rights reserved. はじめに
9. Copyright © Canly, Inc. All rights reserved. はじめに カンリーでは全社的に AIを使い アウトカム・生産性を最大化する取り組みを初めています
10. Copyright © Canly, Inc. All rights reserved. 【Devin導入の目的】 AIエージェントとの共存に向けた 組織的な学習と文化形成 その先にある生産性のさらなる向上 はじめに
11. Copyright © Canly, Inc. All rights reserved. はじめに Devin検証のロードマップ 全社導入！！ Phase2ギルド検証 開発チームごとにDevinで開発して検証 Phase1検証 自分でDevinを触って感触を確 かめる イマココ
12. Copyright © Canly, Inc. All rights reserved. Phase1検証 自分でDevinを触って感触を確かめる
13. Copyright © Canly, Inc. All rights reserved. Phase1検証 全社導入！！ Phase2ギルド検証 開発チームごとにDevinで開発して検証 Phase1検証 自分でDevinを触って感触を確 かめる イマココ Devin検証のロードマップ
14. Copyright © Canly, Inc. All rights reserved. ゴール ① Devinがいつ、何に使えそうなのかの可能性を見出せる ② 他のLLMツールと比較してどんな価値があるのか確認できる 体制 波多野 Devin 期間 約1ヶ月 Phase1検証
15. Copyright © Canly, Inc. All rights reserved. Phase1はとりあえず任せてみて検証 • CIのテストの高速化 
 • OpenAPI, Eloquentの自動生成クラスをそれぞれのModelsでextendsする 
 • フロントエンド共通コンポーネントの切り出り 
 • APIのアクセスログのアーキテクチャをコードから調査 
 • DBテーブルのPK変更 
 ・・・etc 他にも多数業務で使用 Phase1検証
16. Copyright © Canly, Inc. All rights reserved. Phase1検証 初日お祝い 🎉
17. Copyright © Canly, Inc. All rights reserved. Phase1検証 アウトプット • タスク一覧 • Pros/Cons • 所感 • Phase2検証の方向性 • テックブログへの投稿
18. Copyright © Canly, Inc. All rights reserved. Phase1検証 Zennに投稿しました AIエンジニアDevinを活用してCIパイプラインを改善した話
19. Copyright © Canly, Inc. All rights reserved. 抜粋：AIエンジニアDevinを活用してCIパイプラインを改善した話 AIエンジニアとの協働 • エンジニアとマンツーで並走している感覚 • (指示者のキャパの範囲で ) 並列でタスク委譲可能 = スケールアウト 他者の指示の出し方が見える • 組織でのナレッジ共有が進みやすい • オープンチャンネルでやることで他社のプロンプトが知れる • Devinに限定した話ではなく、 Clineを利用する上でも助けになる Phase1検証
20. Copyright © Canly, Inc. All rights reserved. Phase1検証 後者のような全体に占めるコーディングの割合が低い（お作法のウェイトが大きい）ものほど、実は Devinに任せるコスパ・タイパが良い。 タスクの細分化や具体的な指示に落とし込むと自然と後者を任せるように寄っていく。 • 数行のconfig修正とか2~4ACUsでガンガン投げれる • レビューの負荷も低い clone checkout coding PR作成 clone checkout coding PR作成
21. Copyright © Canly, Inc. All rights reserved. Phase2ギルド検証 開発チームごとに Devinで開発して検証している話
22. Copyright © Canly, Inc. All rights reserved. Phase2検証 Devin検証のロードマップ 全社導入！！ Phase2ギルド検証 開発チームごとにDevinで開発して検証 Phase1検証 自分でDevinを触って感触を確 かめる イマココ
23. Copyright © Canly, Inc. All rights reserved. ゴール Devinをチームの一員として活用し、ユースケース /運用方法/導入アプローチの全体像を掴む 体制 PM: 波多野 バディ(EM+メンバー1名) x 3 Devin 期間 2~3ヶ月 Phase2検証
24. Copyright © Canly, Inc. All rights reserved. ポイント ① 各チームからバディを選出しギルド検証とした ② ゴールの達成要素を分解し、成果を追えるようにした
25. Copyright © Canly, Inc. All rights reserved. ポイント① 各チームからバディを選出しギルド検証とした ① 各チームからバディを選出しギルド検証とした ② ゴールの達成要素を分解し、成果を追えるようにした
26. Copyright © Canly, Inc. All rights reserved. バディの選出 各チームごとにメンバー選出し EMとバディを組み、各チームで Devinを使っていく。より実務に即し た検証を行うことが可能に。 ポイント① 各チームからバディを選出しギルド検証とした
27. Copyright © Canly, Inc. All rights reserved. ギルド チームを横断してPJを組成し検証を進める • Devinのガイダンス • 定期的MTGでのナレッジ共有 • メンバーのモメンタム向上 ポイント① 各チームからバディを選出しギルド検証とした
28. Copyright © Canly, Inc. All rights reserved. ポイント② ゴールの達成要素を分解し、成果を追えるようにした ① 各チームからバディを選出しギルド検証とした ② ゴールの達成要素を分解し、成果を追えるようにした
29. Copyright © Canly, Inc. All rights reserved. ゴールである「Devinをチームの一員として活用するための適切なユース ケース、運用方法、導入アプローチの全体像を掴む 」の達成要素を下記の4 つに設定した。 1. 各チームでの Devin活用シーンの明確化 2. チームを跨いだ活用方法の検証 3. 運用ルールやガイドラインのドラフト作成 4. 活用ナレッジの蓄積と全社活用に向けた布石 ポイント② ゴールの達成要素を分解し、成果を追えるようにした
30. Copyright © Canly, Inc. All rights reserved. 悩みポイント：生産性？コスト？何で評価すべきか 達成要素1：各チームでの Devin活用シーンの明確化 13 5 8
31. Copyright © Canly, Inc. All rights reserved. 悩みポイント：生産性？コスト？何で評価すべきか Fourkeys取得をしていない・・・ 達成要素1：各チームでの Devin活用シーンの明確化 13 5 8 全体の生産性 Fourkeys等 俯瞰的な評価 単独の生産性 アウトプット ÷ コスト
32. Copyright © Canly, Inc. All rights reserved. 悩みポイント：生産性？コスト？何で評価すべきか Fourkeys取得をしていない・・・ 達成要素1：各チームでの Devin活用シーンの明確化 13 5 8 全体の生産性 Fourkeys等 俯瞰的な評価 単独の生産性 アウトプット ÷ コスト (開発リソースと考えた時に ) エンジニア一人雇うよりも安価 マネジメントコストもそんなかかっ ていないこと
33. Copyright © Canly, Inc. All rights reserved. タスク記録でのコスト評価 仮説「Devinを人件費として説明可能な状態にできるのでは？」 必要に応じてタスクをアウトソースできる AIエンジニア。 下記でコスト計算できる。 1. 想定工数：自分でやったらどれくらいかかるか 2. 実工数：Devinにやらせてどれくらい ACUsかかったか 3. マネジメント工数：Devinへの指示やレビューでどれくらいかかったか それぞれ単価計算で 1 > (2 + 3) が成立すること。 達成要素1：各チームでの Devin活用シーンの明確化
34. Copyright © Canly, Inc. All rights reserved. 達成要素1：各チームでの Devin活用シーンの明確化 タスク記録でのコスト評価 タスクの想定工数や実工数 (ACUs)を記録することで客観的に評価できるように。 Slackワークフローを 📝スタンプで起動してタスクをスプシに一発転記。
35. Copyright © Canly, Inc. All rights reserved. 達成要素2：チームを跨いだ活用方法の検証 knowledge機能の活用 Phase1検証から進んだ、複数人での Devinの教育 AI横断的ナレッジの管理 .cursorrules, .clinerurlesなど乱立するAIへのコンテキスト情報を整理 共通コンテキストを用意し、それぞれの ruleから参照できるように。
36. Copyright © Canly, Inc. All rights reserved. AI横断的ナレッジの管理 複数リポジトリ、複数 AIツールに 耐えうるナレッジ管理構成に変更 達成要素2：チームを跨いだ活用方法の検証
37. Copyright © Canly, Inc. All rights reserved. 達成要素3：運用ルールやガイドラインのドラフト作成 ギルド内で定期的なディスカッション ギルド定例を隔週で行い、盛んにディスカッションを行う 運用に向けたアイディアを協議 していく ギルドでのディスカッション内容 • Devinに任せたタスクと結果の共有 • Devinを組織で使うために必要なこと • 組織導入後のDevin展望
38. Copyright © Canly, Inc. All rights reserved. 達成要素4：活用ナレッジの蓄積と全社活用へ向けた布石 ギルド/情報の透明性 ギルドメンバーが全社導入時に浸透のハブになれるように主体的に活用してもらう。 Devinとのやりとりそのものがナレッジと考え、 依頼は共通のOpenチャンネルを使用。 Devin公式にも共通チャンネルは記載あり。
39. Copyright © Canly, Inc. All rights reserved. 最後に とはいえまだ道半ば・・・ 全社導入！！ Phase2ギルド検証 開発チームごとにDevinで開発して検証 Phase1検証 自分でDevinを触って感触を確 かめる イマココ
40. Copyright © Canly, Inc. All rights reserved. 展望 wiki / knowledgeの進化 Notionと連携してドキュメント管理がもっと楽にならないかなー NotionにADR, 方針書、Devin’s wikiにアーキテクチャ, 設計書の世界観 AI-Coding x AI-Review AI-Reviewの精度を高めて、修正の精度向上と Devinを野放しで教育 Devinの精度向上 Devinがジュニアエンジニア教育
41. Copyright © Canly, Inc. All rights reserved. 最後に Phase2の検証も最終的に Zennにまとめて投稿しようと思いま す。ご期待ください。
42. Copyright © Canly, Inc. All rights reserved. ご清聴 ありがとうございました