Devinと協働してアウトプットを1.5倍にした実践3ステップ

Devinと協働してアウトプットを1.5倍にした実践3ステップをご紹介します。

生成AI界隈の動きは早いので、あくまでも25年5月時点での業務で試した結果の1事例として捉えていただければと思います。

Transcript

1. © Findy Inc. 2025.05.16 Devinと3ヶ⽉協働して アウトプット1.5倍にした実践3ステップ 1 栁沢正⼆郎 - Shojiro Yanagisawa
2. © Findy Inc. 2 ⾃⼰紹介 ファインディ株式会社でソフトウェアエンジニアをして、 ⽣成AIを使って試⾏錯誤しながら開発しています。 栁沢正⼆郎 - Shojiro Yanagisawa @nipe0324a
3. © Findy Inc. 3 Devin使ったことある󰢧󰢨
4. © Findy Inc. 4 前置き：AI Transformationの3段階 引⽤元: 2025:The Year the Frontier Firm Is Born
5. © Findy Inc. 5 前置き：AI Transformationの3段階 引⽤元: 2025:The Year the Frontier Firm Is Born 今⽇の話
6. © Findy Inc. - 生成AI界隈は動きが早いので、数ヶ月後はわからない
 - 現時点での業務で試した結果の1つの事例
 - 実現には諸条件が必要なこともあり、まだ再現性は高くない
 6 今回の話の⼤前提
7. © Findy Inc. 7 Devinと協働して個⼈のアウトプットは1.5倍に
8. © Findy Inc. 8 Devinと協働して個⼈のアウトプットは1.5倍に マージ済みPR数は1.5倍に増加 ‧24年7⽉~12⽉: 平均4件 ‧24年2⽉~_4⽉: 平均6件
9. © Findy Inc. 9 Devinと協働する3ステップ - ① Devinに教える
 - ② Devinに慣れる
 - ③ Devinと協働する

10. © Findy Inc. 10 Devinと協働する3ステップ - ① Devinに教える
 - ② Devinに慣れる
 - ③ Devinと協働する
 Devinと協働して個⼈のアウトプットは1.5倍に
11. © Findy Inc. - 小さなタスクから始める
 - Devinに開発のルールを教えていく
 11 ① Devinに教える
12. © Findy Inc. - 小さなタスクから始める
 - Devinに開発のルールを教えていく
 12 ① Devinに教える 軽微な修正がそつなくこなせるようになる
13. © Findy Inc. - 文言変更や軽微なタスクを依頼してDevinの動きを知る
 - Devinの開発環境/作業手順/やりとり方法などを押さえる
 13 ① ⼩さなタスクから始める - Devinに教える Devinとのやりとり/開発環境
14. © Findy Inc. 14 ① 開発ルールを教える - Devinに教える 実際のナレッジの抜粋 - 会社やプロジェクト毎でルールは違う
 - Devinに依頼したタスクのやりとりから、 Knowledgeという形で基本的な開発ルール を教える

15. © Findy Inc. 15 ② Devinに慣れる - DevinのDocumentを読む
 - 試行錯誤して勘所を掴む
 - Knowledgeを洗練させる
 - AI Friendlyな環境によせる

16. © Findy Inc. 16 ② Devinに慣れる - DevinのDocumentを読む
 - 試行錯誤して勘所を掴む
 - Knowledgeを洗練させる
 - AI Friendlyな環境によせる
 よくあるタスクで満⾜できる精度になる
17. © Findy Inc. 17 ② DevinのDocumentを読む - Devinに慣れる - https://docs.devin.ai/ の Essential Guidelines は必読
 Devinは「ジュニアエンジニア」として扱うのが最適です。明確で十分な指示があれば、インターンや新人エンジニアが対応 可能なタスクを任せることができます。 ベストプラクティス : • 小さなタスクを並行して実行 : 朝の始まりに複数の小さなタスクを Devinに割り当て、昼食時にレビューを行うと効 率的です。 • Slackでの迅速な対応 : Devinは30分程度で完了するタスクに適しており、長期間放置されがちなバックログの解 消に役立ちます。 • 明確な成功基準のあるタスクに集中 : CIのパス確認や自動デプロイのテストなど、結果が明確に確認できるタスク が理想的です。 • 小さく始める : Devinの性能は長時間のセッション (≒10 ACU以上)で低下する可能性があるため、小規模なタスク から始めることを推奨します。 引⽤元: https://docs.devin.ai/essential-guidelines/when-to-use-devin の英語を翻訳
18. © Findy Inc. - 依頼内容、依頼方法、タスク粒度の勘所を掴む
 ◦ リンタ対応、横展開系の対応、FeatureFlagの削除、管理画面の軽微な改修、簡 易なアラート対応などは任せやすいなど掴めた
 - タスク精度がいまいちなときはPlanの承認を必須にする
 ◦ 「Devin should proceed without waiting for approval on complex tasks」のチェック をOFFにする
 18 ② 試⾏錯誤して勘所を掴む - Devinに慣れる
19. © Findy Inc. - Devinとのやりとりを通してKnowledgeを増やす
 ◦ いろんなタスクで試行錯誤すると、Knowledgeがたまっていく
 ◦ Knowledgeが溜まっていくと、任せられるタスクが増えていく 
 - しかし、Knowledge通りに動かないこともわりとある
 ◦ Knowledgeを根気強く更新する
 ◦ どうしても駄目なら、プロンプトに内容を盛り込むか現時点のLLMの限界と諦める
 19 ② Knowledgeを洗練させる - Devinに慣れる
20. © Findy Inc. - 自動テスト、リンタ、CIは必須
 ◦ Devin自身で検証ができない
 ◦ レビュー時のガードレールにもなる
 - 暗黙のルールは明文化して、コードを統一する
 ◦ 既存を踏襲させるとタスク精度が高まる
 ◦ いろんな実装があると迷ってしまう
 - ものによっては開発ルールの変更をする
 ◦ なんど言ってもうまく対応できないことがあった
 ◦ 例えば、PRテンプレやコミットメッセージの文字数のルールを守れなかっ た
 20 ② AI Friendlyな環境によせる - Devinに慣れる
21. © Findy Inc. 21 ③ Devinと協働する - Devinに定型作業を任せる
 - Devinと一緒にタスクを進める
 - Devinにサブタスクを任せる

22. © Findy Inc. 22 ③ Devinと協働する - Devinに定型作業を任せる
 - Devinと一緒にタスクを進める
 - Devinにサブタスクを任せる
 個⼈のアウトプットが1.5倍に増加
23. © Findy Inc. - 「これは9割以上成功する」というタスクは任せる
 ◦ Knowledgeが増え、勘所が掴めてくると、「このタスクはDevinに任せても問題な い」がわかってくる
 - 個人のマインドも変化
 ◦ ある程度定型化されたタスクは「人がやらなくても良いのでは？」 と思うように なってきた
 ◦ ex. 軽微な修正、FeatureFlagの追加・削除、モデル作成、マイグレーション、管理 画面の軽微な修正など
 23 ③ 定型作業を任せる - Devinと協働する
24. © Findy Inc. - Devinは、CursorやClineなどローカルマシンで実行するエージェントに 比べて時間はかかる
 - しかし、タスク分担してDevinと連携できればそこまで問題ない
 24 ③ ⼀緒にタスクを進める - Devinと協働する
25. © Findy Inc. 25 ③ サブタスクを任せる - Devinと協働する - メインでないタスクを裏でDevinに丸っと依頼する
 - 1~2時間ぐらいで一通りの対応(5~8PR)を作ってくれる
 ◦ Devinの公開APIを利用した自前ワークフローツールを開発した
 ◦ タスク分解して依頼することで一通りの作業をしてくれる
 ◦ タスク精度はまだまだ伸びしろあり
 各タスクの定義例。依存関係にそってタスクを実⾏
26. © Findy Inc. - Devinと協働する3ステップ
 ◦ ① Devinに教える
 ◦ ② Devinに慣れる
 ◦ ③ Devinと協働する
 ◦ → 個人のアウトプットは1.5倍 に増加
 - 今後
 ◦ 個人から、チームや組織のアウトプット増加につなげていきたい
 ◦ Devinに任せられる範囲を増やし、AI駆動開発をより推進したい
 26 まとめと今後の展望
27. © Findy Inc. 27 ファインディの紹介
28. © Findy Inc. 興味があればお気軽にご連絡ください。AI活用を推進しています！
 28 募集中のポジション
29. © Findy Inc. 29 ご清聴ありがとうございました
30. © Findy Inc. 30 - 口調を変えるKnowledgeで親しみやすく
 - PMが仕様把握のためにDevin Searchを利用
 - Devinの予算を増やすことで利用が増加
 - GitHub/AWSアカウント管理のワークフローを自動化
 - AI駆動な仮実装
 参考情報：DevinのTips
31. © Findy Inc. 31 Tips. ⼝調を変えるKnowledgeで親しみやすく - Knowledgeで口調を指定して、Devinとエンジニアの距離を近づける
 ⼝調のKnowledge 実際のやりとり例
32. © Findy Inc. 32 Tips. PMが仕様把握のためにDevinSearch利⽤ - PMから仕様確認の質問をされ、DevinSearchで検索したら100点の回答が得 られた

33. © Findy Inc. - 1月下旬から導入、4月から予算増加で利用数が増加
 33 Tips. Devinの予算を増やすことで利⽤が増加
34. © Findy Inc. - SREチームでは、Slackワークフローで ユーザー管理を任せている
 ◦ 前提として、Terraformでユーザー管理を している
 ◦ 月末月初などユーザー申請の対応が五 月雨にあり地味に時間がかかっていた
 ◦ Devinで楽にワークフロー化ができ、PR上 で微修正も任せられ、工数削減になった
 34 Tips. アカウント管理のワークフローを⾃動化 SlackワークフローでDevinに依頼
35. © Findy Inc. - まだ検証中ですが、2~3日想定が1日で仮実装が完了
 ◦ 設計やコードの解像度が高まり、改善点も見つけられた
 - 仮実装の流れ
 ◦ 1. Devin Wikiで新しいリポジトリの主要機能や設計を把握
 ◦ 2. Devin Searchで影響範囲をコードレベルで把握
 ◦ 3. Devin に大きめなタスクを渡して仮実装する
 ◦ 4. Cursorを使いながら仮実装の細部を修正して動くようにする
 35 Tips. AI駆動な仮実装