Devin入門と最近のアップデートから見るDevinの進化 / Introduction to Devin and the Evolution of Devin as Seen in Recent Update

by r-kagaya

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2024 Loglass Inc. 4 Devinの特徴を表す言葉（公式サイトより抜粋）複数の指示（セッション）を並行して、動かすことができ、Slack、Githubなどのツールと連携して動作する正しいかどうかをすぐに確認できる、判断基準・失敗条件が明確などの、一定の指示の元、ある程度わかりやすいタスクを任せる Devin is a collaborative AI teammate Treat Devin like a junior engineer https://devin.ai/ 既存の開発フローやプロセスの中に入り込ませるのが効果的 Most effective when part of a team or existing workflow 小規模でスコープが明確なタスクが適任。複雑な場合はタスクを分割して、別々のセッションで実行することを推奨 Devin generally performs better on smaller, clearly scoped tasks

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© 2024 Loglass Inc. 7 機能紹介①: Knowledge ● 知識を覚えさせる ≒ Devinのオンボーディングを行う機能 ● 関連性に応じて自動的にナレッジ参照 ● チャット履歴に基づいたナレッジの自動提案 ● トリガーとコンテンツで構成 ○ トリガー: Devinが知識を適切なタイミングで呼び出すためのキーワード・文章（`xリポジトリにPRを出す時`） ○ コンテンツ: 関連情報を含む数文の説明 ● いわゆるプロンプトテンプレート機能に該当するPlaybookも別にある定義されたトリガーに関連する場合はコンテンツをコンテキストに含めるシンプル設計

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2024 Loglass Inc. 9 機能紹介①: Knowledge ● 効果的なナレッジのコツ特定のワークフローや行動に焦点を当てた具体的な内容にする可能な限り小さく分割する（Devinは複数のナレッジに同時アクセス可能）定期的な追加・更新を習慣にする（組織全体で共有・改善）内容は関連性が高く最新の状態を維持するトリガーとコンテンツ「特定リポジトリにPRを出す」際に、「PRの変更行数を200行を目安にする」ナレッジを登録

Slide 11

Slide 11 text

© 2024 Loglass Inc. 10 機能紹介②: Playbook 繰り返しタスクのための再利用可能な「カスタムシステムプロンプト」 https://docs.devin.ai/working-with-teams/playbooks-intro セクション例 ● Outcome (目標) ● Procedure (手順) ● Specifications (仕様) ● Advice and Pointers (アドバイス) ● Forbidden Actions (禁止事項) ● Required From User (ユーザーからの情報)

Slide 12

Slide 12 text

© 2024 Loglass Inc. 11 機能紹介③: Secrets & Site Cookies ● 要するに環境変数 ● Devinがシークレットを用いてセッション内で利用する ● 3パターン: ○ セッション固有: 現在の会話のみで有効 ○ グローバル: すべてのセッションで利用可能 ○ リポジトリ固有: 特定のリポジトリに限定 ● Cookie形式での保存やシェアも可能 ● One-Time Password (TOTP) も対応

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© 2024 Loglass Inc. 13 機能紹介④: Devin APIのユースケース Devinを用いてDevinのE2Eテストを行う実装が公式で公開されている Devinのブラウザ機能を使った自動テストログイン、セッション作成、メッセージ送信 Devin、GitHub、Slackを連携させたテスト特定条件下でのUI状態や応答を検証 https://github.com/CognitionAI/qa-devin

Slide 15

Slide 15 text

© 2024 Loglass Inc. 14 Good vs. Bad Instructions https://docs.devin.ai/essential-guidelines/good-vs-bad-instructions 具体性と明確な要件の提示ルートやエンドポイント、使用するデータソース（例：既存のテーブルや既存コードの参照先）など、詳細に指定既存のパターンやリソースの参照既存のコード、テストスイート、コンポーネント、ドキュメントへのリンクや参照を含めることで、Devinが模倣すべき具体例を提示。検証手順と成功基準の明示単に作業を実施するだけでなく、テスト実行や検証手順、成功のための具体的なメトリクス（例：80%のテストカバレッジ）を示すユーザーインタラクションやフローの明確化 UI関連の指示では、使用すべきコンポーネント名、デザインやユーザーの操作フロー、バリデーション方法などを具体的に記載 Goodの特徴

Slide 16

Slide 16 text

© 2024 Loglass Inc. 15 Good vs. Bad Instructions https://docs.devin.ai/essential-guidelines/good-vs-bad-instructions 漠然とした要求「〜を追加する」など、何をどのように実現すべきかが具体的でないため、 Devinが何をすればよいのか不明確となる（例：「Add a user stats endpoint.」）参照先やデータソースの指定がない使用すべきテーブル、既存コード、スタイルなどの具体的な情報が不足しており、標準化された実装ができない。検証方法や評価基準の欠如テストや動作確認の手順、成功条件が示されていないため、実装後の動作確認が困難となる。抽象的な表現や主観的な要求「ユーザーフレンドリーにする」や「もっと良くする」といった表現は、何をもって「良い」と判断するのかが曖昧 Badの特徴

Slide 17

Slide 17 text

© 2024 Loglass Inc. 16 Good vs. Bad Instructions https://docs.devin.ai/essential-guidelines/good-vs-bad-instructions 重要なのは、具体性、参照情報、検証手順の明確化 ● 具体的に記述することで、Devinはどのようなタスクをどの順序で実行すべきかを正確に理解できる ● 既存のコードやドキュメントへの参照は、実装の一貫性を保つための重要な手がかりとなる ● 検証手順や成功基準を明示することで、タスク完了後に適切なフィードバックが得られ、問題点の洗い出しや改善が容易になる

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2024 Loglass Inc. 18 how Devin works with the Cognition team https://github.com/CognitionAI/qa-devin ● 朝一で複数の ToDoタスクを Devinに依頼 ● 昼頃には複数のドラフトPRがレビュー待ち状態に ● コンテキストスイッチを避けるためのリファクタリング委任 ● 集中を維持しながら副次的タスクを進行 Slackでのバグ対応 IDEから依頼 ToDoリスト処理顧客対応の自動化 ● チームメンバーとのバグ議論スレッドで Devinをタグ付け ● リアルタイムでコンテキストを把握し解決策を提案・実装 ● 共有Slackチャンネルで顧客から上がった機能リクエストにDevinをタグ付け ● カスタマーサポートと開発の橋渡し開発元のCognitionチームでの事例

Slide 20

Slide 20 text

© 2024 Loglass Inc. 19 Devinの事例(nubank社） https://devin.ai/customers/nubank Devinを活用して数百万行のコードをリファクタリング ● 課題: 8年運用の数百万行のモノリシックETLを、1,000人以上のエンジニアで18ヶ月かけて分割する見積もり ● 解決策: Devinでリファクタリングを自動化。エンジニアはレビュー中心 ● 結果: プロジェクトの完了を数ヶ月短縮

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2024 Loglass Inc. 21 ● URLを元に文言や適切にボタンが押下できるか、スクショ撮影 ● Devinに文言の揺れを見つけさせて、issueに登録 or PR 検証フェーズとして色々実験的に利用中ドキュメンテーションや細かい修正、一度行った修正を別クラスにも反映する等の軽微・反復的なタスクを任すことも多い ● ソースコードを元にしたREADMEや setup手順 ● ドメイン・アプリケーション層のコードを元に仕様の生成 (Alloy） ● 日英翻訳 Devinに何を任せているか？機能開発ドキュメント UIテスト微修正 ● CIワークフローの作成 ● CRUDエンドポイントの作成 ● 文言修正 ● コードベースの調査

Slide 23

Slide 23 text

© 2024 Loglass Inc. 22 最近はDevin APIを用いてAIコーディングワークフローの構築にトライ中 Issue作成からPR自動作成 ● 特定ラベルのIssueはDevin APIで自動的にPR作成 ● PdM・デザイナーがトリガーして、AIが生成、人間エンジニアがレビューマージをトリガーにQA Devin ● 基本的な画面操作・文言やUIレビュー、FAQドキュメントの更新指示を与えなくとも、自動的に動作するワークフローをDevinで楽に作りたい

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2024 Loglass Inc. 25 1月のリリース・アップデート（一部抜粋） UXと信頼性の向上に注力した機能追加が多く見られた内部動作の可視化（Follow DevinタブやDetailed View）やプロンプト改善支援、ナッジなどにより、開発者がDevinを理解し活用しやすくする工夫（EPプランや従量課金も） Devinブラウザ利用 https://docs.devin.ai/release-notes/overview#january-8%2C-2025 Slack音声メッセージへの対応ログインが必要なWebサイトのテスト実施、SecresやCookie情報保持に対応 Slack連携でDevinに音声メッセージを送信可能にリポジトリ文脈理解の改善リポジトリのコンテキスト内で推論する能力が向上 Instruction Improvement Follow Devin / Detailed View ユーザーの指示内容（プロンプト）を分析して個別に改善提案を提示実行アクション、アクションを行った理由（Devinの内部思考）を確認プラクティスの提示(nudge）プロダクト内で随時ヒント・指針を表示することで、ユーザーの活用を支援

Slide 27

Slide 27 text

© 2024 Loglass Inc. 26 1月のリリース・アップデート（一部抜粋） UXと信頼性の向上に注力した機能追加が多く見られた内部動作の可視化（Follow DevinタブやDetailed View）やプロンプト改善支援、ナッジなどにより、開発者がDevinを理解し活用しやすくする工夫（EPプランや従量課金も） Devinブラウザ利用 https://docs.devin.ai/release-notes/overview#january-8%2C-2025 Slack音声メッセージへの対応ログインが必要なWebサイトのテスト実施、SecresやCookie情報保持に対応 Slack連携でDevinに音声メッセージを送信可能にリポジトリ文脈理解の改善リポジトリのコンテキスト内で推論する能力が向上 Instruction Improvement Follow Devin / Detailed View ユーザーの指示内容（プロンプト）を分析して個別に改善提案を提示実行アクション、アクションを行った理由（Devinの内部思考）を確認プラクティスの提示(nudge）プロダクト内で随時ヒント・指針を表示することで、ユーザーの活用を支援内部動作の可視化・デバッグ支援

Slide 28

Slide 28 text

© 2024 Loglass Inc. 27 2月のリリース・アップデート（一部抜粋）パフォーマンスが向上、処理速度が約2倍に向上し、複数ファイルの並行編集や複数アクション同時実行といった速度最適化機能が追加。Sonnet 3.7の導入、ブラウザでのコピー＆ペースト、キーボードショートカットの追加などUIUX改善も起動処理の高速化 https://docs.devin.ai/release-notes/overview#february-26th%2C-2025 Sonnet 3.7モデルの組み込み Devinのセッション開始時のセットアップ処理が最適化 Sonnet 3.7がDevinに統合。デバッグ、コード検索、計画立案など様々なタスクで従来モデルを上回る性能を示したローカルUIテスト機能の向上 UI変更をテストし、視覚的に理解する能力が向上 PRレビュー指摘への対応一括編集（Batch Edits）自身のPRに対して人間から寄せられたレビューコメントを確実に反映できるように改善「find and edit」というコマンドを使うことで、複数のファイルを並行して編集するバッチ編集機能が利用可能にプロンプトへのFB タスクが複雑すぎる場合には作業を細分化するよう提案

Slide 29

Slide 29 text

© 2024 Loglass Inc. 28 2月のリリース・アップデート（一部抜粋）パフォーマンスが向上、処理速度が約2倍に向上し、複数ファイルの並行編集や複数アクション同時実行といった速度最適化機能が追加。Sonnet 3.7の導入、ブラウザでのコピー＆ペースト、キーボードショートカットの追加などUIUX改善も起動処理の高速化 https://docs.devin.ai/release-notes/overview#february-26th%2C-2025 Sonnet 3.7モデルの組み込み Devinのセッション開始時のセットアップ処理が最適化 Sonnet 3.7がDevinに統合。デバッグ、コード検索、計画立案など様々なタスクで従来モデルを上回る性能を示したローカルUIテスト機能の向上 UI変更をテストし、視覚的に理解する能力が向上 PRレビュー指摘への対応一括編集（Batch Edits）自身のPRに対して人間から寄せられたレビューコメントを確実に反映できるように改善「find and edit」というコマンドを使うことで、複数のファイルを並行して編集するバッチ編集機能が利用可能にプロンプトへのFB タスクが複雑すぎる場合には作業を細分化するよう提案パフォーマンス最適化とUIUX改善

Slide 30

Slide 30 text

© 2024 Loglass Inc. 29 3月のリリース・アップデート（一部抜粋）チーム開発・組織運用機能の充実にフォーカス。セッションマネージャで複数タスクの一元管理・追跡、カスタムタグ、 PR自動クローズのタイミング調整など運用面でのカスタマイズ性も向上。@ ファイル名によるコード参照といった開発効率を高める改善も複数GitHub組織 https://docs.devin.ai/release-notes/overview#february-26th%2C-2025 セッションマネージャ単一のDevinアカウントに複数のGitHub 組織を接続できるように Devinの全セッション（タスク）を一覧・管理。実行ユーザー、プレイブックなどでフィルタリングカスタムタグ付与各セッションにカスタムタグを付与し、 Session Manager上でタグでセッションをフィルタリング可能に @ファイル名による参照 inactive PRの自動クローズプロンプト内で@ファイル名という形式を使ってコードファイルを参照できるショートカットが追加チームの開発フローに合わせて PRの自動クローズまでの時間を調整可能プロンプトへのFB タスクが複雑すぎる場合には作業を細分化するように提案

Slide 31

Slide 31 text

© 2024 Loglass Inc. 30 3月のリリース・アップデート（一部抜粋）チーム開発・組織運用機能の充実にフォーカス。セッションマネージャで複数タスクの一元管理・追跡、カスタムタグ、 PR自動クローズのタイミング調整など運用面でのカスタマイズ性も向上。@ ファイル名によるコード参照といった開発効率を高める改善も複数GitHub組織 https://docs.devin.ai/release-notes/overview#february-26th%2C-2025 セッションマネージャ単一のDevinアカウントに複数のGitHub 組織を接続できるように Devinの全セッション（タスク）を一覧・管理。実行ユーザー、プレイブックなどでフィルタリングカスタムタグ付与各セッションにカスタムタグを付与し、 Session Manager上でタグでセッションをフィルタリング可能に @ファイル名による参照 inactive PRの自動クローズプロンプト内で@ファイル名という形式を使ってコードファイルを参照できるショートカットが追加チームの開発フローに合わせて PRの自動クローズまでの時間を調整可能プロンプトへのFB タスクが複雑すぎる場合には作業を細分化するように提案チーム運用と組織管理機能の拡充

Slide 32

Slide 32 text

© 2024 Loglass Inc. 31 Devin 1.5 is live！（3/25リリース） VSCode統合により、Devin「に」開発させるのではなく、Devin「で」開発する世界 Devin Search、Wikiにより大規模なコードベースでの作業効率も向上するか Devin IDE https://docs.devin.ai/release-notes/overview#march-25%2C-2025 インタラクティブプランナー VSCode環境でDevinの変更をリアルタイムで確認し、直接IDE内で編集やテストを行えるように自然言語からターミナルコマンドの生成やDevin UI上でのローカルテスト実行初期プランをDevinが自動で生成し、ユーザーがフィードバックを与えながら進行フィードバックを待つ設定やデフォルトの待機時間の調整も可能コードベースの検索し、特定のコードや機能に関連する変更箇所の検索検索結果に基づいて Devinにコード変更を依頼することも可能複雑な質問に対応するディープモードも登場 Devin Search

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

© 2024 Loglass Inc. 35 リリース・アップデートから考えるDevinの進化個々の開発者が扱うツールとしての側面から、チーム全体やエンタープライズでの運用に対応するシステムへと進化しつつある公式HPで真っ先に紹介されている顧客の声も、Nubank社による大規模なコードリファクタリングの事例（600万行の持つ大規模なETLをサブモジュールに分割するPJ）新規プロトタイピングの高速化・自動化のみならず、「AIエンジニアをチームに雇い」、「大規模開発の生産性の向上」を目指している https://devin.ai/customers/nubank

Slide 37

Slide 37 text

© 2024 Loglass Inc. 36 （Devinではないが）AirbnbのLLMワークフローを用いたマイグレPJ 当初1.5年の見積もりを6週間で完遂 ● 4,000弱のテストをEnzymeからReact Testing Library に移行 ● AgenticなLLMワークフローを構築 ● コンテキストは10万トークン！シンプルに関連するファイル・ドキュメントは突っ込む ● 失敗したテストのリカバリープロセス含めることで75%→97%移行完了 https://medium.com/airbnb-engineering/accelerating-large-scale-test-migration-with-llms-9565c208023b

Slide 38

Slide 38 text

Slide 39

Slide 39 text

© 2024 Loglass Inc. 38 まとめ ● Devinが目指しているのは「人間のように計画し学習しながら問題を解決できるAIチームメイト」 ● 基本的には「Devinをジュニアエンジニアとして扱い、シニアエンジニアが指示とレビューを行う」 ● チームや開発組織で使うAIエージェントとして改善が行われている ● Enterprizeプランも提供されており、大規模コードリファクタリングでの活用事例が紹介（Fine-tunedされたカスタムDevinのサポートもある様子） ● プロダクト開発観点でも初期からナレッジの自動提案、プロンプトの自動改善など、Devinを開発者に上手く活用するための仕組みが考えられていて、勉強になる

Slide 40

Slide 40 text

Slide 41

Slide 41 text

© 2024 Loglass Inc. 40 Appendix ● Docs Devin ● Devin Release Note ● Cognition’s Scott Wu on how Devin, the AI software engineer, will work for you ● 月500ドルから始まる“AIチームメイト”との開発生活〜Devinとの理想の開発プロセスを求めて〜 ● Devin入門〜月500ドルから始まるAIチームメイトとの開発生活〜