[DevinMeetupTokyo2025] コード書かせないDevinの使い方

Transcript

1. コードを書かせないDevinの使い⽅ Devin Meetup Tokyo yoshi
2. Tailor株式会社CTO室にて、LLM関連の導⼊およびアプ リケーション開発を進めています。 • x: @takuumi7 • SWE at Tailor Inc. • このslide は @k1low/deck によって作成されて います。 ⾃⼰紹介 2 yoshi 吉川匠
3. • DevinにCoding全部させるの難しいし、それならEditorで動かしやすいやつ使いませんか？ ◦ Treat Devin like a junior engineer. Assign Devin tasks a junior engineer or intern could figure out if provided with sufficient, clear instructions. • それでもTailorではDevinを導⼊しています! Agenda 3
4. • GitHub & Slack統合 ◦ GUIから簡単に接続可能 • @Devin メンション ◦ 登録したrepoを検索して質問 ◦ タスク依頼を⾏うことができる features 4 Slack Integration Devinの主要機能
5. • indexされたrepoについてLLMに質問可能 • ACU（従量課⾦）の対象外 • ⾮常にコストパフォーマンスが⾼い features 5 repositoryとのChat機能 Ask Devin機能
6. 1. LLMホスティング環境が不要 2. 基盤モデルのバージョン追従はDevinがやってくれる 3. repoの検索機能を⾃前で⽤意する必要がない 4. slack appを⾃作する必要がない -> 社内のコンテキストをLLMに渡すことで何かしらの業務効率化ができないかを検討するときに最適！ 逆にengineerが実際にコードを書く際は、Claude CodeなどよりCodingに特化したものを利⽤する⽅が現時点で はいい。 なぜ嬉しいか features 6 お⼿軽slack連携とcode検索機能つきLLM runtime
7. 7 実際のユースケース
8. Tailorのスキーマを宣⾔すると、バックエンドアプリ ケーションに必要なものが利⽤可能なPaaS • DB • 認証 • GraphQL endpointの⽣成 ... Premise 8 Headless ERP Platform TailorのProduct概要
9. • Tailor Platform上にapplyできるERPアプリケー ションのベースを提供 • 顧客のシステム要件に合わせたカスタマイズを⾏ うProfessional Service部隊が存在 • 主に⽶国‧⽇本で展開 Premise 9 Professional Service Tailorのビジネスモデル
10. 10 実際のユースケース: Documentation
11. • TailorはPaaS基盤を提供 → PublicなDocumentationが存在 • 開発者は主に⽇本（⽇本語話者が多い） • Technical Writerはアメリカに存在 • 時差も含めて、developerとtechnical writerとのコミュニケーションが課題 Document Workflow Cases: Documentation 11 課題：時差とコミュニケーション
12. • Documentの素案をDevinに書かせる • Engineer：技術的な整合性に責任を負う • Technical Writer：Docs全体の構成に責任を持つ • 両者の間に落ちがちな責任の曖昧な部分をDevinが勝⼿にやって、それぞれに回答を求める → 両者が対応可能なレベルの負荷に下げる 何をしたか Cases: Documentation 12 Devinによる責任の橋渡し
13. • TicketをGitHub Issueで管理 • Epicにつき、Docs issueを切る • Docs Issueに変更内容のsummaryを書く • /create-docs API経由でsessionが実⾏される 実現⽅法 Cases: Documentation 13 GitHub Issue連携
14. アプリケーションをTailor上で作っているときに直⾯したFBなどは： • Slack経由で @Devin を呼び出し • 変更して欲しい内容をDocumentに反映 成果 • 運⽤前4ヶ⽉で45PR • 運⽤後4ヶ⽉で58PR • 28%程度ドキュメント更新量が増加（PRベース） 実現⽅法 Cases: Documentation 14 細かい修正はSlackから
15. ⾯倒なこともやりやすい Cases: Documentation 15 表記揺れの解消
16. アイディア • PaaSという性質上、Devinがドキュメントを読んで求める変更ができるかは重要 • Devinにdocumentとscenarioを与えて、タスクを解けるかテスト 結果 • scenarioを考える負荷が⼤きい • 評価が複雑で運⽤には乗らなかった その他の試み Cases: Documentation 16 Documentのscenario test
17. • Slackでエンジニア間で質問が出た際 @Devin でそのやりとりを貼り付けrepositoryのcode comment や、docsを変更させる ⚠ 会話の途中で@Devinをしてしまうととんでもないことになるので注意 その他の試み Cases: Documentation 17 社内ドキュメントの更新
18. • Knowledgeをメンテするのも⾯倒なので、あまり管理したくないのだが、draft PRを作ってもらうのは⼊ れてよかった。 Tips Cases: Documentation 18 Draft PRで作ってもらう
19. • newmoさんのブログでも取り上げられた問題 • DevinがPRを作ると作成者がreviewerに⼊りself-mergeできる • Devin経由であることがわかる⽅が良いと判断して、作成者の権限でPRを作ることはしなかった • CODE_OWNERのreviewを必須に設定することである程度担保 Tips Cases: Documentation 19 Review self-merge問題
20. 20 実際のユースケース: Onboarding
21. LLMにrepoを横断してcontextを渡すことで • エラーログを渡した際のreporting能⼒が格段に向上 例えば • infraとplatformのrepoを跨いで検索 • 本番とlocalの環境変数の違いなどがcore committer以外でも分かる Repoへの質問 Cases: Onboarding 21 AskDevin で repo を跨いで質問ができる
22. 課題 • 顧客向けアプリケーションのためのGitHub repoなどはTerraformで管理 • SREチームの管理範囲だが、全ての構築のヒアリングは負荷が⼤きい 対応 • 「こういうの作りたい」をDevinに質問 • どのように変更すれば良いかを教えてくれる • 具体的な変更ポイントまで指定して回答 • アプリケーション開発側でPRをあげることが可能に • SREチームはPRのreviewを⾏うだけ → 申請して何営業⽇というコミュニケーションになりがちなフローもコミュニケーションコスト削減 IaC Cases: Onboarding 22 IaCの設定⽅法の説明を減らす
23. • Tailorはproductの性質上、かなりdeveloperに寄った商品構成 • PM/Sales/Consultantは顧客と対話するときにERP template applicationの構成理解が重要 • 時差やremote環境でdeveloperに直接質問するハードルは⾼かった Developer寄りProductの課題 Cases: Onboarding 23 OnboardingはPM/Sales/Consultantにも
24. • 既存のアプリケーションの仕様を直接repositoryに聞ける • 営業ストーリーを練る上でも、Consultantが顧客要件に対するカスタマイズを整理する上でも、PMが新規 プロダクトの戦略を練る上でも役にたつ 実際に、 • 私がDevinを導⼊し始めた時、⼀番最初に権限をつけてくれと⾔ってきたのはVP of Sales • ユーザー数課⾦でないメリットは⾮常に⼤きい Developer寄りProductの課題 Cases: Onboarding 24 OnboardingはPM/Sales/Consultantにも
25. • 広くDevinを配る上で権限管理は問題 • Devin Enterpriseを利⽤すれば詳細な権限管理は可能 • Tailorではまだ導⼊の意思決定はしていない Tips Cases: Onboarding 25 権限管理
26. • TailorではGitHubのOrgが複数存在 • Org levelで⼤まかに権限範囲が異なる構成 • Devinを複数Org契約し、権限範囲によってアクセスできるOrgを分ける Tips Cases: Onboarding 26 Org単位での権限分離
27. • GitHub appやSlack appは名前が単⼀ • 複数のorg/tenantに複数のDevinをintegrationすることはできない 不便な点 Cases: Onboarding 27 複数Org運⽤の課題
28. 28 実際のユースケース: 便利ツールを配る
29. MCP連携がリリースされた！🎉 ⼀昨⽇リリースされてほやほや
31. 1. LLMをホスティングせずに社内MCP toolを配れる 2. Slack appを作ることなく社内MCP toolを配れる 3. SaaS各社のFirst PartyやThird PartyのMCPをワンクリックで使える MCP連携の嬉しいポイント Cases: 便利ツールを配る 31 3つのメリット
32. • 早速Datadog MCPを登録 • SREの特定の⽅に負荷が寄りがちだったため、LLM経由で調査の裾野が広がることを期待 結果 • queryの組み⽴てや調査の遂⾏能⼒がzero configではうまくいかず • 調査のpatternをknowledgeとして登録できると、うまくいくことも期待できるかも Datadog MCPを使ってみた Cases: 便利ツールを配る 32
33. • Devinはお⼿軽slack連携とcode検索機能つきLLM runtimeくん • コミュニケーションコストの⾼いタスクの負荷軽減や新規参画者の情報格差の解消に威⼒を発揮 • 社内向けのtoolのserve先としても有望 まとめ 33
34. 34 わたしたちは、"Empower every company to deploy any ideas (誰もがデプロイできる社会を創る)" というミッ ションのもと、誰しもがプロダクト開発の担い⼿になることができる社会の実現を⽬指しています。ミッション の実現に向けて、共に挑戦する仲間を募集しています。 https://careers.tailor.tech/ 共に働く仲間を募集しています