Devinで模索する AIファースト開発〜ゼロベースから始めるDevOpsの進化〜

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Copyright © SMat, Inc. All Rights Reserved Confidential Engineering Manager @ S-Mat, Inc.  業務  ・開発組織のマネージメント  ・サービスの信頼性を支えるインフラ運用  技術スタンス  ・AIとの協働による開発体験の進化  ・CursorとClineをよく使ってます  ・データエンジニアリングを基盤とした技術設計  最近書いた記事  ・SREのためのCline活用法  ・IoTの話がしたくて勉強会を開催した話  Katsunori Kanda (神田勝規)  @potix2 

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Copyright © SMat, Inc. All Rights Reserved Confidential このトークでお話すること   ● Devin導入はAIファーストな開発組織の入り口に過ぎない  ● AIの力を引き出すには、人にも優しい開発環境が必要になる  ● 開発生産性が向上すると「何を作るか」の意思決定がボトルネックになる  ● AIで生まれた“余力”をどこに再投資するかが、組織の未来を決める   

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Copyright © SMat, Inc. All Rights Reserved Confidential 主な特徴: 完全自律性 :設計、コーディング、デバッグ、テスト、デプロイを単独で完遂リアルタイムエラー修正 : エラーを即座に検出し、自動修正多様なタスク対応 : バグ修正、コード最適化、テスト作成・実行、リポジトリ管理などエンドツーエンド開発 : プロジェクトの初期構想から製品完成まで一貫して対応ツール互換性 : VSCodeなどの開発ツールと高い互換性を持ち、クラウド・ローカル環境で動作   Devinとは？     Cognition社が開発したAIソフトウェアエンジニア  https://devin.ai 

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Copyright © SMat, Inc. All Rights Reserved Confidential ● “すごい”補完機能  ● 主体はあくまで人間   ● 去年までのAI活用のイメージ  GitHub Copilotなど   生成AIコーディングエージェントの種類   ● AIがドライバー  ● 人間は助手席  ● ツールが乱立  Windsurf/Cursor/Clineなど   ● 同僚が増えるイメージ   ● 人間は指示しか出せない   ● ちょっとずつ増えている   ● タスク成功率はまだ高くない  Devin/bolt.new/replitなど   1. 補助型   2. 共創型   3. 自律型  

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Copyright © SMat, Inc. All Rights Reserved Confidential ・全社方針として生成AIにベットすることに  ・開発チームに生成AIをどのように導入するかを考え始めた  ・また、昨年からエンジニアの退職が続き、採用に苦戦しているという状況だった   ・そんな中、少数のエンジニアでDevinの評価をはじめて、Devinに可能性を感じ、本格導入を決めた  Devin導入のきっかけ   おはようございます。   エスマットの林です。   年初のAI社長の登場から始まった  HeyGenで生成されたAI社長の朝会スピーチ 

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Copyright © SMat, Inc. All Rights Reserved Confidential Devinを導入したが、十分に活用するためには環境の整備が不可欠だと判明した。オフサイトでこの課題を共有し、全員で具体的なアクションを検討した。   オフサイトでの議論：「AIを使い倒すために何をするか」     ドキュメントの整備と統合   文書が分散（Notion、GitHub）していて非効率  技術的負債の解消   人間が嵌る罠はAIも嵌る。遭遇率の高い負債は、コード生成の妨げになる。毎回同じ対応が必要に。  AI利用の運用ルール作り   Devinを過剰に使いすぎてコストが増えることを防ぐためのルール作成。    1.Devin運用ルールをまとめた  　→セキュリティ対策  　→ACU管理  　→テスト運用の方針  2.大きな技術負債は優先度をあげる  　→BFFなど共通コード  3.ドキュメント整備に注力する  　→リポジトリを作成  　→ドキュメント種類で優先付け  Devin本格活用にあたり現実的な課題を認識。開発効率を最大化するためにやるべきことを議論。   ①背景と目的  ②注目した課題  ③決定したこと 

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Copyright © SMat, Inc. All Rights Reserved Confidential わずか数ヶ月〜1年で、タスク成功率や安定生成可能なコード行数が飛躍的に向上している。   今は難しいタスクも、近い将来のモデル進化で容易に任せられるようになる可能性が高い。   AIが担当できる領域が広がることで、エンジニアの役割や業務範囲も変化する。   Claude (Anthropic)   ・約8ヶ月間（Claude 3.5 → Claude 3.7）   ・SWE-bench Verifiedが約49% → 約70%   Gemini (Google)   ・約3ヶ月  （Gemini 2.0 flash → Gemini 2.5 Pro）   ・SWE-bench Verifiedが51.8% → 63.8%   モデルの進化で、AIの適用範囲が加速度的に広がる     Claude 3.5 → 3.7 (数ヶ月間での変化)、長大なコンテキスト対応 (128Kトークン)   モデルの進化   数ヶ月で任せられる範囲が変わる   https://www.swebench.com/#verified  

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Copyright © SMat, Inc. All Rights Reserved Confidential AIがうまく動かないのは”こちら側の問題”?   エスマット技術ブログ : Devinとの日々を振り返る https://zenn.dev/smartshopping/articles/032148d8b85aac ”例えば「ログイン画面のボタンの色を変更して」と依頼するとグローバルのcssのカラー定義を変更してくるなど、目的のためなら手段を選ばないところがあります。これについてはDevinに限った話ではないですが、要件や完了条件を明確に指定してやらないと予想外の挙動を起こすことが多々あります。” 

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Copyright © SMat, Inc. All Rights Reserved Confidential AIにやらせないことを決める   ● formatter やlinter の適用など  ● ルールを作成しても必ず実行されるとは限らない   ● 確実に実行したいことはpre-commit やCIなどを駆使する  ● 仕組みで解決できることを任せるのは、トークンの無駄   Linterと戦うDevin君  

Slide 27

Slide 27 text

Copyright © SMat, Inc. All Rights Reserved Confidential ● タスクが大きいとコンテキストウィンドウから溢れる   ● どこまでを影響範囲として考えるかをAIは判断できない（フレーム問題）  ● モデルによってプロンプト解釈の傾向が違う  AIの気持ちを考える   「適切にタスク分割をして、指示は明確にするのが良い」なぜなら・・・  ⚠アップデートによって傾向は変わるので新しいモデルが出たら確認が必要  

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Copyright © SMat, Inc. All Rights Reserved Confidential PdM、エンジニア、デザイナーの協業は大事   逆に、CursorやDevinを使いこなすことで、エンジニアに聞かなくても  コード理解のヒントが得られる   生成AIツールが越境を後押しする   新しい役割のあり方：境界の再定義   本質的な価値やアウトカムに直結する意思決定だけに集中したい  

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Copyright © SMat, Inc. All Rights Reserved Confidential ・作るスピードが圧倒的に上がった   ・試作や検証が簡単にできるようになった   ・機能を「作ること」自体の価値が下がった   ・選択肢が増え、“何を作るか”の判断がより難しくなった  ・価値を見極めて、優先順位を正しくつける力   ・小さく試して、学びを得ながら進める姿勢   ・顧客と対話しながら、柔軟に方向を変える力   ・アウトカム（成果）を中心に考えるチーム文化     生成AI時代に、アジャイルの本質が問われている   生成AIによって変わったこと   今、開発に求められていること  

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Copyright © SMat, Inc. All Rights Reserved Confidential AI活用状況の可視化   ・組織内でのAI導入の進捗   ・GitHub共作者コミットなどを活用   （Co-Authored-By）   ・AIシフトが完了すれば重要度は低下   アウトカム指標   ・顧客満足度、機能定着率など   ・利用継続率、NPSなど   AI利用効率の指標   ・AI利用コストに対して、実際に得られた顧客価値の比率を測定  ・AIが大量ゴミ生成器になっていないか？   アウトカムを出すために、『何を測るか』も再定義する   過渡期にはAI活用状況も必要だが、長期的には『アウトカムに直結する指標』に集中   過渡期に追いかけるべきメトリクス   長期的に追い続けるべきメトリクス  

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Copyright © SMat, Inc. All Rights Reserved Confidential 余力の再投資は『複利』で効いてくる   『今の価値を高める』ためだけに使うのではなく、『将来の生産性を飛躍的に高める』ために再投資することが重要  『未来の生産性』へ再投資することで、   複利的な成長を狙える   『組織の生産性向上』に一定割合を投資する   技術的負債の解消、開発基盤の改善、ナレッジ共有に戦略的に配分   生成AIによって、少人数チームでも   余力を生み出せる 

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Copyright © SMat, Inc. All Rights Reserved Confidential テンプレートリポジトリの整備   ・開発ガイドラインを自然に遵守できる仕組み作り  ・開発初期の心理的負荷を減らす   ・0→1開発の増加を見越して     テストデータ生成MCP   ・地味に面倒な繰り返し作業を自動化  具体的な再投資チャレンジ   大きめの技術負債を返す   ・大きな落とし穴を埋める   ・AIも人間も生産性があがる   ・アキレス腱を見極めて実施   インナーソース活動の推進   ・個人やチームの改善ノウハウを共有し、組織全体で「巨人の肩に乗る」文化を形成するチャレンジ中  他部署の生成AI活用サポート   ・社内コンペを開催  ・生成AI技術の実践的な習得も兼ねてチャレンジ  3つの基準を踏まえて、次のような取り組みに挑戦している   🔄繰り返し価値を生む基盤作り   🎯課題解決に直結する品質向上   🌊改善を全体波及させる活動 

Slide 44

Slide 44 text

Copyright © SMat, Inc. All Rights Reserved Confidential なぜ今、『インナーソース』なのか？   改善の『波及効果』をもっとも効率的に生み出す活動   ① 個人の改善が、全体の改善へ   ② チーム間の協力とナレッジ共有促進  ③ 改善が『複利的』に加速   チームで生まれたツールや改善案をオープンに共有  無駄な再発明を防ぐ  一度共有された改善が、次々と新たな改善を生む  改善活動が日常の一部になる  他のチームの『肩に乗る』ことで効率よく前進  信頼感や協調性が高まる  https://innersourcecommons.org/ja/

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Copyright © SMat, Inc. All Rights Reserved Confidential まとめ  ①Devin導入は『AIファースト』への入り口   ②AI活用には『環境』が決定的に重要   ③開発生産性向上で『何を作るか』が焦点に   ④余力の再投資が『文化の変化』を生む   AIを使うこと自体が目的ではなく、そこから始まる組織変化が重要。  人にもAIにも優しい開発環境の整備が、AIの力を最大限に引き出す。  開発速度よりも、  『作るものの価値判断』がボトルネックになる。  改善を繰り返すことで、組織の文化自体が進化する可能性がある。 

Slide 48

Slide 48 text

Copyright © SMat, Inc. All Rights Reserved Confidential 私たちが得たリアルな気づき   AI導入  開発環境の進化  開発速度アップ  余力の再投資  👁課題が見えた  🏃後回しだったドキュメントやルールが、いま進化中  ⚖『何を作るか』が  問われ始めた  🌱 組織の文化が動き始めた  しかし、まだ次のステップに進むためには、解決しなければならない重要な課題が残っている  

Slide 49

Slide 49 text

Copyright © SMat, Inc. All Rights Reserved Confidential 🔴 既存コードへの AI適用が難しい理由・コードが巨大で複雑（情報量の壁）・技術的負債によるコードの曖昧さ（論理の壁）・コード分割手法が未確立（方法論の壁）   『既存コードへのAI適用』という次の課題   🟢 モデル進化が解決の可能性を示す・AIモデルの理解力が劇的に進化（ 128k トークンなど長大コンテキスト）・コードのリファクタリングや解説能力が向上中・分割・抽象化の AI支援技術が現実的に進歩中   🚀 私たちは既に準備を始めている・AIの進化を見越し、人間と AIが協働できるようコード整理を実施・今後のモデル進化を踏まえ、段階的な解決を目指す   既存コードへの適用には課題が多いが、モデルの進化で解決可能になる兆しがある。   私たちはこの課題に向き合い、解決への道筋を模索しています。しかし、同じような課題はおそらく皆さんの組織にもあるはずです。ここから先は、皆さん自身の組織の話として考えていただきたいと思います。

Slide 50

Slide 50 text

Slide 51

Slide 51 text