CursorとDevinが仲間！？AI駆動で新規プロダクト開発に挑んだ３ヶ月を振り返る / A Story of New Product Development with Cursor and Devin

by r-kagaya

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© 2024 Loglass Inc. 6 「私たちが知っているプログラミングの終焉」 https://www.oreilly.com/radar/the-end-of-programming-as-we-know-it/ There’s a lot of chatter in the media that software developers will soon lose their jobs to AI. I don’t buy it. It is not the end of programming. It is the end of programming as we know it today. 訳）メディアでは、ソフトウェア開発者がすぐにAIに仕事を奪われるという噂が広まっています。私はこれを信じません。これはプログラミングの終わりではありません。現在知られている形でのプログラミングの終わりなのです。

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© 2024 Loglass Inc. 11 当時の私（12月〜1月時点） AIコード生成に一定慣れてはいたが...？ ● 数年前からGithub Copilotはヘビーユーザー ● Cursorは割と使っていた（2023年からだった様子） ○ とはいえ個人開発や小さめなプロジェクト利用のみ ○ サーバーサイドKotlin問題もあり、ログラスで顧客提供プロダクトでの開発には利用していなかった ● Devinは12月にPoCのための契約をもらい、年末に遊び倒していた

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© 2024 Loglass Inc. 17 当時考えていたこと生産性を上げるには?（NOT MECE） ● 自分がコードを「たくさん書ける」ようにする ○ 単位時間あたりの生産性を上げる ○ 開発してる時間を増やす ● 自分がコードを「書かなくても済む」ようにする ○ AIに生産させる自分の生産性を上げる、自分が生産してる時間を増やす、AIが生産できるようにする on Cursorでのナレッジ/ルール、ドキュメント管理・検索の工夫が大部分（時間の問題で触れられず）

Slide 19

Slide 19 text

© 2024 Loglass Inc. 18 当時考えていたこと生産性を上げるには?（NOT MECE） ● 自分がコードを「たくさん書ける」ようにする ○ 単位時間あたりの生産性を上げる ○ 開発してる時間を増やす ● 自分がコードを「書かなくても済む」ようにする ○ AIに生産させる自分の生産性を上げる、自分が生産してる時間を増やす、AIが生産できるようにする実際には開発チーム人員の増加もHowだが AI駆動開発ではないので本スライドでは割愛

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© 2024 Loglass Inc. 22 発想の元) AirbnbのLLMワークフローを用いたマイグレPJ 当初1.5年の見積もりを6週間で完遂 ● 4,000弱のテストをEnzymeからReact Testing Library に移行 ● AgenticなLLMワークフローを構築 ● コンテキストは10万トークン！シンプルに関連するファイル・ドキュメントは突っ込む ● 失敗したテストのリカバリープロセス含めることで75%→97%移行完了 https://medium.com/airbnb-engineering/accelerating-large-scale-test-migration-with-llms-9565c208023b

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

© 2024 Loglass Inc. 26 文言変更/小さなUI改善の自動化細かな文言変更等の修正は、Slackで変更内容を書いて特定スタンプを押下したらPRが作成可能 PdMが文言や細かいUI修正を行えるようになった（レビューはエンジニアだが、間接的にPdMが出したPRマージもできるように） PdMが文言や細かいUI修正を行えるようになった（レビューはエンジニアだが、間接的にPdMが出したPR マージもできるように） PdMが自らフォームに補足文言を追加するなど

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

© 2024 Loglass Inc. 35 ③AIが割れ窓の拡散器・ブースターに ● AIが比較的苦手 / やりがちなコードがある ○ e.g. 〇〇Serviceの乱用、Exceptionの握り潰し ● 初期は調子に乗って、ひたすらバイブでコーディングしてた ○ イケてないコードをAIが生成して、それを真似して、AIがさらにコードを生成する ○ 人間がリファクタするスピードは追いつけないコード品質の担保の重要性が身に染みた。そこからはリファクタにAIを活用するように

Slide 37

Slide 37 text

© 2024 Loglass Inc. 36 ④要件定義やレビュー、品質保証がボトルネックに DevinもガンガンPRを出してくる AIがコードを量産すればするほど、それを検証する人間の作業が追いつかなくなる ● コード/PR量やスピードが早くなった結果、シンプルにPRを捌くのも、それらを認知し続けることが辛くなった要求/要件定義・デザインFixもボトルネックになりがちだったコーディングの前後工程もアップデートしないと、ボトルネックが別に移るのみ

Slide 38

Slide 38 text

Slide 39

Slide 39 text

© 2024 Loglass Inc. 38 基本的にはWith AIなしでの開発には戻れない・戻らない AI駆動開発・ Vibe Codingは ”底なし沼”な体験反復的タスクからの解放 PoCや新領域に挑戦する際のハードル低下 ● コードの生成量・スピードが向上しすぎて、爽快感がすごい ● 大半のコードは初手はAI Generated（レビューや手直しはしてる） • 新しい技術やライブラリに取り組むハードルが大いに下がった。コードリーディングも • 試すことのコストが低下 • AIが十分に知っていることに人間は敵わない ● テストコード量産/カバレッジ上げ、定型的な実装などはAIの恩恵を大いに受けた ● 既存コードを参考にした賢いボイラーテンプレート生成（e.g. 新規エンドポイントの一連のコードを生成）

Slide 40

Slide 40 text

Slide 41

Slide 41 text

© 2024 Loglass Inc. 40 今改めてプロジェクトを始めるなら何をするか？（一例）社内全体でドキュメント管理も含めたモノレポに向かう流れ一方、大規模コードでの活用ハードルを踏まえると、ドラスティックに小さな単位にする選択肢は？ AI Dev Exへの投資 AIフレンドリーなアーキテクチャ Rulesの定義・整備から、今だとMCPフル活用も視野に例：共通ライブラリの利用ガイド、コーディング規約 for AI プレーンテキスト・検索性の重要度「AIのための仕様書」完全情報ゲームを目指す新たなボトルネックへの備え AIリーダブルなドキュメンテーション設計/要件定義、品質保証やレビューがボトルネックコーディングだけ爆速になってもどこかで詰まる

Slide 42

Slide 42 text

Slide 43

Slide 43 text

© 2024 Loglass Inc. 42 コードが育つほど手がかかる？前述の対談記事でも新規コードより、既存コードの方が活用できていないと言及「新規のコード生成がかなり実用的なレベルになっているのに対して、既存コードの書き直しにはまだ十分な効果を発揮できていないという見解を明らかにした。」とはいえお手本コードがあれば、それに近いコードは生成できる AIリーダブル・アクセシビリティを担保、コンテキストとして渡せるなら、むしろ参照情報が増えるのでやりやすい側面はあった https://news.mynavi.jp/techplus/article/20250507-3271749/

Slide 44

Slide 44 text

© 2024 Loglass Inc. 43 ● コードを書くのはAIかもしれない。しかし、そのコードの責任は人間が負う ● プロダクトへの情熱、品質へのこだわり、そして最終的な意思決定 AI駆動開発の時代に向けて AIにオーナーシップで負けない AI時代のToBeの言語化ガードレール・評価を絡めた継続改善 AIが保持しないドメイン知識・コンテキストを与える専門家に ● まだAIは我々が本当に知ってほしいドメイン知識やコンテキストを知らない ● ドメイン理解やモデリング、それらを AIに渡すことが重要な役割に？ ● AIに何かを語るに足る専門家になる ● AIのためのアーキテクチャ・プロセス設計 ● AI時代の「今と未来」を言語化する。ガードレールと評価で進化を促す

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

© 2024 Loglass Inc. 47 まとめ ● とにかく自分で手を動かす / 試してみるが正義 ○ 「〇〇できないかなぁ」を思ったら、実際にやってみる ● 今のやり方を日々疑う / 定期的に見直す ○ モデルの性能は日進月歩、３ヶ月前はできなくても今なら？がありえる ● AIは人間より圧倒的に早くコーディングが可能、長期的にはその物量を前提とした世界になる ● このトレンドを楽しんで探求できるなら最高の時代

Slide 49

Slide 49 text