無理なく普通にDevinくんを追い込んで自動テストを整備した話.pdf

等身大で語り合おう！最近取り組んでいるAIの活用法LT会【D-Plus Osaka #6】のLTの発表資料です。
https://d-plus.connpass.com/event/375820/

X
https://x.com/gengenmusic0719
lit.link
https://lit.link/gengen0719

Transcript

1. 無理なく普通に Devinくんを追い込んで ⾃動テストを整備した話 2026.02.26
2. げんげん @gengenmusic0719 奈良県に住むテストと設計が好きなアプリエンジニア お仕事 20年ものの基幹業務システムの保守開発チームの マネージャー → 昨年7⽉からマネージャーをやめて 新プロダクトの開発中 好きな技術トピック Java、AWS、設計、テスト、CICD、Serverless https://lit.link/gengen0719
3. Devinとは？ 完全⾃⽴型のコーディングエージェント チャットやSlackで指⽰した内容に対して ⾃⾝の開発環境で作業をしてPRを作成してくれる チームになんでもお願いできるエンジニアが ジョインしてくれるような感覚
4. 新チームの構成 マネージャーと私の２⼈チーム ⼈は増やせないけどDevinはどんどん使って良いよ と⾔われたので Devinくんをフル活⽤して開発を進めた
5. 新プロダクト⽴ち上げ時の意気込み 「このプロダクトの価値を届けたい」 という気持ちに加えて、このプロダクトの開発環境を 「⾃動テストが整備された世界にするぞ」 という気持ちが強くあった
6. ⾃動テストで品質保証が ほぼできている状態を⽬指す
7. TDDで積み上げていくテストと 品質を保証するためのテストは違う
8. TDDで積み上げていくテスト（特に開発初期に積み上げるテスト） 着実な⾃信を積み上げ⾼速に内部品質の⾼い アプリケーションを作るためのテスト - 振る舞いを定義できる箇所に書くことが⼤事 - 今扱っている振る舞いに集中 - ⾃分たちのためのもの - 開発者にとって呼吸
9. 品質保証のためのテスト アプリケーションが仕様や要件を満たし、 外部品質に問題がないことを確認するためのテスト - 品質保証ができる箇所に書くことが⼤事 - 全体を⾒渡してバランスも⾒る - 外に向けたもの - ⼀回⽴ち⽌まって考える
10. 品質保証のためのテストを⾃動化する難しさ 品質保証のためのテストは プロセス品質に関わり顧客への説明責任が⽣じる ⼀つ⼀つ説明できるテストを設計する必要がある 素朴に開発していくだけではできない - 分岐網羅以上のケースが必要なことも多い - 結合テストが必要なケースも多い
11. 品質保証のためのテストを⾃動化する難しさ 追加で品質保証のテストを書く必要がある ＝作業量が増える さらに書き直す際の修正量も多くなる ＝メンテナンスコストが⾼い それでも実現できるとうまみが⼤きい 覚悟を決めてやる！
12. Devinくんを超こき使いました
13. どうやったのか？（難しいことは何もしていない……） - １ケースお⼿本として実装する - 新しいケースのマトリクス表を書いて渡す お⼿本のケースはこれだよ 因⼦と⽔準はこれで（プロンプトにマトリクス表をペター） で普通にできる
14. 設計から書かせるはほとんどやってない - 正確な指⽰を⽇本語で書くよりもお⼿本の コードを書く⽅が楽 好みじゃない実装とかもあるので 真似してもらう⽅が⾃分好みの実装にもなる - 変に因⼦とか⽔準を考えさせるよりも指⽰し て間違ってないか確認する⽅が楽 少なくとも今はまだ
15. ⾃動テストを整備したことで - Devinくんに機能追加を依頼しやすくなった XXに新しい項⽬を追加して 実装やテストは既存のものを参考にしてね これぐらいの指⽰ + テスト追加や修正依頼ぐらいで⼤体仕上がる テストが通っていることで確認もしやすい - 開発が早くなった - 体感２倍以上ぐらいアウトプットは出ている - リファクタリング以外でコードはほとんど書いていない - 過去90⽇間で 300 PR 作ってもらっていました
16. ⾃動テストの整備はAI協働において超重要 - AIの修正に対するガードレール 動作が担保できている安⼼感 - 動作仕様 as Code の強⼒なinstruction テストコードの記述内容に加えて 実⾏時のエラー出⼒などもinstructionとして作⽤する ⾃動テストが整えば正のループが回りだす！
17. おわり