AIコーディングを実践してきた1年を振り返る / Looking Back on a Year of Practicing AI Coding

本格的にAIコーディングを実践し始めてから1年以上が経過しました。目まぐるしく変化するAI活用ですが、変化したもの、していないもの、次の1年に向けて振り返ってみました。

Transcript

1. AIコーディングを実践してきた1年を 振り返る クラスメソッド株式会社 クラウド事業統括本部 サービス開発部 武⽥ 隆志
2. ⾃⼰紹介 • 武⽥ 隆志 • クラスメソッド株式会社 クラウド事業統括本部 サービス開発部 • Claude Codeを2025年6⽉から使⽤（約1年4ヵ⽉） • 最初の2⽇間で利⽤料が$80.76になり、その⽇のうちに 定額プランへ切り替え • 昨年は「実践Claude Code：20の失敗から学ぶAIペア プログラミング」で登壇 2
3. アジェンダ • • • • 1年前に話したこと 変わったもの 変わらないもの 次の1年 3
4. 1年前に話したこと 4
5. 4ヵ⽉で集めた20の失敗 803ファイルの会話ログなどから32の失敗パターンを抜き出し、20個を紹介した 分類 例 基本的な⾏動 「1ファイルずつ読んで」と頼むとgrepで済ませて 「確認しました」 コード品質とデバッグ 複数の修正を⼀度に⼊れ、どれで直ったか分からな い テストと検証 カバレッジ37.5%で「テスト完了しました！」 環境‧プロジェクト管理 ローカルでは動くがLambdaではImportError 喪失とドキュメント 知らないうちにgit stashされ、修正が消える 5
6. 当時の対処法 • 20個のうち13個の対処法が「CLAUDE.mdにルールを書く」だった • 残りは、その場で具体的に指⽰し直すか、⼈間が⽌めるか • ちなみに16番⽬は「CLAUDE.mdに書いても忘れるので、作業のたびに⾔ い直す」 昨年の結論 • メモリだけでは⾜りず、都度の指⽰がいる • Git履歴が唯⼀の保険 • ⼈間が主導する 6
7. 変わったもの 7
8. この1年で付いた名前 時期 ⾔葉 中⾝ 2025年9⽉ コンテキストエンジニアリング 限られたコンテキストに何を⼊れるか を設計する 2026年2⽉ ハーネスエンジニアリング エージェントが失敗するたび、⼆度と 起きないしくみを作る 2026年6⽉ ループエンジニアリング ⼈がプロンプトを打つ代わりに、打つ しくみを設計する 昨年話した「失敗と対処法の⼀覧」も、今の⾔葉で⾔えばハーネスエンジニアリングに⼊る 8
9. この1年に出たモデル（＊はプレビュー） ⽉ Claude 2025年10⽉ Haiku 4.5 11⽉ Opus 4.5 12⽉ 2026年2⽉ Opus 4.6、Sonnet 4.6 3⽉ 4⽉ Opus 4.7 OpenAI Gemini その他 GPT-5.1、 5.1-Codex-Max 3 Pro GPT-5.2、5.2-Codex 3 Flash DeepSeek V3.2、 Mistral Large 3 GPT-5.3-Codex 3.1 Pro Qwen3.5 GPT-5.4 Mistral Small 4 GPT-5.5 Gemma 4、Qwen3.6、 DeepSeek V4＊、 Mistral Medium 3.5 9
10. この1年に出たモデル（＊はプレビュー） ⽉ Claude OpenAI 5⽉ Opus 4.8 6⽉ Fable 5、Sonnet 5 GPT-5.6 Sol＊ 7⽉ Opus 5 GPT-5.6 Sol/Terra/Luna Fable 5.1、Opus 5.5、 Sonnet 5.5 10⽉ Haiku 5.5 その他 3.5 Flash 8⽉ 9⽉ Gemini GPT-6 Astra、GPT-6 Sol/Luna、GPT-6.1 Sol 3.6 Flash DeepSeek V4 Flash 3.7 Flash Qwen3.8、DeepSeek V4 Pro 3.8 Flash DeepSeek V4.1 Flash 4 Argon Mistral Large 4＊ 10
11. CLAUDE.mdを68%削った • • • • • • 2026年7⽉24⽇、Anthropicが「Claude Codeのシステムプロンプトを80%以上 削っても評価は落ちなかった」と公開した モデルが進歩したので削れた。前の世代の弱点を補うルールが、今の世代ではむ しろ邪魔になっていた 3⽇後に⾃分のルールの棚卸しをして、9,915バイトを3,179バイトにした ルール全体の約6割が重複‧⾃明‧古い記述だった ルールが多いこと以上に問題だったのは、存在しないAPIやパスを教えていたこ と 残したのは、そのプロジェクト固有の落とし⽳ モデルの能⼒が変わったらCLAUDE.mdを⾒直す 11
12. 削ったあとに⾜した2つの節 • 連携システムと共有するデータ‧仕様 別チームのシステムと同じ設定キーを読み書きするときの進め⽅。双⽅ が⾃分の仕様どおりでも継ぎ⽬で⽭盾が出るので、相⼿の挙動を決めつ けず確認事項として残す • ⽂章の書き⽅ コメントやPRなどの⽂章で、同じ型の⽂を繰り返さない。AIらしい⽂章 は、⼈間が読む上でノイズになる ⾜した2つはどちらも、コードではない部分 12
13. 昨年の対処法は、今どうなったか 昨年の失敗 昨年の対処 今の対処 完了と⾔ってエラーだらけ CLAUDE.mdに書き、hookでlint を強制 プロジェクトごとのhookが型 チェック‧lint‧テストを実⾏す る ルールを忘れる 作業のたびに⾔い直す いつも守らせるルールは必要なも のに絞る。⼿順はスキルに切り出 す 実在しないメソッドを使う ⼈間が公式ドキュメントで確認 型チェックとLSP、別モデルのレ ビュー コンテキストに禁⽌事項を書いてもやってしまう。昨年の時点で20個中2個は外側のしくみで対 処していて、今はそちらが主になった 13
14. bypassモードからautoモードへ • 昨年は権限確認をすべて⾶ばすbypassモードを常⽤していた。使ってい る間に、確認なしでデプロイされたり、Git操作で作業内容が消えたりし た • 2026年3⽉にautoモードが出た。1ヵ⽉様⼦を⾒て、4⽉26⽇に切り替え • 実⾏の直前に分類器が1件ずつ判定する。エージェント⾃⾝の説明は読ま ず、⾒るのはユーザーの指⽰と実⾏される中⾝だけ • 指⽰の範囲を超えた操作の17%は⾒逃すと公表している 14
15. レビュー相⼿が増えた • • • • Claudeが実装し、Claude⾃⾝がレビューし、同じ対象をCodexにもレビューさ せる 認証トークンが画⾯に出てしまう設計の⽋陥を、実装前にCodexが⾒つけた 普段から併⽤していて、特に重要な設計や影響範囲の⼤きいPRでは積極的に使っ ている 別モデルの指摘も鵜呑みにせず、実機とドキュメントで確かめる 周りのエンジニアが併⽤していたので、⾃分も始めた。Anthropicも2026年3⽉の記 事で、エージェントは⾃⼰採点が⽢いので評価役を分ける、と書いている 15
16. テストは誰が書くか 時期 状況 2025年10⽉ AIがテストに合わせて正しいコードを壊す。どちらが正しいか は⼈間が判断していた 2025年12⽉ ⾃分ではテストコードをほぼ書かなくなった 2026年7⽉ ルールの棚卸しでテストファーストの節は1⾏に縮めた。スキッ プや閾値の引き下げで通すことの禁⽌は、そのまま残した ⼈間が決めるのは、何を満たせば完了とするか 16
17. AIが読めるものが、コードの外に広がった • Google Workspace CLI（gws）やコネクタを導⼊し、Claude Codeから Driveやスプレッドシート、Slackにアクセスできるようになった • 今はGoogleドキュメントやSlackのスレッドもClaudeが直接読む。書き 込みは承認してから通す • Meetの⾃動⽂字起こしも読ませて、会議で決まったことを設計や報告書 に取り込めるようになった 昨年はSlackの内容を⾃分でコピペして渡していた 17
18. 変わらないもの 18
19. 68%削っても残ったルール 残ったルール 昨年の失敗 完了という前に定義されたチェックを実⾏する 3. 作業完了前のチェック不⾜ テストの失敗を隠す⽅向の変更をしない 12. カバレッジ妥協 デバッグは仮説を1つずつ検証する 9. ショットガンデバッグ 要求された変更と明らかに必要な変更だけ⾏う 7. シンプル作業の複雑化 テストの固定値は架空のダミー値にする — モデルが何世代か⼊れ替わってもこの5つは残しているが、今後なくなる可能性はある 19
20. ⼈間の側に残った仕事 • 何が問題なのかを⾒つける • ⽴場の違う関係者の間で落とし所を決める • 出したものの責任を取る コードを書く時間は減って、読んで判断する時間が増えた。どう書くかはほ ぼ気にしなくなり、何を変更しているか、なぜ変更する必要があるのかを⾒ ている。機能として正しいかは、今も⾃分で確かめている 20
21. 次の1年 21
22. 昨今のAIに対する⾒解 AIはモデルの進化だけでなく周辺ツールなどのスピードもとても早い。慎重 だった⼈が3ヵ⽉後には考えを変えていたり、当たった予測も起き⽅は想定 と違っていたりする • • • • 作る速さに、確かめる速さが追いつかない ⼈間に残るのは、出してよいかの判定と、その説明責任 エージェントには、迷ったら⼈に聞くことが期待されている Anthropicの社内でも、コードの8割をClaudeが書き、⼈間は全⾏を読ま ずに変更の意図を確かめる 22
23. 持ち帰ってほしい3つ • モデルが替わったら、CLAUDE.mdを削る。もうやらずに済むことは何 か、と考える • 毎回注意していたことを、しくみで防ぐ。CLAUDE.mdに残すのは判断 の原則だけ • ⼈間がボトルネックにならないためのしくみを整える ◦ レビューでは、何を、なぜ変えるのかを確かめる この先は、何を変えたかも読まなくなり、なぜ変えるのかだけが残るはず 23
25. アンケートにご協⼒お願いします！ DevIO Passから回答が可能です
26. スタンプラリーに挑戦しよう！ イベント会場（20会場）に、 QRコードが設置されております！ 全部集めて景品をGETしよう！ ※スタンプコンプリート先着10名様に 豪華景品をプレゼント！ 景品引き換え場所 ⽇⽐⾕フォートタワー26階 メイン会場 Cafe （くらにゃんブース横） 感想は ハッシュタグ #devio2026
27. 日比谷オフィス 26階 会場MAP サテライト会場 4-7階