AIレビュー時代に必要なのは、SLOで引く撤退ライン

Transcript

1. AI CODE REVIEW × SLO AIレビュー時代に必要なのは、 SLOで引く撤退ライン D-Plus Tokyo #26「AI時代にどう決める？スピードと質を両立する意思決定」 2026.08.26
2. INTRODUCTION 土橋 展之 Nobuyuki Tsuchihashi 株式会社ビットエー ourlyカンパニー バックエンドエンジニア インターン時代から ourly に参画 Ruby / Rails, AWS を業務で扱う #サウナ #シーシャ X: @ourly_nobuo #サッカー観戦 #ドライブ
3. 結論 今日の結論 レビューのボトルネックは、SLOで外せる。 スピードと質は、トレードオフではない。 ※ まだ思考実験です。導入も、運用の設計もこれからです。
4. 問い プロダクトの価値を高める道は、2つある 道 A 道 B 1つあたりのアウトカムを上げる 大量に作って、早く出す じっくり作り込んで、1つの当たりを大きくする 数を出して、当たりを引く回数を増やす 今日は、道 B を選べるようになったあとの話をします。
5. 現状 ソフトウェア開発は、一品生産から大量生産へ これまで いま 毎回、違うものを1つずつ作る 違うものを、大量に作れる 車輪の再発明を避けるため Claude Code などの生成AI 生成AIの進化で、ソフトウェアでも大量のアウトプットが出せるようになった。
6. 現状 出せる量は増えたのに、レビューは人間が全部見ている 人間のレビュー 捌けた分だけ進む 大量に出てくる PR ここが詰まる AIにもレビューさせている。それでも最後は人間が全部見るので、PRを捌き切れない。
7. 製造業に学ぶ 大量生産の現場は、全部を検査していない 全数検査 抜き取り検査 全部を人が見る 決めた割合だけ見る 量が増えると、成り立たない 実際の大量生産の現場はこちら 全部を見るのは、量が増えた時点で無理になる。だから一部だけ見て、あとは出荷する。
8. 製 造 業 に 学 ぶ · S LO と は 出荷したあとの結果で、ラインを止めるかを決める 不良の発生確率は 0.02% まで許容する（10万個 出荷して 20個） この「0.02%まで」が SLO ＝ Service Level Objective どこまでの失敗を許すかを、先に確率で決めておくもの 不良の発生確率 0.02% ─ 許容ライン内 不良の発生確率 0.03% ─ 許容ラインを超えた ▶ ベルトは動き続ける ▪ ベルトを止める そのまま出荷を続ける 出荷を止めて、原因を直す 検査で止めているのではない。出したあとの不良の発生確率で、ラインを止めるかを決めている。
9. 転用 ソフトウェアに持ち込むための前提は2つ 01 出したあとに、問題を検知できること – BE：立ち上げ時からテストを書いており、カバレッジは 80〜90% 程度 – FE：途中から着手のためカバレッジは低いが、手動テストで一部カバー – Sentry / Datadog / CloudWatch でエラー検知と監視を導入済み 02 問題が起きても、素早く直せること – 生成AIの進化で、本番で起きた問題の修正も速くなった ※ 障害が起きることが許されないサービスは、この話の対象外です。
10. 転用 同じ構造を、レビュープロセスに持ち込む 製造業 ソフトウェア開発 抜き取り検査 AIレビュー ＋ 人間は一部だけ見る 出荷後に見つかる不良 本番で起きる障害 ラインを止めて、原因を直す AIレビューだけの運用を止めて、人間が前工程に入る 止める基準は、一定期間に許容する障害の発生確率。これが SLO にあたる。
11. 転用 SLOの具体的な仕組み 一定の期間に許容する障害の発生確率を決めておく。その残りを追いかける。 100% り残の量容許 割らなければ、今の比重を維持 50% SLO ＝ 撤退ライン 0% 割った時点で、人間が前工程に入る 一定の計測期間 ──▶
12. 転用 止めるのは、後退ではない SLOの閾値を 超える 人間が前工程に 入る レビュープロセスを 改善する また人間を 外す 1周ごとに、AIへ任せられる範囲が広がる 緑＝AIに任せる範囲 1周目 2周目 3周目 止めたタイミングが、レビュープロセスを改善するタイミング。人間は入りっぱなしにならない。
13. まとめ 今日の結論（再掲） レビューのボトルネックは、SLOで外せる。 スピードと質は、トレードオフではない。
14. 補足 ここまでは、まだ思考実験です 抜き取る割合は、どう決めるの 障害の発生確率を、何を分母に 何を改善すれば「また任せられ が妥当か して測るか る」と言えるか まだ導入していません。この3つを懇親会で議論させてください。 X: @ourly_nobuo