【AI Engineering Summit 2026│JAPAN AI株式会社】「AI で実装は速くなった プロダクトは良くなっただろうか」

Transcript

1. AI ENGINEERING SUMMIT TOKYO 2026 AI で実装は速くなった プロダクトは良くなっただろうか Keiji Muraishi ／ Engineering Manager, JAPAN AI, Inc. © JAPAN AI, Inc. 01
2. Who I am Keiji Muraishi @kjim Engineering Manager, JAPAN AI Platform Engineering ／ DevEx ／ QA ／ AI Evals © JAPAN AI, Inc. 02 ~ 2014 SIer ／ Freelance Web ∕ 放送 ∕ ⾦融 ∕ リアルタイム分散コンピューティング 2014  2026 SmartNews Ads‧News のプロダクトエンジニア CAREER 2026 ~ JAPAN AI NOW DevEx ∕ QA ∕ AI Eval の仕組みづくり プロダクトの品質と開発⽣産性を⽀える 仕組みづくりを担当。
3. ABOUT © JAPAN AI, Inc. 03 ⽇本企業のための、 エンタープライズ AI エージェント。 Enterprise-grade セキュア‧権限管理‧マルチテナント 設計。本番投⼊を前提に。 Made for Japan CJK ネイティブ。 ⽇本の SaaS‧API にそのまま接続。 Every surface 70+ tools, one engine — Web‧Slack‧GitHub‧iOS‧iOS‧An droid。
4. 01 The Observation © JAPAN AI, Inc. 04
5. AI で実装は速くなった。 プロダクトは 良くなっただろうか ？ © JAPAN AI, Inc. 05
6. 実装は速くなった、が... ／ 解き⽅を誤る ／ オーバーエンジニアリング ／ 異常系に脆弱 ／ 実装だけ、テストがない 検出できるかどうかで、AI を使ったコードの品質は⼤きく左右される。 © JAPAN AI, Inc. 06
7. 誰のせいか AI のせいか。エンジニアのせいか。 これは構造的な問題。 © JAPAN AI, Inc. 07
8. A METAPHOR 乗⽤⾞を運転してきた⼈に、 フェラーリを渡したら？ 事故るのは運転⼿が下⼿だからではない。別物だからだ。 速度に対して、それをコントロールする技術が⾝についていない。 © JAPAN AI, Inc. 08
9. 02 The Problem © JAPAN AI, Inc. 09
10. AI が間違える、2 つの理由 ① コンテキスト不⾜ 必要な情報が、AI に届いていない。組織の前提や暗黙 知は、どこにも書かれていない。 © JAPAN AI, Inc. 10 → 情報の届け⽅を⼯夫すれば改善できる ② 推論の限界 確率的に出⼒する以上、ハルシネーションはゼロにな らない。完璧な⽂脈を与えても残る問題。 → モデルの進化に依存する
11. 信頼性を測る、2 つの指標 Pass@k k 回試して、1 回でも成功 「正解を出せるか」 Pass^k k 回試して、全て成功 「正解し続けられるか」 © JAPAN AI, Inc. 11
12. 問題 1 ｜ 信頼性 確率的という特性。 同じ指⽰でも、毎回同じ答えが返るとは限らない。 「正解を出せるか」と「正解し続けられるか」の間には、思った以上の開きがある。 © JAPAN AI, Inc. 12
13. 問題 2 ｜ 理解 コードは出る。 しかし、理解が追いつかない。 私たちの理解より速く、コードが出てくる。動く。テストも通る。 でも、もう誰も全体を理解していない。 © JAPAN AI, Inc. 13
14. 03 History Repeats © JAPAN AI, Inc. 14
15. 私たちは、何度もこの階段を上がってきた 01 機械語 02 アセンブリ 03 ⾼級⾔語 NEXT ？ 新しい抽象化は、最初は不信を買う。 やがてその層は当たり前になり、私たちは⼀段上で仕事をする。 © JAPAN AI, Inc. 15
16. 向き合う重⼼が、変わる 時間を使うべき重⼼が、コードそのものから、それを⽣む spec と検証する test へ移る。 © JAPAN AI, Inc. 16 コードを書く spec ∕ test を書く 同期的 ⾮同期的（エージェントに任せ、並⾏する）
17. 04 What Remains 私たちには、何が残るのか © JAPAN AI, Inc. 17
18. ボトルネックは、移動した ① 信頼性の領域 AI を 構造的に制御 ② 理解の領域 何を‧なぜ作るか ー 問題定義 © JAPAN AI, Inc. 18
19. 残るもの 1 ｜ 信頼性を、仕組みで守る 原則は「AI に正しさを期待しない」こと。⼈が決めたルールを、⾃動化が強制する。 01 書く前 ⽂脈の規律 AGENTS.md と steering インデックス で、 作業前に正規の規約を読ませる 。 推測でコードを書かせない。 02 commit 前 & CI AI による⾃⼰レビュー /cr 系レビューを PR の必須項⽬ に。 ⼈に渡す前に、 AI ⾃⾝が多視点で 検証 する。 03 継続的に 失敗モードのガード化 AI は過去の障害を知らない 。再発した 失敗を 静的チェックに固定 し、⼆度と 通らなくする。 ↻ 学習ループ インシデントを、恒久的 な「免疫」に変える 1 同じバグが再発 2 失敗モードを⾔語化 3 静的チェックに固定 4 以後、静かには通らない 免疫として恒久化し、再発をゼロへ © JAPAN AI, Inc. 19
20. 残るもの 2 ｜ 問題定義を spec で⾔語化する spec-first 何を‧なぜ‧誰のために、を徹底的に書く 人と AI と壁打ち ⼀⼈では⾒えない、多⾯的な視点を得る Direction Review 価値を判断するのは、⼈。週 2 回、意思決定の質を組織的に担保する © JAPAN AI, Inc. 20
21. AI で実装は速くなった。 プロダクトは良くなっただろうか？ © JAPAN AI, Inc. 21
22. 観察 実装は、速くなった。 エンジニアリングの本質は、 変わっていない。 速く作れるだけでは、当然良くならない。 「なぜ」に向き合う時間を増やし、 何を‧なぜ作るかに向き合い続け、信頼性の領域にアプローチするなら、良くできる。 © JAPAN AI, Inc. 22
23. Thank you. Keiji Muraishi @kjim JAPAN AI is hiring. © JAPAN AI, Inc. 23