Share
Embed
「AIで開発し、AIを届ける」をEvalでつなぐ 〜AIネイティブに始めるプロダクト開発の実践〜 / Connecting "Develop with AI, deliver AI" with Eval
AI Engineering Summit Tokyo 2026の登壇資料です。
https://ai-engineering-summit-tokyo.findy-tools.io/2026-summer
r-kagaya
June 09, 2026
Transcript
59 slides
-
From AI to AIが現実になっている AI(生成AI/LLM)は、開発工程とプロダクトの両方で前提となりつつある AIでプロダクトを作り、そのプロダクト自体もAIが搭載されるようになっている AIを使って開発する AIをプロダクトとして 届ける AIがタスクを遂行し、業務で使える出力を返す
AIプロダクト AIコーディングやAgentic Engineering まとまった作業を委任する開発形態へと進んでいる -
生成の自動化ではなく、受け入れ可能性の自動化 ソフトウェア開発サイクルの自動化(AI Software Factory)に向かう中で 人間の役割は、3E(Entry / Exit / Eval)、ループの設計に移っていく? Exit
Eval task / spec / scope / context / constraintsを 明確にし、何を任せるかを曖 昧にしない AIに課される制約条件も含む evidence / review packet / feedback routeを揃え、 何を証拠に受け入れるかを 決める acceptance contractと して、入口と出口をつなぐ判 断基準を置く Entry -
AIエンジニアリングとは何で、何から生まれた? AIエンジニアリングとは、基盤モデルを用いてアプリケーションを構築すること AI利用の民主化がもたらした新しいエンジニアリング分野 AIアプリケーション開発のハードルの低下による環境の変化が勃興の要因 基盤モデルの登場 汎用的にタスクを解ける基盤モデルの登場 インコンテキストラーニングなど、モデル自体の変更はなしに、モデルの 振る舞いを変更することが可能 Model as
a Service 一部の専門組織が開発した巨大なAIモデルを、APIを通じて誰もがサー ビスとして利用できるようになった「Model as a Service」 -
AIエンジニアリングでは何が変わる? モデル作成から始めなくて良くなったが故のサイクルや活動領域の変化 プロダクトファースト モデル構築から適応へ 評価の固有度の増加 今はモデル開発自体は行わ ずとも、先にAIアプリケー ショ開発が行える モデルの適応(アプリケー ション要件にモデルの振る舞
いを調整する)の必要性の高 まり アプリケーション固有・オー プンエンドな出力を前提とす る機会が増加。評価の独自度 も高めることに -
AIエンジニアリング ≠ プロンプトエンジニアリング 特に中心になるのはモデル適応技術と評価(Eval) モデル適応 評価 汎用的な基盤モデルを特定のアプリケー ションに”適応”させる ・コンテキストの制御 (Prompt/Context
Engineering) ・知識と行動の拡張(RAG & Agents) ・モデルの専門化(Fine-tuning) 汎用的に賢いモデルを、いかに特定のア プリケーション要件に適合させるか 「確率的で非決定的な振る舞い」を、許容 できる品質、安全性、トーン、専門性の担 保まで確認するプロセス -
Rubric / Grader / Gate / Judge / Calibrationの関係 Graderは判定シグナルを作る評価関数。Gate/Judgeはシグナルの使い方
calibrationは判断のズレを直す (ここではJudgeを、model graderそのものではなく、主にLLMを用いたレビュー役として呼んでいます) -
Own Background Coding Workflow 弊社ではClaude Agent SDK + TypeScriptで、 Agentic
Engineeringのプロセスを型化したWorkflowを内製していた (ローカル開発ではCodex/Claude Codeも利用) -
Own Background Coding Workflow 弊社ではClaude Agent SDK + TypeScriptで、 Agentic
Engineeringのプロセスを型化したWorkflowを内製していた (ローカル開発ではCodex/Claude Codeも利用) AIによるdevサーバーの立ち上げ / ブラウザ操作の機能も保持しており、 PR上で「@xxxx ブラウザQAを実行」を依頼 / PR上にスクショ添付 他開発者のPRやAI自動生成のPRに対し てもブラウザQAを自動実行もできる -
Claude Agent SDK + TypeScriptでAI開発フローをまとめる良さ コード化すると、プロセスを仕組みに埋め込める AIの作業がレビュー/評価可能な非同期プロセスになる 品質保証の組み込み 計測と改善の基盤 誰が起動しても同じプロセス
が走る 個人のAI開発への熟練度に依 存しなくなる ブラウザテスト・証跡スクショ ・動画まで完了した状態で PRが出る 不良specを早期に弾き、 Codexクロスモデルレ ビューで検証 全実行のログが取れる 設計判断・インシデント履歴 をDBに永続化させるなど、 「効いてるかわからない」を 解消する土台も組み込みや すい 再現性と属人性の排除 -
ワークフローを作るだけでは足りなかった Background Coding Workflowは今でも便利に活用中 一方で、最終的にボトルネックと感じたのはAIの成果物を受け入れるプロセス AIに深く任せる / SDLCのAutomationにはAIの成果物を受け入れる仕組み の方が重要、コーディング単体は解決されつつある 特に力を入れているのは、Browser
ProofとAI Design System Background Coding Workflowからの、切り出しを進めている -
Vibe Coding(という名称)の生みの親によるVerifiability(検証可能性) Verifiableなタスクは、最適化・自動改善の対象にしやすい • Software 1.0: 指定できることを自動化しやすい • Software 2.0:
検証できることを自動化しやすい 引用: https://karpathy.bearblog.dev/verifiability/ -
Verifiability(検証可能性)なタスクの3条件 以下3つの特性を満たせば、自動化されたフィードバックループを回せる 元はAIの学習について。参考にできる点は多々ありそう Resettable Efficient Rewardable 何度でも最初からやり直せ るか? タスクを繰り返し、初期状態 から何度もやり直せること
AIは試行錯誤を繰り返して、 フィードバックサイクルを回 せる 短時間で大量の試行ができ るか? タスクを高速に反復実行で きること。 膨大な量の練習やサイクルを 回せることが最適化の高速 化が期待できる 結果の良し悪しを自動でスコ アリングできる? タスクの結果を明確なスコア や基準で自動的に評価でき ること AIは何が良い結果かを学習 できる -
Browser Proof: 画面確認もAgentic Workflowに Browser QA Agentsで、UI変更を証拠付きで受け取る 今は第三世代への移行中 画面ベースでの動作確認をチーム全体の共通Eval /
ハーネスに 第二世代: Workflow 第三世代: Eval Harness 主にPlaywright MCPを使 い、AIがローカルブラウザ操 作と画面確認を実行 ローカル環境に依存し、チーム 運用に載せにくかった Claude Agent TypeScript SDKで Agentic Workflow化 PR上でクラウド実行を可能に したが、コストや実行効率、シ ナリオ再利用に課題 Browserbaseベース クラウド実行、録画、cache、 シナリオ管理を統合 今までの取り組みを踏まえて、 ブラウザベースでのEval Harnessに 第一世代: Local Skill -
Browser Proof: 画面確認もAgentic Workflowに Browser QA Agentsで、UI変更を証拠付きで受け取る 今は第三世代への移行中 画面ベースでの動作確認をチーム全体の共通Eval /
ハーネスに 第二世代: Workflow 第三世代: Eval Harness 主にPlaywright MCPを使 い、AIがローカルブラウザ操 作と画面確認を実行 ローカル環境に依存し、チーム 運用に載せにくかった Claude Agent TypeScript SDKで Agentic Workflow化 PR上でクラウド実行を可能に したが、コストや実行効率、シ ナリオ再利用に課題 Browserbaseベース クラウド実行、録画、cache、 シナリオ管理を統合 今までの取り組みを踏まえて、 ブラウザベースでのEval Harnessに 第一世代: Local Skill デザインレビューや操作ドキュメント生成等も 組み込んでいる途中 -
AI Design Systemは、UI生成のRubric デザインシステムは、AIに渡す部品表 + UI判断ガイドライン AI CodingやBackground Coding Workflowに投資する中で、
Gateを引くのが難しかった / 人によるブレが大きかったのがUI / Design -
改めて取り組みの中で感じたこと Background Coding Workflowによる自動PRマージ率は数十%には到達 (ライブラリアップデートや挙動の変更がない自動リファクタリング含む) 一番の要因になったのは、AIコーディングではなく、 AIブラウザQAやAIレビュー等のテスト / レビュー /
確認工程の自動化・AI化 • 重要なのはAIへの委任条件や環境、ループをどう設計するか? -
まとめ • AIに深く任せるほど、ボトルネックは「生成」から「受け入れ可能性」へ • Evalの考えは、AIプロダクトだけでなく、AI開発フローにも適用できる • 開発側では、Specで入口を揃え、Review Packet / Browser
Proofで 出口を証明する取り組みに力を入れている • それによりAIに作業を委任できる環境、ループの設計を目指す • AIに任せるとは、入口・出口・Evalからなるループを設計すること、受け入れ 可能性を設計すること