Context is King？ 〜Verifiability時代とコンテキスト設計 / Beyond "Context is King"

2025/12/11(木)開催の、「成果に繋がる AI エージェント活用の第一歩 - AI 猛者たちが実践する "コンテキスト設計術"」の登壇スライドです。
https://explaza.connpass.com/event/376388/

Transcript

1. Context is King？ 〜Verifiability時代とコンテキスト設計 2025年12月11日 Asterminds株式会社 r.kagaya 成果に繋がる AI エージェント活用の第一歩 - AI 猛者たちが実践する "コンテキスト設計術"
2. 2022年に株式会社ログラスに入社 経営管理SaaSの開発、開発生産性向上に取り組んだのち、 生成AI/LLMチームを立ち上げ、新規AIプロダクトの立ち 上げに従事、その後、25年8月に独立・現職 翻訳を担当したAIエンジニアリングが オライリージャパンより出版 Asterminds（アスターマインズ）株式会社 共同創業者・CTO r.kagaya(@ry0_kaga) 自己紹介
3. 今日の内容 • コンテキストエンジニアリングやコンテキスト管理のために、どういう観点が 必要そうか？などを話します • 個人での活用だけでなく、組織として管理する際の観点も含まれます • 色んなコンテキストが登場します.. • 具体的なツールの細かいTipsよりは、全体の設計や考え方よりの話です 広くみれば、コンテキスト設計の話になっています..！
4. Verifiability is King？ 

5. その前に
6. Context is King？
7. コンテキストは王様か？ コンテキストの重要性は言わずもがな 数年前のPrompt Engineeringは、Context Engineeringに拡張された （プロダクト・エージェント開発において顕著、プロンプトレベルの最適化とシステ ムレベルの設計最適化） AI活用においてもコンテキストをどう蓄積するか？加工するか？活用するか？は 最重要な観点 組織での利用やAI Opsを考えると尚更
8. LangChainのコンテキストエンジニアリング手法の分類例 分類の一つ（書き込み、選択、圧縮、分割） AI活用におけるコンテキスト活用Tipsもどれかに分類されるものが多い（印象）
9. 一方で、コンテキストは 多ければ多い方が良いのか？
10. 「パーソナルデータは新しい時代の石油か？」 表現の元となった世界経済フォーラムレポート作成に関わった著者ブログから一部 改変の上引用 > パーソナルデータは21世紀の石油という比喩は、石油（精製済みで価値あるも の）ではなく、原油と捉えるべきである。 ただ集めるだけではなく、加工・分析して初めて意味を持つものであり、持つこと自 体にもリスクがある 引用: https://www.sakimura.org/2020/05/4637/
11. Context is not always King コンテキストウィンドウも増加し、ロングコンテキストのタスク性能も向上している とは言え、一定のコンテキスト劣化（Context Rot）、アテンションバジェットは存在 コンテキストも、「過ぎたるは及ばざるが如し」 Lost in the Middle needle hey stack プロンプトの「真ん中」にある情報を 見落としやすい傾向 大量のコンテキストになるにつれ て、特定の情報を参照する能力は低 下する傾向
12. 優れたコンテキストエンジニアリングは、 最小のコスト（トークン数）で、最大の成果or目的とする結 果を引き出すコンテキストを設計すること
13. 具体的には何をしたら良いのか？ （自分も知りたい..）
14. 考えている・取り組んでいる 内容のご紹介
15. コンテキストエンジニアリングの実践
16. 最近考えていること いかにコンテキストを自然に蓄積・加工するか、Verifiableにできるか？ 収集と加工の Ambient 人間が意識しなくてもコンテキストが貯まる・加工されていくプロ セスをいかに作るか？ 人間の主体的なトリガーなしにも作動する Verifiabilityの担保 全てのタスクは、Verifiabilityが担保されている限りにおいて は自動化ができうる ではVerifiabilityをどう担保する？
17. どういうコンテキスト管理・エンジニアリングができれば良いのか？ AI活用のためのコンテキスト管理で大事だと思っていること4選 収集-加工-更新-利用のサイクル全てで頑張れる余地がありそう 収集のAmbient化 タスク特性による加工 Contextのデトックス 人間が意識的に貯める 以外で、業務の中で自 然に収集される仕組み を作る 議事録の自動格納か ら、Slackメッセージ の自動収集とかも？ 収集されたコンテキス トを、自社や自身のタ スクで効果的に使える 形に加工する e.g. メタデータ付与、 一定のルールで抽出・ 分離・圧縮する 古い/重複した情報が AIの判断を惑わせる のを防ぐ 言うは易し HookやActionsで 知識の自動更新などは 始めやすい 検索性能！ 必要な時に、必要な高 信号なコンテキストだ けを取得できるように 必要な時に引き出せな ければ、存在しないの と同じ
18. どういうコンテキスト管理・エンジニアリングができれば良いのか？ AI活用のためのコンテキスト管理で大事だと思っていること4選 収集-加工-更新-利用のサイクル全てで頑張れる余地がありそう 収集のAmbient化 タスク特性による加工 Contextのデトックス 人間が意識的に貯める 以外で、業務の中で自 然に収集される仕組み を作る 議事録の自動格納か ら、Slackメッセージ の自動収集とかも？ 収集されたコンテキス トを、自社や自身のタ スクで効果的に使える 形に加工する e.g. メタデータ付与、 一定のルールで抽出・ 分離・圧縮する 古い/重複した情報が AIの判断を惑わせる のを防ぐ 言うは易し HookやActionsで 知識の自動更新などは 始めやすい 検索性能！ 必要な時に、必要な高 信号なコンテキストだ けを取得できるように 必要な時に引き出せな ければ、存在しないの と同じ
19. どういうコンテキスト管理・エンジニアリングができれば良いのか？ AI活用のためのコンテキスト管理で大事だと感じるポイントの例 収集-加工-更新-利用のサイクル全てで頑張れる余地がある 収集のAmbient化 タスク特性による加工 Contextのデトックス 人間が意識的に貯める 以外で、業務の中で自 然に収集される仕組み を作る 議事録の自動格納か ら、Slackメッセージ の自動収集とかも？ 収集されたコンテキス トを、自社や自身のタ スクで効果的に使える 形に加工する e.g. メタデータ付与、 一定のルールで抽出・ 分離・圧縮する 古い/重複した情報が AIの判断を惑わせる のを防ぐ 言うは易し... HookやActionsで 知識の自動更新などは 始めやすい 検索性能！ 必要な時に、必要な高 信号なコンテキストだ けを取得できるように 必要な時に引き出せな ければ、存在しないの と同じ
20. どういうコンテキスト管理・エンジニアリングができれば良いのか？ AI活用のためのコンテキスト管理で大事だと感じるポイントの例 収集-加工-更新-利用のサイクル全てで頑張れる余地がある 収集のAmbient化 タスク特性による加工 Contextのデトックス 人間が意識的に貯める 以外で、業務の中で自 然に収集される仕組み を作る 議事録の自動格納か ら、Slackメッセージ の自動収集とかも？ 収集されたコンテキス トを、自社や自身のタ スクで効果的に使える 形に加工する e.g. メタデータ付与、 一定のルールで抽出・ 分離・圧縮する 古い/重複した情報が AIの判断を惑わせる のを防ぐ 言うは易し... HookやActionsで 知識の自動更新などは 始めやすい 検索性能！ 必要な時に、必要な高 信号なコンテキストだ けを取得できるように 必要な時に引き出せな ければ、存在しないの と同じ 言うは易しだが、秘匿情報の管理やノイズとな る情報が含まれる可能性もある
21. どういうコンテキスト管理・エンジニアリングができれば良いのか？ AI活用のためのコンテキスト管理で大事だと感じるポイントの例 収集-加工-更新-利用のサイクル全てで頑張れる余地がある 収集のAmbient化 タスク特性による加工 Contextのデトックス 人間が意識的に貯める 以外で、業務の中で自 然に収集される仕組み を作る 議事録の自動格納か ら、Slackメッセージ の自動収集とかも？ 収集されたコンテキス トを、自社や自身のタ スクで効果的に使える 形に加工する e.g. メタデータ付与、 一定のルールで抽出・ 分離・圧縮する 古い/重複した情報が AIの判断を惑わせる のを防ぐ 言うは易し... HookやActionsで 知識の自動更新などは 始めやすい 検索性能！ 必要な時に、必要な高 信号なコンテキストだ けを取得できるように 必要な時に引き出せな ければ、存在しないの と同じ 時間が経ったら、古くなる/ノイズになる可能 性コンテキストを格納したら終わりではない （ほぼRAG…）
22. Andrej Karpathy氏のVerifiability（検証可能性） AIの答えや行動が「正しいかどうか」を、自動的かつ確実に判定できるか？ Verifiableなタスクにおいては、AIは加速度的に学習・進化できる 引用: https://karpathy.bearblog.dev/verifiability/
23. Verifiability（検証可能性）なタスクの3条件 以下3つの特性を満たせば、自動化されたフィードバックループを回せる 原文は、AIの学習に寄った内容だが、参考にできる点は多々ありそう Resettable Efficient Rewardable 何度でも最初からやり直せ るか？ タスクを繰り返し、初期状態 から何度もやり直せること AIは試行錯誤を繰り返して、 フィードバックサイクルを回 せる 短時間で大量の試行ができ るか？ タスクを高速に反復実行で きること。 膨大な量の練習やサイクルを 回せることが最適化の高速 化が期待できる 結果の良し悪しを自動でスコ アリングできる？ タスクの結果を明確なスコア や基準で自動的に評価でき ること AIは何が良い結果かを学習 できる
24. 例えば: AI Interviewの自動チューニング 1. 理想の会話の流れを定義 2. 上記を元に、AIにAI Interviewを回答させる 3. 評価データとの「ズレ」をJudge AIが測定 4. スコアが最も高くなるまでひたすら回答・チューニングを繰り返させる
25. 例えば: AI Interviewの自動チューニング 1. 理想の会話の流れを定義 2. 上記を元に、AIにAI Interviewを回答させる 3. 評価データとの「ズレ」をJudge AIが測定 4. スコアが最も高くなるまでひたすら回答・チューニングを繰り返させる 一定自動で検証・チューニングのループを回すことができる
26. AIを上手く使うための一つの考え方は いかにVerifiabilityを成立させるか？にある（かも） AI駆動開発で言うガードレールも近い考え方だと思っている
27. Verifiableにもコンテキストはきっと必要
28. まとめ

29. まとめ • Context is not always King. ◦ 過剰な情報はノイズになり得る。「足す」技術に加えて、「引く・磨く」技術 • Context Engineeringの4要素を使いこなす ◦ 書き込み/選択/圧縮/分離をタスク特性に合わせて組み合わせる • 「貯める」から「回す（Ambient & Loop）」へ ◦ 人間の作業負荷なくコンテキストが構造化・蓄積されるパイプライン • Verifiability（検証可能性）はAI自動化の鍵 ◦ Resettable（やり直し可）・Efficient（高速）・Rewardable（評価可） な環境を整え、フィードバックループを回し切る
30. おわり