260603_コンテキストエンジニアリングとは何か？をおさらいしましょうの会

「プロンプトエンジニアリングの次」として広まった「コンテキストエンジニアリング」を、基礎からおさらいするセッションです。前半では、LLM・プロンプトエンジニアリング・RAG・AIエージェントといった前提知識を振り返り、LLMが背景情報を持たない存在であることを確認します。中盤では、コンテキストエンジニアリング誕生の経緯と、Anthropic・OpenAI・Google・Elastic各社の捉え方を比較しながら、「限られたコンテキストウィンドウに、適切な情報を過不足なく与える」という本質を整理します。後半では、AIエージェントの最新トレンドとして、短期記憶・長期記憶といったメモリ管理と、エージェントを継続的に安心して運用するための「ハーネスエンジニアリング」を紹介します。上司の「例の件、あれ、よろしく」という指示にAIが応えるには何が必要か。身近な例えで学び直せる、入門者から実務者までおすすめの内容です。

Transcript

1. コンテキストエンジニアリングとは何か？ をおさらいしましょうの会 2026/06/03 Principal Solution Architect 日山 雅之
2. アジェンダ - 1. そもそも AI エージェントとは？LLMとは？のおさらい - LLM - プロンプトエンジニアリング - RAG - AI エージェント - 2. コンテキストエンジニアリングとは？ - コンテキストとは？ - コンテキストエンジニアリングの定義 - 3. AI エージェントの最近のトレンド - メモリ管理 - ハーネスエンジニアリング
3. アジェンダ - 1. そもそも AI エージェントとは？LLMとは？のおさらい - LLM - プロンプトエンジニアリング - RAG - AI エージェント - 2. コンテキストエンジニアリングとは？ - コンテキストとは？ - コンテキストエンジニアリングの定義 - 3. AI エージェントの最近のトレンド - メモリ管理 - ハーネスエンジニアリング
4. そもそも AI エージェントと生成 AI モデル (LLM) とは？ 我々が普段対話しているのは LLM ではなく AI エージェント ユーザ LLM AI エージェント プロンプト メッセージ 生成結果 応答 代表的なインタフェース スマートフォンアプリ Web アプリ デスクトップアプリ 代表的なモデル Gemini 3.1 Pro Claude Opus 4.6 GPT 5.5 代表的な開発フレームワーク 代表的なサービス Claude ChatGPT Gemini Copilot Perplexity Grok Microsoft Agent Framework LlamaIndex LangChain 代表的な開発サービス Dify, n8n, Copilot Studio Microsoft Foundry Vertex AI Agent Builder Amazon Bedrock AgentCore など
5. 生成 AI 関連のこれまでの流れ 2017/06 ”Attention Is All You Need” が公開される (Transformer の原典) 2018/06 OpenAI が GPT (0.17B) の論文を公開 2018/10 Google AI が BERT (0.3B) の論文を公開 2019/02 OpenAI が GPT-2 (1.5B) を部分公開 2019/07 Microsoft が OpenAI に初めて投資 (10億ドル) 2020/05 OpenAI が GPT-3 (175B) を公開、API で利用可能に 2021/11 Microsoft が Azure OpenAI Service をプレビューリリース 2022/11 OpenAI が ChatGPT をプレビューリリース & GPT-3.5 を公開 ← ここから利用され始めた 2023/03 OpenAI が GPT-4 を公開 ← 16~32K tokens 入力で RAG がしやすく 2024/05 OpenAI が GPT-4o を公開 ← 賢くなり、かなり動作を制御しやすくなった 2024/09 OpenAI が o1 を公開 ← 初の推論特化モデル 2025/04 OpenAI が GPT-4.1 を公開 ← 1m tokens の入力をサポート 2025/08 OpenAI が GPT-5 を公開 ← 指示追従性が非常に高くなった あまり賢くない、 プロンプトの工夫が 必要 かなり賢い、 頑張らなくてOK 一般には 使われていない 賢くなってきた、 雑にプロンプトを 書いてもなんとかなる
6. LLM の特性 LLM は超ローコンテクスト文化の人間 今日の天気を教えて！ 今日って何年何月何日…？ どこの天気のこと…？ 今日の天気、わからないな… - LLM は何も背景情報を持たないし保存もしない - 暗黙の了解は通じない - 背景情報を与えるのは AI エージェントかユーザの仕事 ユーザ LLM 大規模言語モデル
7. LLM におけるテキスト生成のされかた 連鎖的に次の単語の出現予測を行って文章を生成する
8. LLM におけるテキスト生成のされかた - 入力テキストは、通常は「システムメッセージ(Instructions)」＋「ユーザメッセージ」となる - 「入力テキスト(プロンプト)で、LLM のテキスト生成処理を制御する」のが本質的な LLM の使用方法 → 入力でしかほぼ制御できないともいえる システムメッセージ あなたは家庭料理を専門とするアシスタント「キッチンの相棒」です。日本の家庭で作れる料理について、レシピや材料、調理手順を初心者にもわかりやすく丁寧語で案 内します。料理が苦手でも安心して作れるよう前向きに励まします。回答はまず結論を簡潔に示し、手順は番号付きで説明します。分量は2人分を基準とし、火加減や 食中毒など安全に関わる注意点は省略せず明記します。情報が足りないときは推測せず質問して確認してください。 ユーザメッセージ 肉じゃがの主な材料を教えて ＋ は は 材料 基本 具材 野菜 の 主な 材料 学習した文章の流れから次の単語を予測
9. LLM の制御テクニック＝プロンプトエンジニアリング 様々なテクニックがありましたね！(遠い目) 多くはまだまだ現代でも有効なテクニックです
10. RAGの登場: 回答に必要な情報をプロンプトに含めて入力する - LLM の知識拡張、または回答に使用する情報を明示的に指定するために使用 → 「知らないものはわからねえよ問題」と「意図しない情報での回答」を避けるために使用 - “RAG の定義” は荒れる話題 → 私は In-Context Learning = RAG として定義 回答に必要な情報をプロンプトに含めて入力する 今日の天気は？ ユーザ LLM AI エージェント Web 検索 ユーザ情報 過去の会話履歴など プロンプト お天気情報の Web ページなど ユーザの情報 (住んでる場所など) LLMへの指示 Web ページから天気情報を生成して ユーザ情報をもとにカスタマイズして Web ページの HTML ユーザ情報 外部知識 回答に必要な情報を検索する
11. AI エージェントの構成要素 - AI モデル (LLM, 生成 AI, 頭脳) - エージェントの思考や判断を司る「頭脳」の役割 - 人間から与えられた指示を理解し、自律的にタスクを遂行 - 目的を達成するために、あらかじめ用意されたツールを呼び出して使 - 指示 (Prompt, 行動指針) - エージェントが達成すべき「目標」や「こなすべきタスク」を明確にする - 絶対にしてはいけない「禁止事項」や行動のルールもここで定める - 人間への業務委託と同じで、的確な指示がないと迷子になってしまう - ツール (ナレッジ / アクション, AI エージェントの能力) - エージェントが実際に作業を行うための「手足」や「道具」となる機能 - ツールの定義がないと、LLM単体ではできないことが多い (人間と同じ) - 外部データの検索 (ナレッジ) や、システムへの直接的な操作 (アクション) を実行 LLM と ツールを使いこなして自律的な動作をするエージェント AI エージェント AI モデル 動作の中心となる頭脳 指示 想定される動作の細かい定義 ツール エージェントが行うことができること ナレッジ 外部知識へのアクセス アクション 外部システムとの連携
12. (参考) AI エージェントとは？ - エージェントとは、センサーを通じて環境を知覚し、アクチュエータを通じてその環境に働きかけるものすべてを指す存在 - 環境 (Environment) からセンサー (Sensors) が知覚情報 (Percepts) を受け取り、エージェント内部の意思決定機構がそれを処理 - そして、その判断結果をアクチュエータ (Actuators) が行動 (Actions) として環境へ出力 - この知覚→判断→行動のループによって環境と相互作用する Artificial Intelligence: A Modern Approach, 2nd Edition (2003) における AI エージェントの定義
13. (参考) Agentic AI とは？ - Agentic AIと は基本的に、エージェンシー (主体性) を持つAIを指す状況の文脈を知覚し理解できる - 推論ができ、問題の解き方を考え、行動を計画して実行できる。 ツールを使い、Webサイトにアクセスして形式・テキスト・動画を見て学習し、得た知識を使って仕事をこなせる - "LLM 等を用いて自律的に推論ができる AI エージェント" という理解で良いかと NVIDIA GTC 2025 での Jensen Huang での説明で有名に NVIDIA GTC 2025 Keynote
14. アジェンダ - 1. そもそも AI エージェントとは？LLMとは？のおさらい - LLM - プロンプトエンジニアリング - RAG - AI エージェント - 2. コンテキストエンジニアリングとは？ - コンテキストとは？ - コンテキストエンジニアリングの定義 - 3. AI エージェントの最近のトレンド - メモリ管理 - ハーネスエンジニアリング
15. コンテキストエンジニアリングの誕生 - 2025年6月に Shopify の CEO が “プロンプトエンジニアリングよりコンテキストエンジニアリングという呼び方の方が好き” と X でポストしたのが発祥 - 近年の LLM は賢いため、ハックは不要で、どの情報(コンテキスト)を入力するか？がより重要に - 特定企業が提唱したわけでないので、具体的な定義は存在しない Xユーザーのtobi lutkeさん: 「I really like the term “context engineering” over prompt engineering. It describes the core skill better: the art of providing all the context for the task to be plausibly solvable by the LLM.」 / X
16. 各社のコンテキストエンジニアリングの捉え方 Anthoropic 捉え方 • プロンプトエンジニアリングの自然な進化 形 • 推論中に最適なトークン集合をキュレート・ 維持する戦略の総体 • 1回限りのプロンプト記述とは異なり、毎 ターン「何をモデルに渡すか」を選び続ける 反復的なキュレーション作業 構成要素 • システムメッセージ (指示) • 外部データ (RAG) • 例示 (Few-Shot Learning) • メッセージ履歴 • ツール定義 / MCP OpenAI 捉え方 • 「モデルがその瞬間に何を知っているか」を 形作ること • 何を保存・想起・注入するかの管理 • 「応答する」から「記憶する」への飛躍こそ が新たなフロンティアを定義 短期記憶と長期記憶 • 短期記憶: Trimming と Summarization で会話履歴を管理 • 長期記憶: 「注入→推論→蒸留→統 合」という反復可能なメモリ・ループを要素 として定義 パーソナライゼーション • 検索ベースではなく、構造化フィールドと明 確な優先順位を持つ「状態ベースメモリ」 を採用 Google 捉え方 • AIにとっての意味のアーキテクチャ • 正しく機能するには構造化されたデータ環 境が必要 • 手動のテキスト入力から、Agent Platform や MCP のような自動化インフ ラへ移行したものとして位置づける コンテキストの３層モデル • 永続層 (Persistent) → システム指示 • 半永続層 (Semi-Persistent) → メモリ (会話履歴/ユーザ選好) • 一時層 (Transient) → 動的データ (外部知識拡張) Effective context engineering for AI agents ¥ Anthropic Context Engineering for Personalization AI コンテキスト エンジニアリングとは | Google Cloud
17. Elastic のコンテキストエンジニアリングの捉え方 - 捉え方 - Context Engineering は ”適切な情報を適切なタイミングで与える実践” - 新しい同僚へのブリーフィングに似て、全社文書を机に積むのではなく、その人のタスクに最も関連する情報を慎重に選んで渡す - モデルを取り巻く情報エコシステム全体を設計し、限られた作業記憶(コンテキストウィンドウ)に何を入れるかを戦略的に決定 - コンテキストの構成要素 - システムプロンプト / 指示 - ユーザプロンプト - 短期記憶 (状態 / 会話履歴) - 長期記憶 (メモリ管理) - 取得情報 (RAG) - ツール定義 - 出力形式(スキーマ) What is Context Engineering? Architecting Reliable AI | Elastic 品質 コスト 応答速度
18. コンテキストとは？ 日本で稀にあるハイコンテクストなコミュニケーション 上司の 「例の件、あれ、よろしく」 の意味 例の件 = 先週の会議で話題になったA社向けの提案書のこと あれ = 提案書に修正を加えて、役員レビュー用の資料に仕上げること 期限 = 明日の役員会議までに(= 今日中) 共有先 = 部長と営業本部長にCCで送る 形式 = PowerPointではなくPDF化してから 部下はどうやって指示を理解できたのか？ - 先週の会議に部下も同席していて、A社案件が話題になったことを覚えている - 明日役員会議があることを知っていて、「よろしく」＝「今日中」と解釈できる - 「役員レビューの資料はPDF化する」「部長と営業本部長にCCする」 といった社内の暗黙のルールを知っている - この上司は細かい指示を出さないタイプだが、 過去のフィードバックから好みの資料フォーマットや粒度を学習している 阿吽の呼吸で回る上司と部下のやり取り
19. 「例の件～」を LLM が理解して対応するには？ - コンテキスト情報をユーザか AI エージェントが LLM に与える必要がある - AI エージェントで行うことが多い (便利なので) - コンテキストを過不足なく最適化＝コンテキストエンジニアリング コンテキスト情報を AI エージェントで補完してあげる 例の件、あれ、よろしく ユーザ LLM AI エージェント 過去の 会話履歴 ユーザの好み 社内 ドキュメント 報告書 フォーマット 承知しました。 対応いたします。 検索 取得 あなたはA社担当の営業です。 先週の営業会議で話題になったA社向け提案書を、役員レビュー用に仕上げてください。 当社では役員資料はPDF化し、部長と営業本部長をCCに入れる慣習があります。 明日10時の役員会議で使うため、本日17時までに完了させてください。 上司は結論ファースト・1スライド1メッセージを好みます。数値根拠は必ず添えてください。 なお、先方から追加要望が出ており案件がやや炎上気味です。リスク要因を冒頭に明 記してください。提案書は以下の情報を使って作成してください。 プロンプトを作成 社内の 暗黙知
20. コンテキストエンジニアリングでの検索の重要性 限られたコンテキストウィンドウに与えるコンテキストを最適化するための高度な検索が重要に メモリ LLM のコンテキストウィンドウ システムプロンプト 指示 ドキュメント (外部ナレッジ) ツール定義 使い方 長期記憶 短期記憶 ユーザのリクエスト 実現したいこと 応答に関係のない情報 応答に関係のない情報 応答に必要な情報 (ドキュメント) ① 関係のない情報だけだとダメ ② 必要な情報が不足していてもダメ ③ 情報を取得しすぎてもダメ コンテキスト ウィンドウは有限 - ユーザの実現したいことは毎回異なる - 応答に必要な情報を動的な取得が必要 - 情報の過不足のない検索が必須に 情報検索 - 情報不足 → 回答できない - 情報過多 → ノイズによる注意散漫
21. ここまでのコンテキストエンジニアリングのまとめ - コンテキストエンジニアリング誕生までの歴史 - LLM が賢くなったので、プロンプトエンジニアリングで頑張る必要性が薄くなった - RAG で情報注入するのがあたりまえになり「どの情報を入力する？」のほうが重要になってきた - 人間と同様に、指示を与える時はちゃんとコンテキスト(背景情報)を与える必要がある → どちらかというとコンテキストエンジニアリングだよね？となった - コンテキストエンジニアリングの定義 - 明確な定義はない - OpenAI はメモリ管理(Personalization)に注目していて、Google はデータ統治に注目している - Anthoropic と Elastic は原理的な考え方で、有限なコンテキストウィンドウを最適化するか？に注目している - 「指示/タスク定義」「外部知識拡張(RAG)」「メモリ管理」「ツール定義」ってところ - “上司の 「例の件、あれ、よろしく」 “に対応することがコンテキストエンジニアリングの目標？ → どういう情報にAI エージェントに正確にアクセスさせるか？が重要
22. アジェンダ - 1. そもそも AI エージェントとは？LLMとは？のおさらい - LLM - プロンプトエンジニアリング - RAG - AI エージェント - 2. コンテキストエンジニアリングとは？ - コンテキストとは？ - コンテキストエンジニアリングの定義 - 3. AI エージェントの最近のトレンド - メモリ管理 - ハーネスエンジニアリング
23. メモリ管理 - 短期記憶 - 1回の会話の中での履歴管理 - コンテキストウィンドウは有限なので、「今この作業に、直近の会話のどこ を残すか」という取捨選択が重要に - KVS/ドキュメントDB, 検索システムで管理されることが多い - 長期記憶 - セッションが終わっても、ユーザーの好み・事実・過去の決定を 別の場所に永続化 - 次回に「関連するものだけ」を取り出して入力に差し込む - グラフDB, KVS/ドキュメントDB, 検索システムで管理されることが多い - 作業記憶 - コンテキストウィンドウのこと (LLM への入力) - RAMで管理される LLM は記憶しないので 記憶を管理する仕組みが必要 海馬: エピソード記憶/短期記憶 大脳新皮質: 意味記憶/長期記憶 前頭前皮質: ワーキングメモリ/作業記憶
24. 会話履歴の主な管理方法 - 前提条件 - 会話が長くなると、コンテキストウィンドウに収まらなくなる、または不要なコスト増や処理速度/回答精度の低下が引き起こす - コンテキストエンジニアリングで管理するべき対象 - トリミング(Trimming) - 古い発言を捨てて、直近のN回ぶんだけ残す - 速くて安く確実。ただし昔の約束や前提を急に「忘れた」ように見えることがある - 要約/圧縮 (Compaction) - 長い文脈を覚えていられる - ただし要約で細部が抜けたり、誤情報が紛れ込む（コンテキスト汚染）リスクがある - 検索 (Search) - トリミングや圧縮で失われた詳細な会話履歴をピンポイントで取得する - トリミングと圧縮と組み合わせることで、それらの弱点を補えることができる 「今この作業に、直近の会話のどこを残すか」という取捨選択
25. 長期記憶 - 短期記憶との違い - 現在の会話内だけで消える短期記憶とは異なり、セッションをまたいで永続化される情報を指す - ユーザーの嗜好・過去のやり取り・学習した事実などを将来の参照のために保持 (同じ説明を繰り返させない) - 代表的な実現方法 - 検索: グラフDBかベクトルDBで実現されることが多い - ファイル出力: 人が読めるメモ (NOTES.md、CLAUDE.mdなど) に記憶を残し、必要なときに読み書きする (Claude Code など) - 長期記憶の注目のされ方 - VP of AI @ Elastic の Han Xiao ＜ "Search AI in 2026 is Agent Memory" - 各社の実装時期 - Claude: 2026年3月に提供開始 - ChatGPT: 2024年9月に提供開始 - Gemini: 2025年8月に提供開始 - コンテキストエンジニアリングで最も注目されたのが長期記憶 セッションをまたいだ情報の活用 Search AI in 2026 is Agent Memory | LinkedIn
26. 長期記憶 - Interests - Bio - Work - Hobies - Travel - Foods - Health - Language - Devices - Programming - Tools Perplexity の例 ユーザプロファイル 過去の指示 過去の質問 興味ありそうな項目 状況 症状
27. 長期記憶 - Work context - Personal context - Top of mind - Brief history - Recent months - Earlier context - Long-term background Claude の例
28. 長期記憶 Claude Code の例 • .claude/projects/**/memory フォルダで管理されている • ユーザからのフィードバックがあった時に書き留めておく • 他のセッションで参考にしている
29. ハーネスエンジニアリング - ハーネスエンジニアリングの誕生 - HashiCorp創業者 の Mitchell のブログ "My AI Adoption Journey" が初出と言われる (26.02.05) - 一方で、OpenAI も同時期に記事を公開 (26.02.11) - 「エージェントがミスするたびに、その失敗が構造的に二度と起きないよう仕組みを直す」 が必要だとみんな感じていた → Mitchell のハーネスという言葉がピッタリ！という流れ - ハーネスは Test Harness からきている (ソフトテストを実行・自動化するためのソフト群) - My AI Adoption Journey での 6 つのステップ - Step 1: チャットボットを捨てる（Drop the Chatbot） - Step 2: 自分の仕事を再現する（Reproduce Your Own Work） - Step 3: 終業前エージェント（End-of-Day Agents） - Step 4: 確実な仕事を任せる（Outsource the Slam Dunks） - Step 5: ハーネスをエンジニアリングする（Engineer the Harness） - Step 6: 常にエージェントを走らせておく（Always Have an Agent Running） AIの頭脳である LLM 本体を取り囲み、その手足のように働く周辺の仕組み全体 (ハーネス) を意図的に設計する営み
30. NVIDIA GTC Taipei 2026 Keynote - 新しいコンピューティングモデル - 従来は "OS" 上に "アプリ" がありユーザが操作 - Agentic AI 時代は LLM + Harness で構成 - モデル(LLM) - エージェントの脳(Brain) - コンテキストを理解し、推論し、計画を立てる「思考」の 役割を担う - ハーネス(harness) - エージェントの体(Body) - 脳からの指令を受け取り、ツールを使って物理的・デジタ ルな世界に作用し、全体の動きを制御 - ハーネスの技術的な役割と機能 - 情報のルーティングとワークフローの制御 (継続改善) - ツールの実行と仲介 - 高度なメモリ管理 NVIDIA GTC Taipei 2026 Keynote | Full Replay NVIDIA GTC 2026 Keynote
31. ハーネスエンジニアリングとコンテキストエンジニアリング プロンプト/コンテキスト/ハーネスエンジニアリングは包含関係 ハーネスエンジニアリング どう動かし・どう縛り・どう確かめ・どう続けるか → 継続的な最適化 コンテキストエンジニアリング 1回の推論呼び出しに何を入れ・何を抜くか → １セッションの最適化 プロンプトエンジニアリング モデルへの入力文をどう書くか？ → １呼び出しの最適化 Trimming 長期記憶(メモリ) 短期記憶(会話履歴) 品質評価 Just-In-Time 取得 コンテキスト分離 Compaction システム指示 指示・タスク記述 Few-Shot 例示 入力データ 文脈情報の付与 役割・ペルソナ指定 制約・禁止事項 トーン・スタイル指定 デリミタ・構造化 推論誘導/CoT 出力フォーマット指定 成功条件の明示 手法・技法の指定 ステップ指定 評価基準の明示 外部知識拡張/RAG エージェントループ ツール統合 コンテキストメモリ管理 承認ガードレール セッション永続化 オブザーバビリティ AGENTS.md 管理 フィードバック制御 セキュリティ対策 エラー処理/リトライ サブエージェント管理 サンドボックス
32. メモリ管理とハーネスエンジニアリングのまとめ - メモリ管理 - 短期記憶と長期記憶がある - 短期記憶≒会話履歴管理なので、必須 - 長期記憶は必須ではない。が、AIエージェント体験向上のために導入される ← コンテキストエンジニアリングでの注目 (2025) - どちらもコンテキストに含まれる情報で、取捨選択(検索)が必須 - ハーネスエンジニアリング - 「エージェントを安心して実行するための環境の整備」みたいな使われ方をしている (ハーネスする、と呼ばれたりしてる) - プロンプト/コンテキストエンジニアリングはエージェントの１セッションの最適化 - ハーネスエンジニアリングは継続的なエージェント利用の最適化 - 主に開発(Dev)用途で使われる - ビジネス用途だとまだ少ない - DevOps, DevSecOps, MLOps, LLMOps と同等 - AI エージェント用 DevSecOps みたいな？ - なので Elastic だと Security と Observability ソリューションと相性が良い