Discussion for Kato and Mitani 加藤三谷論文討論資料（2026年日本経済学会秋季大会）

Transcript

1. 加藤・三谷論文に対する討論 株式会社タップル・法政大学 森脇大輔 2026年9月12日日本経済学会秋季大会 大東文化大学 1
2. 研究の背景 経済財政諮問会議は日本の経済財政政策に関するアジェンダセッティングや方 針決定をリード。その議事録は公開データでありながら非常に生々しい対立も 含む貴重な政策資料。 2001年2月2日 森内閣 2001年5月18日 小泉内閣 諮問会議において審議された重要政策・議論 三位一体の改革・郵政民営化 デフレ対策 日本銀行とのアコード 成長戦略 規制改革・都市再生 地方創生 社会保障改革 2018年11月12日 安倍内閣 2026年3月26日 高市内閣 写真：毎日新聞社／アフロ（2001年2月2日、RM 6499540）；東京財団政策研究所／共同通信社（2001年5月18日）；首相官邸（2018年11月12日、2026年3 月26日） 2
3. 本研究の概要 本研究は、535回、約1,073万文字の議事録をLLMによって分析・要約し、 2001年から2025年の政策議論を整理。 ５つの政策分野別 社会保障改革と財政健全化 構造改革・成長戦略 地域・地方 少子化・人口・労働 デフレ・物価・金融政策 分析の流れ 分析対象 2001年から2025年の25年間 うち諮問会議開催年22年分・535回 合計約1,073万文字・約3.3万分（約550時 間） 各回の議論を要約 ↓ 各年の議論を要約 ↓ 25年間の要約 3
4. 先行研究（経済学） マクロ経済学におけるテキストデータ分析は金融政策を中心に盛んに行われて いる。 LLM以前の自然言語処理技術を用いた金融政策分析 FOMC声明文が市場や実体経済をどう動かしたかを分析（Hansen and McMahon 2016, JIE） トピックモデル(LDA)と辞書を用いてFOMCの現状認識とスタンスを数値化 1993年の情報公開を自然実験としFOMCでの議論への影響を推定（Hansen, McMahon, and Prat 2018, QJE） LDAやLASSO、類似度といった自然言語/機械学習手法を用いて議事録公開が審議委員に規律効果と 同調効果をもたらすことを示した 事前学習済み言語モデル・LLMを用いた金融政策分析 FOMC声明文のサプライズ（市場予測との乖離）が市場に与えた影響を分析（Doh, Song, and Yang 2026, AEJ: Macroeconomics） 声明文をTransformerモデルで埋め込み化することで、政策スタンスを数値化 11の生成AIモデルにFOMC議事要旨を読ませ、各文を7つの政策論点に分類させ議論の変遷を可視化 （Dunn, Meade, Sinha, and Kabir 2024, Federal Reserve FEDS Notes） 本研究と近い論文。専門家による正解データに対して、追加学習なしで平均F1スコア0.80～0.93。 GPT-4oに長い文脈を与えると0.95に向上した 4
5. 先行研究（機械学習・自然言語処理） 自然言語処理/機械学習コミュニティにおける長文・議事録要約 長文要約（数万〜10万超トークンの論文・政府報告書・書籍） 長い入力の中間にある重要情報の欠損（Lost in the Middle: Liu et al. 2024）を防ぐため、文書を分割し て部分要約を作り、階層的に統合または逐次更新する（Chang et al. 2024; Ravaut et al. 2024; Ou and Lapata 2025） 重要な情報を選択するため、質問、強調表現、文書構造をプロンプトに与えてから要約する（Chang et al. 2024; Sinha 2025; Yuan et al. 2026） 部分要約の統合による事実誤認を抑えるため、関連する原文を再提示し、根拠と照合しながら要約を 修正する（Ou and Lapata 2025） 議事録要約（企業内会議・学術会議・議会審議などの複数話者による記録） 要約の目的や読者に合った情報を選択するため、対象読者、伝達目的、確認すべき質問をプロンプト で指定する（Zhou et al. 2025; Kirstein et al. 2025） 複数話者による議論の流れを再構成するため、論点、重要な事実、異なる見解を抽出し、主題ごとに 整理する（Kirstein et al. 2025; Olabisi et al. 2026） 省略、無関係な情報、事実誤認、議論構造の誤りを防ぐため、誤りを種類別に検出し、その結果を使 って要約を修正する（Kirstein et al. 2025） 5
6. 本研究の用いたLLM関連手法 本研究は、自然言語処理やLLMコミュニティで提案されているさまざまな工夫 を用いている点がAI研究として高く評価できる。 本研究でやったこと 意図 LLM研究における対応概念 根拠・出典 LLMに指示者の意図を適切 Context Engineering Karpathy (2025); Anthropic 背景・目的を明示 に伝える (2025) 「政治経済の記者」と役割 Persona Prompting / 出力の視点を定める White et al. (2023, arXiv) を指定 Persona Pattern Rashkin et al. (2023, Comp. 工程ごとに使用資料を限定 ハルシネーションの抑止 Grounded Generation Lin.) 分析単位と出力形式をそろ Output Template Pattern White et al. (2023, arXiv) 出力項目を固定 える N / Multi-stage split各回 → 各年 →25 年間の順に Summ 中間生成物の評価・検証 then-summarize framework Zhang et al. (2022, ACL) 処理 Zhang et al. (2020, ACL); Claim Provenance / 議事録と骨太方針を時系列 Allein et al. (2023, Findings 生成文章のクロスチェック Temporal Evidence-based で照合 of EACL); Chen et al. (2024, Fact-checking NAACL) Evaluation of 専門家によるチェック ハルシネーションの抑止 Human Krishna et al. (2023, EACL) Summary Faithfulness 6
7. Context Engineering（コンテクスト・エンジニアリング） LLMを意図通りに動作させるため、背景、目的、資料、制約、出力形式を適切 に与える。 ## 背景あなたは政治経済の記者の立場で、国民に向けて文章を作成します。その際、当時の議論が実際にど こまで政策に反映されたのか、議論で提示された政策の意図・目的が実際に達成されたのかを批判的に評価す るため、2001年から2025年にかけて各年の経済財政諮問会議の議事録を用いて当時の議論を批判的にまとめ ます。 Context Engineeringは現代LLMの基本中の基本 Context Engineering: LLMの処理に必要な情報をコンテクストウィンドウへ適切に入れる（Karpathy） プロンプトに加え、外部資料、ツール、会話履歴など、モデルへ渡す情報全体を統制すべき (Anthropic) タスクを明確にし、必要な背景情報と望む出力の形式・文体を具体的に示すことが推奨される (OpenAI) 本研究は冒頭で、役割、読者、評価目的、対象期間、使用資料を明確に指定 プロンプト出典：加藤・三谷論文の研究プロンプト ／ 概念・実務指針の出典：Karpathy (2025), X; Anthropic (2025), Effective context engineering for AI agents; OpenAI (2026), How do I create a good prompt for an AI model? 7
8. Persona Prompting（ペルソナ・プロンプティング） 「政治経済の記者」という立場を指定し、当時の議論を国民向けに批判的にま とめるよう求めている。 ## 背景あなたは政治経済の記者の立場で、国民に向けて文章を作成します。その際、当時の議論が実際にど こまで政策に反映されたのか、議論で提示された政策の意図・目的が実際に達成されたのかを批判的に評価す るため、2001年から2025年にかけて各年の経済財政諮問会議の議事録を用いて当時の議論を批判的にまとめ ます。 Persona Pattern：LLMに特定の役割や視点を与えるプロンプト設計 このプロンプトでは「政治経済の記者」という視点から、国民向けに批判的にまとめることを求め ている Kong et al. 2024は「数学教師として〜」といった役割指定によって、LLMの推論能力が改善すること を報告。 ただし、効果がないという報告（Zheng et al. 2024）もあり、効果の有無や大小は文脈依存。 プロンプト出典：加藤・三谷論文の研究プロンプト ／ 概念の出典：White et al. (2023, arXiv) 効果の検証：Kong et al. (2024, NAACL); Zheng et al. (2024, Findings of EMNLP); Luz de Araujo et al. (2025, EMNLP) 8
9. Grounded Generation（根拠資料に基づく生成） 工程ごとに使用資料を明示し、根拠のない文章の生成を防止。 ## データを利用する際のルール（厳守）必ず以下資料のみ使用する。1. gijiroku2001-2025.zip （2001年から2025年の議事録）2. wp-je2001-2025.zip（2001年から2025年の年次経済財政報告：白 書）3. minkanpaper2001-2025.zip（2001年から2025年の民間議員ペーパー）web上の情報、一般知 識、後年の説明語彙を使用してはならない。 各回・各年の要約では、議事録、白書、民間議員ペーパーを使用 政策への反映確認では骨太方針を使用 各工程では指定資料以外のウェブ情報、一般知識、後年の説明語彙を使わない 外部資料を参照する生成は、モデル内部の知識だけに依存する生成より、正答率が向上（Lewis et al. 2020; Gao et al. 2023; Weller et al. 2024） プロンプト出典：加藤・三谷論文の研究プロンプト ／ 概念・効果の出典：Lewis et al. (2020, NeurIPS); Gao et al. (2023, ACL); Weller et al. (2024, EACL) 9
10. Output Template Pattern（出力テンプレート・パターン） 主軸回、補助回、出力項目を具体的に指定し、出力を比較・再利用できる形に している。 2001年から2025年の22年間の議事録を用いて、主軸回・補助回を以下のとおり定義する。【主軸回】：その 年の議論の方向性や政策転換を象徴する主要な回（各年2～3回） 【補助回】：主軸回を補足する回、または 異なる論点・少数意見が提示された回（各年複数回）主軸回、補助回の各回の議論における役割（主導・同 調・反論）を定義する。・・・出力形式 表の列構成（固定）| 主軸回or補助回 | 年 | 回次 | 主導した人 物名 | 主張(主導)の要点 | 同調した人物名 | 主張(同調)の要点 | 反論した人物名 | 主張(反論)の要 点 | 当該回の議論の要約（300字程度） |該当しない人物・役割の欄は空欄とする。列の追加・削除は行わな い。 毎年同じ基準で主軸回・補助回を選び、年をまたいで比較できる単位をそろえる 人物、主張、反論、要約という記載項目を固定する 列の追加・削除を禁止し、出力形式をそろえる 単純な要約ではなく焦点をあてる議論とそうでない議論をわけることで理解しやすいストーリーを生 成 再現性の担保。出力の統合などの事後処理の効率化。 プロンプト出典：加藤・三谷論文の研究プロンプト 10
11. 多段階要約 1,000万文字を超える資料から、いきなり8つの転換点を出させず、各回、各 年、25年間の順に段階を追って処理したことが本研究の1番のポイント。 各回 各回次において、経済財政諮問会議における議論の構図（主 導・同調・反論）を整理し、出力形式に従って表形式でまと める。当該回の議論の要約（300字程度） 各年 各年の議論を、主軸回（中心的な回）と補助回（関連・補足 的な回）に分け、「誰が・どの立場で・何を問題化し、議論 がどう動いたか」が分かる形で整理する。 25年間 「デフレ・物価・金融政策」およびこれを包摂するマクロ経 済運営に関する諮問会議の議論を、議論の転換点によってフ ェーズ化する。25年間の議論において、誰の発言がどのよう な問題意識として提示され、それがどのように受け止めら れ、論点がどう変遷したかに着目し、全体で約5,000字にな るようストーリー仕立ての要約を行う。 転換点の判断 それまでの前提や政策スタ ンスと異なる論点が現れた 瞬間 表現やトーンが変化した瞬 間 議論の前後比較 その後の骨太方針や政策運 営への反映 プロンプト出典：加藤・三谷論文の研究プロンプト 11
12. 時系列照合と専門家による確認 議事録と骨太方針の時系列照合、諮問会議を知る専門家による確認を通じて、 出力の質を高めている。 3. ［経済財政諮問会議議事録内容まとめ資料］の 内容全てと、ステップ２で分解した要素を双方向で 突合してファクトチェックを行う。方向A（議事録→ 骨太方針）：議事録で議論された内容が骨太方針に どのように反映されたかを確認する。方向B（骨太方 針→議事録）：骨太方針の主要記述が、どの議論・誰 の発言に起源を持つかを確認する。双方向の結果を 照合し、政策形成の時系列（どちらが先行したか） も注記する。「骨太方針」の閣議決定日と経済財政 諮問会議の会議日程に注意する。真偽が明確に判定 できない場合は、その理由を付して「不明瞭」と記 す。 時系列照合 ステップ2＝骨太方針を要素に分解、ステップ3 ＝議事録まとめと双方向に突合 骨太方針の閣議決定日と諮問会議の日程を確認 議事録と骨太方針のどちらが先行したかを注記 判定できない場合は、理由を付して「不明瞭」 と記載 専門家による確認 野村顧問がプロジェクトを一貫して確認 諮問会議の実務経験に基づいて出力を確認 複数人が独立に行う客観評価ではない 時系列照合：加藤・三谷論文の研究プロンプト ／ 専門家による確認：討論者の発話記録 12
13. 学術的評価のまとめ 本研究は、大量で長期の政策資料を洗練された手法で処理した非常に野心的な プロジェクト。課題は客観的・中立的な評価。 本研究の強み 2001年から2025年の25年間（うち開催年22年 分）、535回、約1,073万文字というAI応用研究 でも例が少ない超長文タスク ひとつの政府審議会の長期の議事録という例が 少ないドメイン さまざまなLLMハーネス手法の応用 課題 現状の評価は定性的な確認にとどまる 事前に正解データを作り、出力の正誤を評価す る または、分析結果を人間もしくは別のLLMに評 価させる 評価の中立性・透明性・一貫性を示す 具体的には、5~6人の専門家、実務家による評 価結果を加える 投稿先の候補 人工知能学会やNLPなどの国内学会（間違いなく評価される） KDDなどのデータ系学会 金融系の学会 13
14. 中立性や出力品質の改善方法 モデルや投与資料、プロンプト等による恣意的な調整のリスクも中立的評価者 からのフィードバックがあれば修正することができる。 AIプロダクトのたった一つのルール AIをハーネスする唯一の方法は 目標設定 計画 実行 結果の観察 今回、結果の観察はAIには難しいため人 間のプロフェッショナルが必要 人間のフィードバックによってAIは永続 的に出力を改善 重要なのは出力を評価しプロンプトに反 映するループを構築すること 出典：Google, The New SDLC with Vibe Coding, Figure 2. https://www.kaggle.com/whitepaper-the-new-SDLC-with-vibe-coding（研究・討論目的の引用、 fair use） 14
15. 本研究の経済学研究へのインパクト 15
16. 経済学と政策の距離 「安田リスト」掲載者である民間議員は、諮問会議発足以来初めて0人。 出典：安田リスト掲載者に基づく討論者集計 16
17. 経済学と政策現場のインセンティブ不整合 経済学と政策の間には距離があり、その大きな理由は研究者と行政のインセン ティブが合わないことにある。 研究者 行政官 行政データを使って論文を書きたい ↔ 情報漏洩のリスクを負って、研究者にデー タを渡すインセンティブが乏しい publicationにつながる研究をしたいが、日 本の政策課題やデータがそれにつながると は限らない ↔ 自分たちの政策を進めたい 研究者と行政官の目的が一致しない 出典：前田裕之「経済学はどこに向かうのか～理論と実証の250年史」27頁「すれ違う官と学の思惑」 17
18. LLMがもたらすもの① 研究の生産性 LLMの発達によって、コーディングや分析が効率化 AIと論文生産性の爆発的生産 性向上（Hao et al., Nature 2026） AIを研究に利用する科学者 は、利用しない科学者と比 べて論文数が3.02倍、被引 用数が4.84倍 研究プロジェクトのリーダ ーになるまで1.37年早い 分析自動化（メルカリ分析チ ーム, 2025） 生成AIエージェントが、自 然言語による依頼からSQL 作成、データ抽出、集計、 可視化、結果の解釈、仮説 の導出、分析レポートの作 成まで実行する。メルペイ のCRM分析では、ファネル 集計、有意差検定、考察、 次の施策の提案まで自動 化。 ニューラルネットを用いた構 造推定（Duarte and Fonseca, NBER 2026） ニューラルネットでパラメ ータとモデル・モーメント の対応を近似 従来法は4日後にも同じモ ーメントの一致度へ到達し なかった 提案手法は20分未満で到達 自然言語から新しいモデル へ適用するDF Assistantを構 築 出典：Hao, Xu, Li, and Evans (2026), Nature; Mercari Analytics Blog (2025), 「生成AI『Socrates』が変えるCRM分析」; Duarte and Fonseca (2026), NBER Working Paper No. 35283 18
19. LLMがもたらすもの② 政策情報の取得（本研究の貢献） LLMによる政策情報の効率的取得 これまで LLMを利用した場合 役所のウェブサイトで、何がどこにあるか ウェブ検索を繰り返し、必要な資料を探す 分かりにくい 多くの資料を読み、必要な箇所を見つける 政策の議論を理解するまでに時間がかかる → 政策のコンテクストを理解するまでの時間 を短縮する 19
20. LLMによる経済学者の役割変化 LLMによる経済学者の役割変化 “ AIエージェントが研究分析を担うようになると、経済学者の役 割は、分析の実行から、重要な問いの設定、結果の検証、政策 的含意と社会的価値の判断へ移る。 – Anton Korinek (2025) AI Agents for Economic Research ” 20
21. LLM as Connector LLMによって課題の把握や分析が効率化し、論文と政策提言の両立が可能に？ 政府の会議資料 LLMによる読解と整理 2 政策的に重要な分析テーマの設定 LLMによる効率的な分析 3 学術論文 LLMによる政策コンテクストを踏まえた提言 4 政策改善 経済学者が政策のコンテクストを効率的に摂取し、LLMが経済学と政策をつなぐコネクタになる 1 21
22. 質問 複数の専門家や別のLLMなど、独立した評価者による客観的評価を加える予定はありますか 実務に携わった時期と、実務に携わっていない時期で、要約の難しさに違いがありましたか LLMを使うことで政策現場とアカデミアとの距離が近づくと思いますか 22