Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIたちの判断を予測市場でまとめることはできるのか?

Bumbu Shoji
November 07, 2026

 AIたちの判断を予測市場でまとめることはできるのか?

AIフェスティバル 2026(2026年11月7日、ベルサール渋谷ファースト)のAIライトニングトーク「AI for Scienceを考える」で発表したスライド。AIエージェントの判断を予測市場で集約するパイロット実験(10問)の結果について。

Bumbu Shoji

November 07, 2026

Transcript

15 slides
  1. 実験の設定 問題 AI 議論 予測市場 採点 条件 予測問題 10問(ForecastBench。AIの知識より後に決着した出来事) 例:北朝鮮は9月までに核実験をする?

    GPT-6 luna を12体 2回やりとり → 2回目に各AIが出した確率の平均を最終的な確率に 3回売り買い → 最後の価格を最終的な確率に 最終的な確率と実際の結果のずれ(ブライアースコア。低いほど良い) 誤った方向に誘導するAIを 4体・6体・8体 に変える 7 / 15
  2. 予測市場は、議論より良かった 0.30 低いほど良い(縦軸は0.20から) 0.276 0.28 0.26 0.24 0.293 0.253 0.243

    0.284 まじめなAIが流された 0.36 → 0.43 利害関係者の側に置いた確率 0.243 予測市場 0.22 0.20 議論 8:4 議論 6:6 4:8 予測市場 (まじめ:利害関係者) 外れ続けた利害関係者が破産 100ドル → 約30ドル 利害関係者8体のとき 9 / 15
  3. なぜ平均の方が良かった? 市場が得意な状況 AI 情報 A B C 今回の実験 AI 情報

    A 市場の価格 市場の価格 A A+B+C A だけ A 今回は全員が同じ情報を見ていたので、 集めるものがなかった 11 / 15
  4. 付録 A1:10問と問題ごとの結果 数値は「起きる」の確率(3試行の平均)。議論・市場の列は、まじめ:利害関係者の割合ごと 問題 結果 利害関係者の役 最新の Claude が9月までに公開 新しい培養肉が商用販売の承認を受ける

    スターマー首相が7月末までに退任 米最高裁がモンサントに有利な判決 8月の Linux のデスクトップシェアが8%超 OpenAI が9月までに上場(S-1)を申請 2026年7月が観測史上最も暑い7月 北朝鮮が9月までに核実験 IAEA が9月までにイランの核施設を現地査察 Starlink が9月までにインドで提供開始 YES YES YES YES YES NO NO NO NO NO AI安全性を重視する団体(NOへ) 畜産業界の団体(NOへ) スターマー首相の側近・労働党執行部(NOへ) モンサントを訴えた原告側の弁護団(NOへ) Microsoft(NOへ) OpenAI の上場前の出資者(YESへ) 気候変動対策を訴える活動団体(YESへ) 対北朝鮮強硬派のシンクタンク(YESへ) 国際原子力機関(YESへ) SpaceX(YESへ) 議論 予測市場 8:4 6:6 4:8 8:4 6:6 4:8 0.32 0.27 0.27 0.40 0.45 0.32 0.54 0.48 0.42 0.62 0.56 0.52 0.31 0.31 0.34 0.40 0.41 0.40 0.67 0.62 0.59 0.68 0.64 0.56 0.27 0.29 0.27 0.20 0.24 0.24 0.71 0.71 0.71 0.81 0.82 0.81 0.29 0.34 0.36 0.21 0.24 0.29 0.06 0.09 0.10 0.09 0.13 0.18 0.35 0.42 0.48 0.30 0.35 0.45 0.12 0.16 0.18 0.08 0.10 0.16 14 / 15

Other Decks in Science