LT : 元OpenAI社社員の⽅の AGIへの懸念資料の序⽂を 少し読んでみる 2024/6/8 ChatGPT部 #45 @doradora09

⾃⼰紹介 • ⼤城 信晃(@doradora09) • ChatGPT部の部⻑をやっています • 本業はデータサイエンスのチーム⽴ ち上げ⽀援など

本⽇のネタ • こちらのドキュメント • https://situational-awareness.ai/ • 元OpenAI社の社員の165ページに渡 る⼤作 • 半分眉唾、くらいな感覚で読んでOK だと思いますが、 未来予想のパターンとしてはアンテ ナを張っておく価値は あるかと思い取り上げております • 本⽇は⽇本語の機械翻訳にてご紹介 https://x.com/ImAI_Eruel/status/1798355096637714863

元OpenAI社の研究員 レオポルド・アッシェンブレンナー⽒ • サムアルトマンCEOの解任劇 の仕掛け⼈の⼀⼈のイリヤ・ サツケヴァー⽒とのつながり あり • OpenAI社は2024/4/12に彼らを 解雇したとの発表 • ちなみにそのあと、倫理チー ムの⾯々も辞めてたりする ( 多分、開発優先はよくない、 という声の⼈たちは排除され てる気がする ) https://note.com/akikito/n/n51ddc8fd45e8

Twitterアカウント などはこちら https://note.com/akikito/n/n51ddc8fd45e8 https://x.com/leopoldasch

注意喚起：話を持ってきてなんですが、 ちょっとLTネタにしては重すぎるかも・・ • この⼿の話は飲み会とかでちょうど良いのかもしれません • 不安を煽る話も多いので・・ • ⼀⽅で、 • こういうことがあるかもしれない、という想定 • AI関連のビジネスは伸びるかも / 淘汰されるかも、という予想への活⽤ など、思考実験的＆話半分くらいで眺めてみる(or あえて眺めない) のが良いかと思います ( ご紹介しておいてなんですが、 多分この辺りのネタは真⾯⽬に考えると病んじゃうので・・ )

早速ペーパーを覗いてみます ( 本⽇はさわりとして序⽂の部分だけ )

⽬次 (以下、すべて⽇本語で機械翻訳。適宜コメントを交えていきます) https://situational-awareness.ai/

AGI開発リソースの獲得競争について https://situational-awareness.ai/ 莫⼤な予算はたまに噂話が出ま すね(1000兆円必要とも)。 個⼈的には「電⼒、チップ、 データ」が必要だと思っている が、電⼒需要やその周囲のトラ ンスの話なども興味深い ( 多分、調べればあってるはず )

2025/26年にはかなり賢くなってるんじゃね、 という予測 https://situational-awareness.ai/ ここは意⾒が分かれそう 少なくとも、中の⼈しか分から ないし、あるとしても出すタイ ミングは⾒計らっていると思う ( 学習データ枯渇問題を説く⼈ もいるけど、それも仮説の１つ に過ぎない ) AGI 競争が始まった。私たちは考え、推論で きる機械を製造している。2025/26 年までに、 これらの機械は多くの⼤学卒業⽣を追い抜く だろう。10 年後には、機械はあなたや私よ りも賢くなり、私たちは⾔葉の本当の意味で 超知能を⼿に⼊れるだろう。

戦争リスクがかなりあるよと https://situational-awareness.ai/ ちょっと原⽂読んでみないとです が、中国との戦争は不可避、また は世界⼤戦のリスク？なかなかア グレッシブな予測 ( でも、ある種AGI/ASIを握った国 が覇権を握ることになるので ) AGIの開発競争でいうと個⼈的な 予想では現時点の対抗⾺は 「OpenAI」VS「Google」VS「中 国企業」だと思っているものの、 国家レベルで⾒ると 「アメリカ」VS「中国」のみ。 この背景を知っていると、中国企 業への半導体輸出規制や企業案件 の停⽌の動きなどは少し思惑を感 じ取れる(気がする) その過程で、半世紀ぶりの国家安全保障部隊が解き放たれ、 間もなくプロジェクトが開始される。運が良ければ、中国 共産党との全⾯戦争になるだろうが、運が悪ければ全⾯戦 争になるだろう。

想像⼒が試されている https://situational-awareness.ai/ まぁ⾊々応⽤効くよね、というこ とかと。 多分、想像⼒が試されている ( 個⼈的には99.9%嘘をつかない⽣ 成AI的なAI、ができたら世の中変 わるかなと思ってます ) 誰もが今や AI について語っているが、⾃分たちに何が起 ころうとしているのか、ほんのわずかしか予感していない。 Nvidia のアナリストは、2024 年がピークに近いかもしれな いと依然として考えている。主流の評論家たちは、「AI はただ次の⾔葉を予測しているだけだ」という故意の盲⽬ 的な考えにとらわれている。彼らは誇⼤宣伝といつも通り のビジネスしか⾒ておらず、せいぜいインターネット規模 の技術⾰新がまた起こると期待しているだけだ。

あくまで予想、 ただこれまでは当たってたとのこと(序⽂はここまで) https://situational-awareness.ai/ この先に、本編が始まりますが 今⽇は⽬次だけご紹介 間もなく、世界は⽬覚めるだろう。しかし現時点では、状 況認識⼒を持つ⼈はおそらく数百⼈程度で、そのほとんど はサンフランシスコと AI 研究所にいる。運命の奇妙な⼒ によって、私は彼らの中にいることになった。数年前、こ れらの⼈々は気が狂っていると嘲笑されたが、彼らはトレ ンドラインを信頼し、そのおかげで過去数年間の AI の進 歩を正しく予測することができた。 これらの⼈々が今後数年間についても正しいかどうかはま だ分からない。 しかし、彼らは⾮常に賢い⼈々であり、私がこれまでに 会った中で最も賢い⼈々であり、このテクノロジーを構築 している⼈々である。彼らは歴史の中で奇妙な脚注になる かもしれないし、シラードやオッペンハイマー、テラーの ように歴史に名を残すかもしれない。彼らが未来を少しで も正しく⾒ているなら、私たちは激しい旅をすることにな るでしょう。 私たちが⾒ているものをお話ししましょう。

本編の⽬次とサマリ

⽬次とサマリ① https://situational-awareness.ai/ 1.の性能改善はおそらくあり得る かなと。ただ、時期は未定 AI⾃体が⾃⼰学習できる様になっ たら、というケースの予感(まだ読 んでない) 個⼈的にはこの可能性は３割くら いな予想(１年後は意⾒が変わって るかもですが、現時点では)

⽬次とサマリ② https://situational-awareness.ai/ 投資競争はおそらく始まってる (⽇本国内のチップとデータセン ターの建設ラッシュも然り。次は おそらく原発再稼働＆夜間発電 か） ラボ閉鎖とかは進んでいる。 スーパーアライアントができる様 なAIの制御技術は不透明 ( 個⼈的には倫理AI、みたいなも のが完成すればまだ多少はマシに なるかと ) 対抗⾺の話があるのかなと (まだ読んでない)

⽬次とサマリ③ https://situational-awareness.ai/ 「超知能を扱えるスタートアップ は存在しない」は まさしくそうかと ( AGIの⼿前のLLM開発競争という 切り⼝だけでも、 現時点で既にそう )

参考：V.最後に、の ⼀節が重たい・・ https://situational-awareness.ai/parting-thoughts/ (予想が当たるかどうかは 別として) 彼らの⼼境も同じく、 ということだとは思います 仮にこの辺の⽂脈を信⽤すると、 イリヤ⽒がサムアルトマンを解任 しようとした気持ちもわからなく ない気もしますね。

参考：ベストシナリ オ https://situational-awareness.ai/parting-thoughts/ 主張としてはアメリカが制御する べき、という論調。 まぁ、書いてる⼈の⽴場的にはそ うなりますね 競争相⼿がいる中でいかに安全性 を確保するか、はかなり難しい課 題だと思います

余談：シヴィザードの「⽀配の呪⽂」 • 個⼈的にはAGIの完成 はこれなんじゃないか なーと思ってます • ゲーム中ではカンター スペルを受け付けない 魔法で、完成させた陣 営がゲームクリア • ちなみに唱えるには 15000マナ必要。 普通の呪⽂は15マナ〜、 英雄召喚で600マナく らいなので膨⼤なリ ソースを必要とする

ご清聴ありがとうございました・・！ (当たるかどうかは別として) シナリオ別の未来予測的な部分、 どういう未来が良いのかなども 引き続きChatGPT部などでディスカッションしていきましょうー