20240919_LT_もしも99.9%ハルシネーションの起きない生成AI・AGIができたら

https://agifukuoka.connpass.com/event/326189/

Transcript

1. 「もしも99.9%ハルシネーションの 起きない(⽣成)AI/AGIができたら」 の思考実験 2024/9/19 第２回AGI福岡 ⼤城 信晃
2. Copyright © 2024 NOB DATA All Rights Reserved. ⾃⼰紹介 ⼤城信晃(twitter @doradora09) NOB DATA株式会社 代表取締役社⻑ / データサイエンティスト協会九州⽀部 ⽀部⻑ / iU 情報経営イノベーション専⾨職⼤学 客員教員 ・住まい 沖縄 -> 東京 -> 福岡 ・職歴 ヤフー-> DATUM STUDIO -> LINE Fukuoka -> NOB DATA(株) 創業 ・運営コミュニティ ・Tokyo.R(2010-2016) ・fukuoka.R、PyData.Fukuoka、 オモシロAIごった煮勉強会、ChatGPT部、 AGI福岡、他２つ 本業ではデータ分析チームの ⽴ち上げ・育成・⾃⾛⽀援を展開中
3. Copyright © 2024 NOB DATA All Rights Reserved. ⽣成AI事業 : 2023/6/14-16の幕張メッセの展⽰会の模様 ChatGPTのセミナーは１年間でのべ３０００名が受講
4. Copyright © 2024 NOB DATA All Rights Reserved. ⽣成AI事業: お試しでサービスも作ってます • ChatGPT活⽤の出⼝の⼀つとして、プロダクト化。(ただし、あくまで本業はコンサルティング) • 最近は新規事業⽴案のご⽀援依頼も増えて参りました 開発中AIアシスタント ねぎまさん
5. Copyright © 2024 NOB DATA All Rights Reserved. 業務外：ChatGPT部、と⾔う部活動もやってます(外部参加OK) • オンラインで有志による ChatGPTの勉強会を開催中 (2024年は第２、第４⼟曜⽇ の朝10-11時) • https://chatgptclub.con npass.com/ • またここからoutputされた内 容についてはnoteにまとめて おります • https://note.com/chatg pt_nobdata/
6. Copyright © 2024 NOB DATA All Rights Reserved. DS協会九州⽀部⽴ち上げと、5周年記念セミナーの企画 https://www.datascientist.or.jp/event/event-3088/
7. Copyright © 2024 NOB DATA All Rights Reserved. 宣伝：10/2にこちらでお話し予定(@福岡) • ⼈⼝減少社会への切り札、という観点での⽣成AI活⽤ • 今⽇のLTの思考実験やディスカッションの結果も⼀部組み込んでお話しできれば、と思っています https://forum.biprogy.com/2024/kyushu/invitation-kyushu.pdf こちらの セッションにて
8. Copyright © 2024 NOB DATA All Rights Reserved. そもそも、99.9%ハルシネーションが起きない(⽣成)AIは作れるのか？
9. Copyright © 2024 NOB DATA All Rights Reserved. ⽬下、⽣成AI(特にLLM)を使っていての現状の課題感 • 「ハルシネーション」が⾜枷となっており、⽤途が限定されている印象 • 反論として：プログラマーの世界では普及しているのでは？ (Github Copilot等) • プログラミングはコードインタプリタや外部の実⾏環境で動作確認ができる。 (もちろん、書いているコードのロジックが正しいか、は⼈間のチェックが必要) • それ以外のタスクは結局は⼈間がチェックし、責任を取らなければならない => いくら賢くても、確率的に嘘をつき責任を取らないのであれば怖くて使えない 99.9%ハルシネーションが起きない、 嘘をつかないAGIが誕⽣したら、の思考実験 ( まずは実現可能性の検討、その次に変化の想定 )
10. Copyright © 2024 NOB DATA All Rights Reserved. そもそも、ハルシネーションはゼロにできるのか？ • 「⽣成」という原理的には、ハルシネーションをゼロにする、はおそらく不可能 • 確率的にoutputを⽣成しているのが現状のTransformerの技術、と私は理解してます • 100%無くすためには、ルールベースにするしかない (例外を除いて) • ⼀⽅で：99%くらいなら、現状の技術でもおそらく到達可能 アプローチの例 • ナーフ(弱体化)/安全化処理： xxについては答えられません、や「〜かもしれません」などの⾒せかけの回避術 -> 本命ではないので今回は除外。何も回答しなければ嘘はつかないが、意味もない。 • ダブルチェック/トリプルチェック：別の⽣成AIを⽤いて、レビューさせる。 • エヴァでいうとマギシステム。例えば３つのAIがOKだしたら通す、など。 • 間違える確率が10%でも、ダブルチェックで1%、トリプルチェックで0.1%など (コストはかかる) • なお、2024/9/19現在ではChatGPT o1-previewなどは「内省」するので、 ある意味セルフレビューして性能が上がっている印象
11. Copyright © 2024 NOB DATA All Rights Reserved. 参考：ChatGPT-4 o1-preview / miniの性能と内省 • 同じChatGPT-4ベースでも、繰り返し思考することで性能が上がる (⼈間も同じ) https://x.com/lmsysorg/status/1836443278033719631
12. Copyright © 2024 NOB DATA All Rights Reserved. 参考：LLMのスケール則も、まだ否定されていない(はず) • ⽬下は超巨⼤モデルを作るためのリソース(資⾦、他)をどれだけ調達できるか、が勝負 • おそらく、スケール則の天井が⾒えるまではあと１段、２段は性能向上するはず (1兆、10兆、100兆円規模のモデル構築の世界) https://www.nikkei.com/article/DGXZQOGN29DPB0Z20C24A8000000/
13. Copyright © 2024 NOB DATA All Rights Reserved. 99.9%が実現したとして、 残り0.1%のハルシネーションへの対応は？ • ⼀番ライトにやるには • α版、β版、ということで免責事項に組み込む (not 本質的解決) • 電⼦透かし(ウォーターマーク)を⼊れるなど • 次に、「ユーザーフィードバック」での対応 • いわゆる通報。⽣成AI警察の誕⽣。 • 現時点でもChatGPTの学習などには「good」「bad」がある • 過去に習うと、⼈類の叡智「保険」 • 確率論の世界に持ち込んで解決を図る • ⼤航海時代の保険の利率は30%前後(それだけリスキー) • 0.1%のハルシネーションが発⽣した場合の損害を皆で分担する策 • なお、保証という意味ではAdobeやMSの画像⽣成AIサービスでは訴訟になった場合の 費⽤負担などはすでに明⾔ • 個⼈的には「⽣成AI保険」は「⾃動⾞保険」「⽕災保険」と同じように発展してくれる と嬉しいなと思ってます
14. Copyright © 2024 NOB DATA All Rights Reserved. もしも99.9%ハルシネーションの起きない(⽣成)AI/AGIができたら ( あたるも⼋卦、の予想レベル )
15. Copyright © 2024 NOB DATA All Rights Reserved. 勝⼿な想像ですが、３つの段階で想定 1. ハルシネーションが発⽣し、能⼒は領域によりばらつ きのある状態。マルチモーダル化は⼀定対応が完了 (ロボット接続は無しの状態) 2. ハルシネーションは起きないが、 新⼈程度のレベルのAI。ロボットとも接続開始 3. ハルシネーションも起きず、社内の誰よりも 詳しい専⾨家レベルのAI。ロボットの性能も向上 個⼈的には10〜15年以内には実現するのでは？ くらいな感じですが⼀旦ここでは以下のパターンで検討 現在〜２年後？ ３〜５年後？ 8〜15年後？
16. Copyright © 2024 NOB DATA All Rights Reserved. 参考：OpenAIとロボット？ • 2016年に⽴てたもののようですが、家庭⽤ロボットにも⾔及されてました https://openai.com/index/openai-technical-goals/
17. Copyright © 2024 NOB DATA All Rights Reserved. 参考：ロボットとの接続の可能性 • ここはまだ最新を追えてはいませんが、昨年23年10⽉ごろのChatGPT- 4Vision、の段階でもかなり画像認識はできていました。オムニでは動画対応予 定ですし、この辺りの精度改善とロボット接続は時間の問題でしょう。
18. Copyright © 2024 NOB DATA All Rights Reserved. 1. ハルシネーションが発⽣し、能⼒は領域によりばらつきのある状態。 マルチモーダル化は⼀定対応が完了 (ロボット接続なし) こちらは現在〜２年先くらい 現時点では⽣成AIは「便利だが、楽(丸投げ)はできない」状態 • 頭脳労働 • IT系は、⼀部リストラとかもおきつ つある。雇い控えの影響も。 • コンサルださんなどは昇給を半年 STOP • 採⽤を絞る動き、とかも出てきそう • コミュニケーション領域が徐々に ホットになりつつある • 認識系 • 視覚と聴覚の認識の研究が進む(マル チモーダル化) • 味覚とか嗅覚は相変わらず。最後ま で残る領域 (触覚はロボティクスの関 係で進化中) • ⾁体労働系 • ほぼ、影響なし • ロボットとの融合領域は需要増 • AIのためのビジネス • ⽣成AIのアドバイザー • データセンターの増設、電⼒需 要の増加 • 中⻑期的には「質の良い」 「⾊々な」データのニーズ • iPhoneやWindows、VRの世界 でも情報収集が開始
19. Copyright © 2024 NOB DATA All Rights Reserved. 2. ハルシネーションは起きないが、新⼈程度のレベルのAI。 ロボットとも接続開始 • 頭脳労働 • ハルシネーションが起きないので、 結構丸投げが可能になる • 賢くはないので、エスカレー ションのフロー構築は必要 • 電話窓⼝の対応くらいなら、ほ ぼ⾃動化できるのでは • 認識系 • 画像を⾒て書き起こす、とか監視カ メラに不審者がいないかをチェッ ク、はできるはず • ひたすらgoogle mapを巡回して情 報を集める、とかyoutube解析し て、トレンドを追う、とか。便利。 3〜５年後くらい？(時期は不明) 「⽣成AIをトレーニングする⼈」の需要がおそらく増加 • ⾁体労働系 • レジでの接客ロボ、くらいなら多分い けるのでは (複雑な処理はエスカレー ション) • ⼿先の細かい仕事はまだ無理 ( 職⼈技は残る ) • 塩⽔は嫌いかもしれない(漁業は残る。 ⽔産プラント、とかは⼀定⾃動化でき るかも？) • AIのためのビジネス • ⽣成AIをトレーニングする⼈、という 仕事 • レジなどの⾃社システムとの繋ぎ込み • (汎⽤型)ロボットの仕事のプログラミ ング需要の増
20. Copyright © 2024 NOB DATA All Rights Reserved. 3. ハルシネーションも起きず、社内の誰よりも詳しい 専⾨家レベルのAI。ロボットの性能も向上 • 知的労働 • 専⾨性もあり、ハルシネーションも起 きない • 法的/倫理的な制約がなければ、ある 程度のタスクは全⾃動で実施 • APIや電気の費⽤の割に合わない部分 は⼈で対応 • 突⾶なアイディアは、まだ残るはず (確率論では語れない領域) • 認識系 • リアルタイムに動画処理をして認識、 が⼈間以上の精度で可能 • ⾳声合成などもSE、BGM付きで可能 • 「⼀⼈⼀⼈にチューニングされた映画 コンテンツ」とかもできるかも 8〜15年後くらい？(時期は不明) 「AIの指⽰を受けて⼈が動く逆転現象」「⾁体労働関係のタスクへの拡張」の発⽣ • ⾁体労働系 • ⼿先の器⽤さが⼈間並みにUP • 遠隔医療、がもしかしたらオートで いけるようにもなる・・？ ( 学習データが⼗分あれば ) • ロボットが「機械を操作」する時代 • もはやSF領域 • 介護とか保育など安全が必要な仕事 は、⼀部⼈間の仕事として残るとは 思う (後、料理関係) • AIのためのビジネス • AI・ロボットのLTVをあげるための メンテ職 • 電気が、ある意味ゴールド/労働⼒に なる時代
21. Copyright © 2024 NOB DATA All Rights Reserved. 結びに：その他論点 & SFを超える⽇は来るか？ • ここまではあくまでの「妄想」ですが、ありえない未来でもないと思っています (仮に1%程度の実現の⾒込みであるとしても、可能性想定しておくことは⼤事) • また実際は「法規制」や「雇⽤の維持」の観点で、技術的には可能でも そうそうすぐに⼈間の仕事を奪う、とはならないと思います ( ITやDS、DXの普及を⾒れば明らか ) • 技術の進化が早すぎる局⾯ですが、⽬的地である 「ユートピア」「ディストピア」について議論をするのも⼤事かと思います。 => 個⼈的には、⽔曜中休みの週休3⽇で収⼊２倍、とかの世界になるといいなぁと思ってます => SFアニメの「サイコパス」とか、その両⽅な感じはありますね (やや、ディストピア寄りな印象ですが。犯罪確率、職業適正確率、etc..) 今回はあくまでイチ個⼈の未来感ですが、ぜひAGI福岡でも 「AGI/ASIが登場した後の世界」 についてはディスカッションできればと思っています。 懇親会などでまたぜひお声がけください！
22. Copyright © 2024 NOB DATA All Rights Reserved. Enjoy..!!