20240623_LT_ChatGPTの得手不得手を今一度整理して考えてみる

https://chatgptclub.connpass.com/event/320777/

Transcript

1. ChatGPT部 noteフォロワー1000名突破記念会 LT ChatGPTの得⼿不得⼿を 今⼀度整理して考えてみる 2024/6/23 ChatGPT部 部⻑ ＠doradora09
2. Copyright © 2024 NOB DATA All Rights Reserved. ⾃⼰紹介 ⼤城信晃(twitter @doradora09) NOB DATA株式会社 代表取締役社⻑ / データサイエンティスト協会九州⽀部 ⽀部⻑ / iU 情報経営イノベーション専⾨職⼤学 客員教員 ・住まい 沖縄 -> 東京 -> 福岡 ・職歴 ヤフー-> DATUM STUDIO -> LINE Fukuoka -> NOB DATA(株) 創業 ・運営コミュニティ ・Tokyo.R(2010-2016) ・fukuoka.R、PyData.Fukuoka、 オモシロAIごった煮勉強会、ChatGPT部、 他 (7/4にはAGI福岡もやります) 本業ではデータ分析チームの ⽴ち上げ・育成・⾃⾛⽀援を展開中
3. Copyright © 2024 NOB DATA All Rights Reserved. モチベーション • 2022年11⽉末のChatGPT-3.5登場から、約１年と8ヶ⽉が経過 • これから始める⼈に向けても、⼀度ChatGPTの得⼿不得⼿を整理してみようと 思います(私⾒多め、８割確度くらいで聞いていただければと) • なお、このLTをしている2024/6/23現在はChatGPT-4o(オムニ)が最新で、 まだ⾳声対話のAPIは公開されていない状態です (将来この資料を⾒る⽅に向けてのコメント)
4. Copyright © 2024 NOB DATA All Rights Reserved. ChatGPTが不得⼿な部分
5. Copyright © 2024 NOB DATA All Rights Reserved. なんといってもハルシネーションが⾟い(幻覚症状) • ChatGPTは「確率的に⽂章を⽣成」しているため、時折しれっと嘘をつきます • GPT-3.5は結構酷く、その後のGPT-4 or GPT-4o(オムニ) の最新場であれば多 少はまし、という感じですが、体感１割くらいは嘘をつきます • 何かの根拠に基づいて回答しているわけではないのが、原理的に弱みな印象 • 対策として、「ChatGPTが嘘をついていないかチェックするChatGPT」を仕 掛けるという⽅法もありますが、現時点ではAPIの費⽤⾯からあまり現実的で はありません • 将来、⽣成AI、もしくは別の新技術・組み合わせ技術で「99.9%嘘をつかない 汎⽤AI」ができた場合、もう⼀歩世の中が変わるのかなと思っています (いわゆるAGI、汎⽤⼈⼯知能)
6. Copyright © 2024 NOB DATA All Rights Reserved. 例：駅名から住所を聞いてみる
7. Copyright © 2024 NOB DATA All Rights Reserved. 例：花⼩⾦井駅(東京都⼩平市が正解) • GPT-3.5は不正解、GPT-4, 4o(オムニ)は正解 ❌ ⭕
8. Copyright © 2024 NOB DATA All Rights Reserved. ⻑⽂テキストの解釈がまだ怪しい • これも未だに個⼈的には原因がよくわかっていないのですが、「指⽰やinputが ⻑⽂になればなるほど解答が怪しくなる」というケースも散⾒されます (まぁ、⼈間も1万⽂字の指⽰書とか渡されたら間違えると思いますが・・) • ⽀持を分割したり、英語にしたり、JSON形式にしたりと⾊々と細かいテク ニックはありますが、なんかこの辺がうまくいかないと仕事を丸っと任せるに は厳しいかなという印象があります (⻑⽂を構造的に把握して回答する、といったようなロジックが もしかしたら必要なのかも、とも思ってます ) • ちなみに、GPT-4o(オムニ)は解答が早いですが、GPT-4の⽅が⻑⽂には強いか も、という噂も聞きます(未検証)
9. Copyright © 2024 NOB DATA All Rights Reserved. 確率的に低い内容の回答、つまり斬新なアイディア • 現時点ではChatGPTは「確率的に⽂章を⽣成する」のと、またインターネット 上の情報を中⼼に学習を⾏なっているため、「未知のアイディアの提案」は苦 ⼿な印象があります • そこを逆⼿に取って、⼈間がアイディアを考え、その後ChatGPTが同じアイ ディアを発案しないことを確認する、というテクニックもありますが、本来は 斬新なアイディアもChatGPTに⽣成してもらいたい気持ちもあります • 個⼈的には漫才なども同じで、「AIが⼈間の⼼を動かせるか」といった部分が ⼀つ課題としては残っているかなと思います ( ジョークを⾔わせてもあまり⾯⽩くないため。⾳楽系の⽣成AIとかは結構す ごいと思ったりするんですけどね )
10. Copyright © 2024 NOB DATA All Rights Reserved. ChatGPTが得意な部分
11. Copyright © 2024 NOB DATA All Rights Reserved. ⾊々あるので端的に • 前述の問題点をケアすればかなり有⽤ • チャットでの壁打ち、他⾔語への精通、プログラミング⾔語への精通、デー タ分析の実⾏、⾔語間の翻訳 • 画像認識、将来的には⾳声認識、⾳声対話 • こちらの⽴場を踏まえた上での回答 • ChatGPTに望む役割での役割 • 丁寧な回答、24h利⽤可能、etc.. • 何より、ChatGPT-4o(オムニ)がまだ進化の途中、ということ • 今後年内にGPT-5が出るかも、という噂 • 商標的にはGPT-7まで取ってるとかなんとか
12. Copyright © 2024 NOB DATA All Rights Reserved. 参考：データの可視化も楽々 • サクサクっとやってくれます • 今ならGPT-4o(オムニ)も10回は無料で使えるので、楽々。
13. Copyright © 2024 NOB DATA All Rights Reserved. 参考：個⼈的に感動したのは洗濯機のエラー写真解析 • パシャっと写真を撮って「これ何？」と聞けば良いので⾮常に便利
14. Copyright © 2024 NOB DATA All Rights Reserved. 所感 • まだまだ発展途上な技術ですが、それでも登場以前の常識では考えられない性 能でポテンシャルのある技術です (2021年の⼈に⾔っても10年はかかる、もし くは実現しないと⾔われてもおかしくない性能) • ⼀⽅で、まだまだ裏側の動作原理の理解や使い⼿の技量によって引き出せる回 答のレベルが異なるため、発展途上の技術ともいえます。 • 現時点ではいずれにせよ「興味を持って楽しんで使う」ところから初めるのが 良いかなと思います。 • 個⼈的には、上⼿く利⽤すれば学ぶ機会の公平化や、ベーシックインカム的な 議論( もちろん、逆⽅向に⾏くとディストピア論 ) にもなるかと思いますので、 引き続きChatGPT部でも⾊々と実験や調査を進めていければ、と思っておりま す。
15. Copyright © 2024 NOB DATA All Rights Reserved. Enjoy..!!
16. Copyright © 2024 NOB DATA All Rights Reserved. その他、予備スライド
17. Copyright © 2024 NOB DATA All Rights Reserved. 昨⽇と今⽇とで挙動が変わるかもしれない • ChatGPTを始めとする⽣成系のAIサービスは、運営サイドにより定期的に調整 が⼊ります • その中で性能が落ちたり(ゲーム⽤語？的にナーフと呼ばれます)、場合によっ ては「その質問には解答ができません」と昨⽇とは異なる挙動を起こす可能性 があります ( APIであればバージョン管理がされているので多少はマシだとは思 いますが ) • ⼀般的には「作り⼿の意図に沿った望ましいとされる回答」をするように チューニングが施されるので、⽣成AIは必ずしも中⽴ではない、という点も利 ⽤していく上では気をつける必要があります ( おそらく、今後はアメリカ産と中国産の⽣成AIやLLMでこのあたりは変わっ てくるはずです )
18. Copyright © 2024 NOB DATA All Rights Reserved. まだまだ使い⼿側が意識することが沢⼭ある • そもそも「チャット」というIFや、先ほどのようにハルシネーションや⻑⽂解 釈のテクニック、などの理解が必要という時点で、サービスとしては不完全 • 天気予報のように情報の解釈が簡単であったり、またユーザーが指⽰を出さな くても先回りして分析・提案してくれるようなUXになるとまた⼀歩AGIの世界 に進むのかなと思ってます (直近だと、MacのOpenAIとの提携による各種製品への搭載がその前段かも、 と個⼈的には期待しています)