ChatGPTを聞き手にしよう Itsuro Tajima

自己紹介 ● 38歳(5/25生まれ) ● 仕事:地理空間情報の研究開発(Georepublic Japan) ● 博士取りたい、知識マネジメントに関するコンピュータ支援共 同作業研究(Stack Overflowなどの社会学的分析) ● 3/28 情報処理学会ドキュメントコミュニケーション研究会「大 規模言語モデルに基づいた対話型AIによる研究支援に関す る初歩的分析」発表。論文化予定 ○ Bing Chatが生成した質問の分析。本発表の元ネタ

私とAI ● いろいろあって自然言語処理を学んだ ● deeplearning.ai Natural Language Processing Specialization ○ ロジスティック回帰分析からTransformerまで ○ 難しいアルゴリズムは難しい ○ GPT-4のトークン計算量周りに携わったŁukasz Kaiserな どが講師 ● 一応中身は多少わかっているはず

AIに何をやらせたかったか ● 生成AI→LLMに何かを書かせる、させる ● 逆で、聞き手になって自分が書いたものや考えていることに ツッコミを入れてほしい ○ 人と専門的なことを話すのはハードルが高い ○ 助けて ● 書いた文章に質問をしてほしい ○ 質問生成タスク:質問回答タスクよりはるかに難しい ○ 特に学問だと答えがない質問なので難しい ○ BERTあたりで作るか…

AIに質問をしてほしい ● ちょうどその頃(2/16)… ● Bing Chatのインビテーションが来た ○ （備考:当時はGPT-4だと知らなかった） ● 次にする質問をサジェスト→質問できるのでは？

AIは質問をできる ● やってみた→あっさり質問してくれた ● 「以下の文章に専門的で建設的で創造的な質問をしてくださ い。」 ● 論文のアブストラクトっぽいものを入力(トークン制限)

AIは質問をできる ● やってみた→あっさり質問してくれた ● 鋭い。答えていると疲れる。頭を使わせる

AIは質問をできる ● ChatGPT(GPT-4)でもやった→論文が1つ書けるくらいの質問 をしたあとネタ切れ ● ChatGPT(GPT-3.5)ではすぐネタ切れ ● 対話型AI自体が創造的な質問をすることはない(調査中) ○ 学習データ以上には行かない ● できること(学術研究) ○ 内容面の指摘(方法、根拠、今後の展望など) ○ 文章構成の指摘(論文の書き方) ○ 1つの話題の深掘り

この手法の良い点、悪い点 ● 自分で書いたことをベースに質問してくれるので、 Hallucinationが起きにくい ● 一方、間違いを指摘もしない。正しさはあくまで人間が検証す る必要 ● ちゃんと書かないとだめ

応用できるのでは ● ソフトウェア開発上で起こる面倒くさいことなどについて、考えを文 章化してフィードバックを試行中 ● 他にもいろいろ、考えることや書くことを聞き手になって支援できる のでは ● プロンプトに関しては色々実験中 ○ 「質問」ではなく「アドバイス」「指摘」など ○ 点数を付けてもらったり ○ few-shotもいいかもしれない ● 一般的なフィードバックが多いが、それをくれるのは重要