Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ChatGPTを聞き手にしよう

 ChatGPTを聞き手にしよう

At ChatGPT Meetup Tokyo #2

Tajima Itsuro

May 25, 2023
Tweet

More Decks by Tajima Itsuro

Other Decks in Technology

Transcript

  1. ChatGPTを聞き手にしよう
    Itsuro Tajima

    View Slide

  2. 自己紹介
    ● 38歳(5/25生まれ)
    ● 仕事:地理空間情報の研究開発(Georepublic Japan)
    ● 博士取りたい、知識マネジメントに関するコンピュータ支援共
    同作業研究(Stack Overflowなどの社会学的分析)
    ● 3/28 情報処理学会ドキュメントコミュニケーション研究会「大
    規模言語モデルに基づいた対話型AIによる研究支援に関す
    る初歩的分析」発表。論文化予定
    ○ Bing Chatが生成した質問の分析。本発表の元ネタ

    View Slide

  3. 私とAI
    ● いろいろあって自然言語処理を学んだ
    ● deeplearning.ai Natural Language Processing
    Specialization
    ○ ロジスティック回帰分析からTransformerまで
    ○ 難しいアルゴリズムは難しい
    ○ GPT-4のトークン計算量周りに携わったŁukasz Kaiserな
    どが講師
    ● 一応中身は多少わかっているはず

    View Slide

  4. AIに何をやらせたかったか
    ● 生成AI→LLMに何かを書かせる、させる
    ● 逆で、聞き手になって自分が書いたものや考えていることに
    ツッコミを入れてほしい
    ○ 人と専門的なことを話すのはハードルが高い
    ○ 助けて
    ● 書いた文章に質問をしてほしい
    ○ 質問生成タスク:質問回答タスクよりはるかに難しい
    ○ 特に学問だと答えがない質問なので難しい
    ○ BERTあたりで作るか…

    View Slide

  5. AIに質問をしてほしい
    ● ちょうどその頃(2/16)…
    ● Bing Chatのインビテーションが来た
    ○ (備考:当時はGPT-4だと知らなかった)
    ● 次にする質問をサジェスト→質問できるのでは?

    View Slide

  6. AIは質問をできる
    ● やってみた→あっさり質問してくれた
    ● 「以下の文章に専門的で建設的で創造的な質問をしてくださ
    い。」
    ● 論文のアブストラクトっぽいものを入力(トークン制限)

    View Slide

  7. AIは質問をできる
    ● やってみた→あっさり質問してくれた
    ● 鋭い。答えていると疲れる。頭を使わせる

    View Slide

  8. AIは質問をできる
    ● ChatGPT(GPT-4)でもやった→論文が1つ書けるくらいの質問
    をしたあとネタ切れ
    ● ChatGPT(GPT-3.5)ではすぐネタ切れ
    ● 対話型AI自体が創造的な質問をすることはない(調査中)
    ○ 学習データ以上には行かない
    ● できること(学術研究)
    ○ 内容面の指摘(方法、根拠、今後の展望など)
    ○ 文章構成の指摘(論文の書き方)
    ○ 1つの話題の深掘り

    View Slide

  9. この手法の良い点、悪い点
    ● 自分で書いたことをベースに質問してくれるので、
    Hallucinationが起きにくい
    ● 一方、間違いを指摘もしない。正しさはあくまで人間が検証す
    る必要
    ● ちゃんと書かないとだめ

    View Slide

  10. 応用できるのでは
    ● ソフトウェア開発上で起こる面倒くさいことなどについて、考えを文
    章化してフィードバックを試行中
    ● 他にもいろいろ、考えることや書くことを聞き手になって支援できる
    のでは
    ● プロンプトに関しては色々実験中
    ○ 「質問」ではなく「アドバイス」「指摘」など
    ○ 点数を付けてもらったり
    ○ few-shotもいいかもしれない
    ● 一般的なフィードバックが多いが、それをくれるのは重要

    View Slide