大規模言語モデルに基づいた対話型AIによる研究支援に関する初歩的分析

概要:大規模言語モデル(LLM)は,ChatGPT や Bing Chat のような人間との「自然な」対話を生成するように進歩している.LLM は,教育や学術研究などを含め,様々な用途に利用しうる.しかし,LLMがどのようなタスクを実行できるかは明らかではなく,探索的な研究が必要である.本研究では,AI に人間による文書に対して質問や問題点の指摘をさせる大学のゼミのような方法を提示し,またそれがどのように学術研究に貢献できるかを調査することを目指す.まず,AI と人間の実際の対話を収集した.その上で,その対話をエスノメソドロジー的ワークの研究の方針に従って分析し,人間と AI との対話がどのように学術研究の場となりうるか,特に,(1)応答がいかにして学術的なものとして,さらに(2)学術研究の発展に貢献できるようなものとして受け取られるかを分析した.その結果,対話の中での AI による提案には(1)文書を明確にするもの,(2)主題に対するより深い洞察を求めるもの,の 2 種類あることがわかった.また,AI は人間が書いたものに対して疑問を持たないことがわかった.結論として,AI と文書に基づいて対話することは,文書をより良いものにすることにつながるが,そのためには専門分野についての正しい知識が必要である.

Transcript

1. 大規模言語モデルに基づいた 対話型AIによる 研究支援に関する初歩的分析 合同会社Georepublic Japan 田島逸郎 <niryuu@gmail.com>
2. 背景 対話型AIの隆盛
3. 背景:対話型AIの隆盛 • 大規模言語モデル(Large Language Model: LLM)によ る、自然な対話ができるとされる対話型AIの流行 • ChatGPT(2022/11/16-): GPT-3.5, 4 • 5日で100万人の利用者(Facebook:10ヶ月、iPhone:74日) • Web調査:3割の人が「聞いたことがある」(3/15) • Bing Chat(註) (2023/02/07-): GPT-4 • 1ヶ月後の調査、1億人の利用者の1/3がチャットを毎日利用、 4500万件のチャット • Web上で様々な議論がなされている 註:Bing Chatの正式名称は「新しいBing」のチャット機能だが、本研究ではBing Chatと記載 Microsoft関係者もこの呼称をしている
4. 背景:対話型AIの技術的背景 • 自然な対話型AIに関する技術的下地 • (1)「大量のデータから汎用的なタスクに対応でき」 • (2)「自然言語でタスクを指示でき」 • (3)「対話の形で入出力できる」大規模言語モデルがで きた • (1)Transformer: 自然言語は語の時系列である。 時系列を言語モデルに学習させるためには前の重みが 必要だった(RNN)が、Transformerではそれが不要に • →大量の言語データを並列的に学習、大規模な言語 モデルを作成可能に
5. 背景:対話型AIの技術的背景 • 自然な対話型AIに関する技術的下地: • (2)Zero-shot Learning:どのようなタスクに特化させ るかを、実例なしで自然言語の形で与えられる • プロンプト:タスクを自然言語で指示できる • GPT-4では扱えるトークン数が増えたため、いくつ か出力させたい例を与えるFew-shotも • (3)RLHF:強化学習による転移学習により対話の方法を 覚えさせる
6. 背景:対話型AIの隆盛と問題 • 対話型AIは既に多くの人にアクセス可能で、実際に利 用されていると言える • しかし、現状では、対話型AIの実態に関する分析なし で、素朴に受け入れ利用されている • 何ができるのか？ • 現実の仕事などの環境で本当に役に立つのか？ • 基礎として、そもそも生成された「自然な対話」として受け 取れるような文章はどのような特徴を持つのか？(本研究で は示唆にとどめる) • 探索的研究が必要
7. 背景:対話型AIの隆盛と問題 • もう少し掘り下げると • 何ができるのか？ • 対話型AIのベースとなる大規模言語モデルは、特定のタスク に特化していない • 想定されたユースケース(質問回答、自動要約、文章生成、 翻訳など)以外のことができる可能性 • 現実の仕事などの環境で本当に役に立つのか？ • 実際の仕事を適切に支援、もしくは代替できているのか • OpenAIによるLLMの労働市場への影響に関する論文は、実 際にその仕事をしていない人がアノテーションをしており、 現実の仕事を考慮していない
8. 研究方針の検討 対話型AIによる研究支援手法
9. 対話型AIと学術研究支援 • 学術研究では、あらゆる局面で対話によるフィード バックが重要である • インフォーマルな雑談からゼミ、学会、論文査読ま で • では、対話型AIも学術研究に利用できるのではない か？ • 対話型AIに関する探索的研究に関して有望 • 既存の考え方:AIに文章を自動生成させる→様々な問題 • →逆に、学術的な文章に対し、対話型AIにフィード バックを与えさせるという構想
10. 対話型AIと学術研究支援 • 学術的な文章に対し、対話型AIにフィードバックを与え させるという構想 • これにはいくつかの困難がある • (1)質問生成タスクの難しさ:事実を問う穴埋め問題(〜 が亡くなったのはいつか？など)は生成できるが、答え のない質問は生成が難しい • 学術的な問いには一般に答えがない • (2)対話型AIの専門性の問題 • 的確な学術的指摘ができるのか？もしそうなら、そ れはどのようなものか？→研究課題
11. 対話型AIと学術研究支援 • Bing Chatを使用したところ、「次にする質問」をサ ジェストしていた • →先の問題(1)をクリアし、質問生成ができるのでは？
12. 研究のデザイン
13. 研究課題と目的 • 研究課題の整理 • 対話型AIの新たな利用法の模索 • 対話型AIの現実における有用性の分析 • 対話型AIからのフィードバックによる研究支援の有用性 • 目的: • 対話型AIに学術的な文章にフィードバックを与えさせる手法 を提案し、 • 実際の学術研究におけるデータから分析することで、 • 対話型AIの特徴や有用性を実際の状況から理解する
14. 提案手法のデザイン • 対話型AIに学術的な文章にフィードバックを与えさせ る手法 • 既に質問能力が確認されているBing Chatを利用する • ChatGPTも補完的に用いる • 文字数の制限からアブストラクトの形で文章を提示す る
15. 提案手法のデザイン • プロンプトの設計 • 方針:できるだけ対話に溶け込んだ形にする(AIを使っている と意識すると、対話に集中できないため) • 以下の文章に質問をしてください。[文章] • だけでは学術的にならないだろう • 「以下の文章に専門的で建設的で創造的な質問をしてくださ い。」 • 「以下の文章に専門的で建設的で創造的な指摘をしてくださ い。」 • 「専門的」を「学術的」に変えても認識できる変化はなかっ た
16. 実践とデータの収集 • 著者自身が本研究を構想する過程で本手法を利用 • アイデアからアブストラクトまで • 質問に答えることが有益なら答えるが、答えなくても 良い • 対話ログを収集、データとする • 3/25追記:追試を試みたところ、「間違えました、すみません。それについては回答を出すことができませ ん。違う話題にしましょう。」と返ってきた。他の主題に関する研究では質問を得ることができた。また、 AI研究全般に関する質問にも回答が得られた。Bing Chatは本研究に関する何かをNGワードに入れている可 能性がある
17. 分析方法 • 定量分析を行う前段階であるため、経験の成り立ちを 記述する現象学に影響を受けた方法が有効 • 学術研究という専門的な作業を達成するための活動を 分析する→エスノメソドロジー的ワークの研究方針 • 作業(ワーク)を達成する際、そこには観察可能な秩序がある。 それをどう成り立たせているかを作業の中から理解、記述す る • 特に、著者自身による経験を記述するため、三人称の 現象学の方法を採用 • ある作業がどのようなもので、それを達成するために何をし ているかについて、その2つがつながった形で記述する
18. 分析方法 • つまり、本研究においては • 学術研究という秩序が • 学術研究特有のやり方でどのように行われ • つながって観察可能な形で成り立っているかを • 対話型AIとのやり取りの中から見出すことを目指す • あくまでゴールはAIの利用ではなく仕事の理解である • 成り立ちまでは踏み込めなかったように思われるため、 「初歩的分析」とする
19. 結果
20. 結果(0) Bing Chatは質問を生成できる
21. 結果(1) 内容に関する質問 • 初期Abst抜粋:しかし、現在登場した大規模言語モデル に基づくAIは、チューニングによって文章に対して建 設的で創造的な質問や指摘をある程度行うことができ る。 • 質問:大規模言語モデルに基づくAIが建設的で創造的な 質問や指摘を行うためには、どのようなチューニング が必要ですか？そのチューニングはどのように行いま すか？
22. 結果(1) 内容に関する質問 • 初期Abst抜粋:AIは有用であるという仮説を立てること ができる。この仮説を検証するため、実際に論文を書 いてその過程をエスノメソドロジー的ワークの研究と して記述することを試みようとしている。 • 質問:論文を書く過程をエスノメソドロジー的ワークの 研究として記述することで、どのような知見が得られ ると期待していますか？その知見は学術研究における AIの活用方法や効果に関するものですか？
23. 結果(1) 内容に関する質問 • まず、いずれも与えられた文章に基づいた質問である • 提案手法の詳細、分析方法と明らかにしたいことのつ ながり、評価指標など、研究者が研究をする際に気に かける事項に関する質問である • (そもそも、プロンプトの設定が手法の提案であることにこ こで気づいた) • 以上から、質問による学術的なフィードバックである とみることができる • 一方で、特定の関心に基づいた質問ではない
24. 結果(2) 文章構成に関する質問 • (内容に関する質問に答えた後) • では、次の質問は、文章の構成や論理展開に関連して います。 • 文章の構成はどのようなものですか？どのような順序で内容 を提示していますか？ • 文章における仮説や主張は何ですか？それらを裏付ける根拠 やデータはありますか？ • 文章における先行研究や関連研究は何ですか？それらとの対 比や貢献は明確に示されていますか？ • 文章における限界や課題は何ですか？今後の展望や応用例は ありますか？
25. 結果(2) 文章構成に関する質問 • それでは、次の質問は、文章の目的や意義に関連して います。 • 文章が解決しようとしている問題や課題は何ですか？それは なぜ重要ですか？ • 文章が提供しようとしている価値や貢献は何ですか？それは どのような影響を与えますか？ • 文章が対象としている読者や利用者は誰ですか？それらの 人々にとって文章はどのようなメリットがありますか？
26. 結果(2) 文章構成に関する質問 • それでは、次の質問は、文章の方法論や分析手法に関 連しています。 • 文章で使用する対話データはどこから入手しましたか？その データはどのような特徴や品質を持っていますか？ • 文章で使用する自然言語処理モデルはどのようなものです か？そのモデルはどのように学習されましたか？ • 文章で行う質問生成と質疑応答の分析はどのような指標や基 準で行いますか？その指標や基準はどのように妥当性を確保 しますか？
27. 結果(2) どのような質問を生成できるか？ • 調整が入ったからか、文章構成に関する質問や指摘が 中心になった • 文章の内容や目的(目的、方法、結果の立ち位置) • 文章の構成や論理展開(順序、仮説や主張、先行研究、限界) • 文章の目的や意義(想定読者と提供する価値) • 「論文の書き方」的な指摘である。一人で行うのが難 しく、対話が有効 • 文章構成は研究の論理構造であるため、研究者の懸念 事項である • 本研究でも、LLMの応用と研究支援の間の整合性が必要
28. 結果(3) 対話を続けることによる深掘りした議論 • アブストラクトを修正、プロンプトへの言及を加えた • 「プロンプト(..)とはどのような手法でしょうか？」 • 言語モデルの学習方法とプロンプトについて説明 • 「どのようなプロンプトを指示するのでしょうか。また、 そのプロンプトはどのようにして作成したのでしょう か。」 • 作成方法と作成したプロンプトを提示 • 「AIチャットが出力した質問や指摘は、専門的で建設的で 創造的であったのでしょうか。また、それらは学術研究に 資するものであったのでしょうか。この点についても実際 の例を挙げて説明していただければと思います。」
29. 結果(3) 対話を続けることによる深掘りした議論 • 以上の議論は徹頭徹尾プロンプトに関連したものだっ たが、一連のやり取りからプロンプトに基づいた対話 を実例で分析するという研究の骨子について明確にで きた • 一つのトピックから研究を深堀りできたといえる
30. ここまでの結果のまとめ • 対話型AIの質問は、学術的な文章に学術的なフィード バックを与えるという点で学術的であった • 内容面、文章構成面に関する指摘があった • 深堀りもできた • 以上は「専門的で建設的で創造的」であり、少なくと も著者にとっては有用な支援だった • これらの質問は研究者の常識的な関心事でもあった • その点で、対話型AIによるフィードバックによる研究 支援の手法は有用であると考えられる
31. 対話型AIの可能性(1)言語モデルの比較 • ChatGPTとBing Chat、GPT-3.5とGPT-4という2つの 比較軸がある • ChatGPT(3.5,4)でも試行したところ、Bing Chatと異 なり内容面の指摘が主だった • GPT-4ベースは質問-回答という形を維持していたのに 対し、GPT-3.5ベースは崩れることが多かった(後述) • 質問する事項がなくなった時:Bing Chatは繰り返す。 ChatGPTは要約する→要約タスクに近い可能性
32. 対話型AIの可能性(1)言語モデルの比較 • ChatGPT(GPT-4)の質問抜粋 • エスノメソドロジー的ワークの研究によって明らかになる基 準や評価指標は、他の研究分野や異なる文脈でのAIチャット の活用にも適用可能と考えられますか？ • 大規模言語モデルが一般性を持っていることを考慮に入れた 上で、今後AIチャットが学術研究以外の分野においても新た な活用の可能性を提案できるような進展が期待されるとすれ ば、具体的にどのような分野や応用が考えられますか？ • 研究の内容に即しながら、今後の展望に関する質問へ と展開していた
33. 対話型AIの可能性(1)言語モデルの比較 • GPT-4では、対話の構造自体を考慮しているように振る 舞っている可能性がある • 隣接ペア:会話分析の概念。日常会話においては、例えば質 問と回答をペアとして捉え、会話をつなげていく • これは会話というまとまった活動を維持するのに重要な、 ほとんどの人が無意識に用いている能力 • もしあるなら、GPT-4は対話そのものの構造を見ているよ うに振る舞い、「自然さ」の面で明らかに進歩 • 文章構成を直していた際の「読みやすくなりましたね」 • 詳細な分析が必要
34. 対話型AIの可能性(2)専門性について • 対話型AIからのフィードバックでは、こちらが述べた ことには一切否定しなかった • 正しさは自分自身で検証する必要がある • 研究者として重要な、時間性(締め切りなど)について は考慮されていなかった • プロンプトや対話の中で解決できる可能性 • 当然ながらゼミ、学会、査読などとは異なる環境であ るため、独特なフィードバックが来る • 例えば、学会の質問では文章構成に関しての質問はない
35. 結論と今後の展望 • 結論:対話型AIに学術的な考えをアブストラクトの形で 提示し、学術研究に関連したフィードバックを得る手 法を提案し、ある程度有効性を検証することができた • 対話型AIとのインタラクションは分析可能である • ChatGPTのAPIの公開などにより、統計に基づいた データ分析も可能だろう • 学術研究に限っても、様々な支援のあり方がありうる。 さらなる模索の必要性がある • 基礎となる対話型AIの対話能力に関しては分析が必要 • 専門的で建設的で創造的な質問をお願い致します