Upgrade to Pro — share decks privately, control downloads, hide ads and more …

研究・執筆支援ツールとしての生成AI

 研究・執筆支援ツールとしての生成AI

"Generative AI as tools of writing and research support"
at 191st Monthly Meeting of Mita Society of Library and Information Science

Tajima Itsuro

July 29, 2023
Tweet

More Decks by Tajima Itsuro

Other Decks in Research

Transcript

  1. 資料 • 本発表でとりあげる、実際に執筆に生成AIを使った対話ロ グなどです。パラパラとめくってくだされば幸いです。 • 研究支援の対話ログ: • https://github.com/niryuu/dc2023-data • オモイカネプロジェクト:

    • https://scrapbox.io/omoikane • AI小説: • https://scrapbox.io/omoikane/AI%E5%B0%8F%E8%AA% AC • AI小説の執筆過程でのAIの利用: • https://scrapbox.io/omoikane/AI%E5%B0%8F%E8%AA% AC%E3%82%92%E6%9B%B8%E3%81%8F%E3%81%A8 %E3%81%8D%E3%81%AEAI%E3%81%AE%E4%BD%BF %E3%81%84%E6%96%B9%E4%BA%8B%E4%BE%8B
  2. 自己紹介 • 慶應義塾大学大学院文学研究科図書館・情報学専攻博 士課程、単位取得退学(2015-2021) • Georepublic Japan GK. R&D/GIS Specialist(2012-)

    • 土木インフラ、防災に関する3D地理空間情報の研究開発 • プログラミングに関する質問回答サイトStack Overflowを研究 • 生成AIによる真偽不明の回答が大量に投稿され存亡の危機。 • 生成AIとの関わり:2月にBing(GPT-4)に本来想定され ていないはずの質問生成能力を発見し、3月に学会発表 • 7/28 情報処理学会より2023年度山下記念研究賞を受賞 • SFを読み書きしてAIについて考える活動に関わる
  3. ツールとしての生成AI • 生成AIの使い方: 指示(プロンプト)と文章を与えると、 それにしたがった文章を生成する • 生成AIの特徴: 特定のタスクに特化しておらず、さまざ まなことができそうだが、何ができるかはわからない •

    利用方法を模索していく必要(探索的研究) • AIの背後にある言語モデルに注目した研究も可能だが • 人々は既に、試行錯誤しながら生成AIを利用している • つまり、人々による探索的研究が現場で起こっている
  4. ツールとしての生成AI • 人々による探索的研究が現場で起こっている • 研究をする、執筆をするなど、人々はさまざまなこと を目指して物事をおこなっている • 生成AIの利用も、その状況の中で特有のやり方でなさ れ、それは目指していることと切り離せない •

    また、「生成AIとはどんなもので、何ができるのか」 ということも、実際に使う中で明らかになっていく • ツールとしての生成AI=利用者から見た生成AI • それを分析したり、AIを利用した活動に参加した経験 を報告します
  5. 研究支援の範囲を広げる 『資料検索入門』より「レポート・論文を書くためのプ ロセス」(p.16) 1. 論文のテーマを決める 2. テーマについての情報を集める 3. 問いを設定する 4.

    問いを解決するための情報を収集する 5. アウトライン・章立てを考える 6. 書く(下書き・修正・構成) 生成AIは文章を扱えるため、情報源へのアクセスだけで なく思考・執筆に支援の範囲を広げられる可能性がある
  6. 質問による執筆支援 • 学問は問いと答えによって進展する • ゼミ、学会、査読などでさまざまな段階の知見を共有し、 フィードバックを得ることで研究が進む • この会もその一つですので、お待ちしております • AIに質問などのフィードバックをさせられないか

    • というのも、良いフィードバックを得るには、良い文章が 必要という、最初の壁を超えたい→AIによる支援 • 難しいとされてきたが、できてしまった • では、どのような質問を生成できるのか? • 本当に研究の役に立つのか? • ということについて研究しています
  7. 文章構成に関する質問 • (内容に関する質問に答えた後) • では、次の質問は、文章の構成や論理展開に関連して います。 • 文章の構成はどのようなものですか?どのような順序で内容 を提示していますか? •

    文章における仮説や主張は何ですか?それらを裏付ける根拠 やデータはありますか? • 文章における先行研究や関連研究は何ですか?それらとの対 比や貢献は明確に示されていますか? • 文章における限界や課題は何ですか?今後の展望や応用例は ありますか?
  8. 文章構成に関する質問 • 調整が入ったからか、文章構成に関する質問や指摘が 中心になった(追試:今は内容と構成が混ざっている) • 文章の内容や目的(目的、方法、結果の立ち位置) • 文章の構成や論理展開(順序、仮説や主張、先行研究、限界) • 文章の目的や意義(想定読者と提供する価値)

    • 「論文の書き方」本のような指摘である。理解できて も気づくのが難しく、対話的フィードバックが有効 • 文章構成は研究の論理構造である • 研究の核となるとも言える • 本報告でも、生成AIと研究・執筆支援の間の整合性が必要
  9. 対話を続けることによる深掘りした議論 • アブストラクトを修正、プロンプトへの言及を加えた • 「プロンプト(..)とはどのような手法でしょうか?」 • 言語モデルの学習方法とプロンプトについて説明 • 「どのようなプロンプトを指示するのでしょうか。また、 そのプロンプトはどのようにして作成したのでしょう

    か。」 • 作成方法と作成したプロンプトを提示 • 「AIチャットが出力した質問や指摘は、専門的で建設的で 創造的であったのでしょうか。また、それらは学術研究に 資するものであったのでしょうか。この点についても実際 の例を挙げて説明していただければと思います。」
  10. ここまでの結果のまとめ • 生成AIの質問は、学術的な文章に学術的なフィード バックを与えるという点で学術的であった • 内容面、文章構成面に関する指摘があった • 深堀りもできた • 以上は「専門的で建設的で創造的」であり、少なくと

    も著者にとっては有用な支援だった • これらの質問は研究者の常識的な関心事でもあった • その点で、生成AIによるフィードバックによる研究支 援の手法は有用であると考えられる
  11. 完成稿(方法まで)要は全部直した • 大規模言語モデル(LLM)は,ChatGPT や Bing Chat のよう な人間との「自然な」対話を生成するように進歩している. LLM は,教育や学術研究などを含め,様々な用途に利用しうる.

    しかし,LLM がどのようなタスクを実行できるかは明らかでは なく,探索的な研究が必要である.本研究では,AI に人間に よる文書に対して質問や問題点の指摘をさせる大学のゼミのよ うな方法を提示し,またそれがどのように学術研究に貢献でき るかを調査することを目指す.まず,AI と人間の実際の対話 を収集した.その上で,その対話をエスノメソドロジー的ワー クの研究の方針に従って分析し,人間と AI との対話がどのよ うに学術研究の場となりうるか,特に,(1)応答がいかにし て学術的なものとして,さらに(2)学術研究の発展に貢献で きるようなものとして受け取られるかを分析した.
  12. あるトピック 自分が書いた 文章 生成された文章 フィードバック 文章を書いて! 教えて! 質問して! ~の観点で評価して! 生成AIによる支援への考え方(1)

    • 生成AIをざっくりいうと:文章から文章を生成する • 上の「生成させる」という理解が一般的だが • 以下のどちらも可能。適切に使い分けるべき • ChatGPTでは混ざっていて分けられないことも
  13. 「オモイカネプロジェクト」 • 背景:OpenAI社がAIに関するルールを民主的プロセス で決めるプロジェクトに補助金を出していた • 技術で社会課題を解決するCode for Japanに持ち込む • 問題:AIに起因する問題は多くの人が経験していない

    • だから、想像力を喚起する必要がある • その手段としてのSFプロトタイピング • スローガン:「SFを書いたり読んだりして、AIの未来に ついて考えよう!」
  14. 様々な「生成」の仕方 • 何を生成させるか:「童話」「演説」「勧誘文章」など • 文章から別の文章への変換 • 赤ずきんなどの童話をAIに関するSFに変換する • 同じ状況から異なる考え方の主人公を行動させる •

    「逆の立場」を書かせる:何が逆だと生成AIが捉えるかが問題に • 好きな曲の歌詞からSFを生成 • 様々なプロセスによる生成 • チャットでの対話による段階的な改善 • まず概念を説明させた上で、その要素を織り込んだSFを生成 • 各段落の役割を1つ1つ指示 • ダイスを振って展開を変えていく
  15. 様々な「支援」の仕方 • 作品に対するフィードバック • 感想や意見を求める • 自分も知らない教訓を考えてもらう • 改善案の提案 •

    執筆には様々な段階があるが、どこでフィードバック をもらうかが多様 • アイデア • 世界観 • プロットやアウトライン • 本文
  16. SFの執筆にどう役立ったのか? • 初期的観察 • 多くの作品は、いわゆる小説の形式ではなかった • 「SFや小説とは何か」についてはご勘弁を… • プロット段階や「あらすじ」も多かった •

    それらは実際に読まれ、感想も書かれた • 参加者はAIについて考え、様々な意見に分かれた • 物語を通じて「未来を考える」目的は果たしていた • 不完全なSFとして見るか、物語の新しい形式などと して見るか→受け取られ方による
  17. 人やAIによる 文章 人やAIによる 文章 AIによって 改善された文章 人によって 改善された文章 これを付け加えて! これに変えて!

    感想をお願い! ~の観点で評価して! 生成AIによる支援の考え方(2) • 生成AIの別の見方:文章から別の文章に変換する • 生成AIはもともとニューラル機械翻訳、ある言語か ら他言語への変換の仕組みから発展 • 文章の改善は人がやってもAIがやってもよい
  18. 生成AIの活用に必要なリテラシー • 情報リテラシー?メディアリテラシー?コンピュータ リテラシー?AIリテラシー? • リテラシー:文章を読み書きする能力 • 生成AIは文章が核。読み書きできないと活用できない • 生成AIに明確に指示する:指示を書く能力が必要

    • 難しい概念について、平易に書かないと誤解されてし まった。その過程で人間側の概念の理解も洗練された • 「GPT-4にもわかる~~」 • オモイカネプロジェクトにおける議論:「未来現代文」
  19. 情報源へのアクセスの必要性 • 生成AIはこちらの提示した研究をそのまま正しいもの として受け入れた→正しさの検証は自分でやる必要 • あるSF執筆のAIとの対話ログ:AIによる新しい落語 • AIが「かちかち山」を演目にすることを提案→「かちかち 山」とはなにか聞いたらでたらめな物語を生成 •

    面白かった • 問題:誰も気づかなかった。大人になったからか、皆元の 「かちかち山」を忘れていたのではないか • 調べてギャップに気づくところまでを物語と捉えれば面白い • 生成や指示には、正確な情報へのアクセスがより必要
  20. かちかち山 • かちかち山 • 悪さをするタヌキがおじいさんに捕らえられたが、 おばあさんを殺して汁にしておじいさんに飲ませて しまう。おじいさんは仇討のためにウサギに相談し、 ウサギは凄惨な拷問の末にタヌキを殺害する。 • AIに聞いたかちかち山

    • 夫婦が山に行ったら夫が「かちかち」という音をし ながら木に取り込まれてしまう。妻は村の老人に相 談をする。老人が夫に「早く帰ろう」と言ったら夫 は「がちがち」という音とともに元に戻る。
  21. 課題: 生成AIをどう使うか? • 以上のように、生成AIには様々な指示ができる • 何ができて、どこまでが限界なのだろうか? • 図式的な表現をしたが、人々は使う中で生成AIの特性 を学んでいる可能性 •

    1つのアプローチ:実際の利用者は、既に物語を書くな ど、自分がやったことのないことにすらも、AIに新し い使い方を見い出している。それを理解する • つまり、生成AIの利用の多様性は人々にとっての課題 • それを理解し、使い方やシステムを提案できるだろう
  22. 結論 • 今結論を出すのは時期尚早、試行錯誤が必要 参考文献 市古みどり・上岡真紀子・保坂睦 (2014). 『資料検索入門 ― レポート・論文を書くために』. 慶應義塾大学出版

    会. 160p. 田島逸郎 (2023). 「大規模言語モデルに基づいた対話型AIによる研究支援に関する初歩的分析」『研究報告ド キュメントコミュニケーション』128, 1-6. 情報処理学会 http://id.nii.ac.jp/1001/00225472/ 岡野原大輔 (2023). 『大規模言語モデルは新たな知能か――ChatGPTが変えた世界 (岩波科学ライブラリー)』. 岩波書店. 136p. 黒橋禎夫 (2023). 『自然言語処理〔三訂版〕』. 放送大学教育振興会. 228p.