Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ChatGPTを聞き手にしよう
Search
Tajima Itsuro
May 25, 2023
Technology
0
1k
ChatGPTを聞き手にしよう
At ChatGPT Meetup Tokyo #2
Tajima Itsuro
May 25, 2023
Tweet
Share
More Decks by Tajima Itsuro
See All by Tajima Itsuro
小説執筆における生成AIの利用
niryuu
0
210
研究・執筆支援ツールとしての生成AI
niryuu
0
200
大規模言語モデルに基づいた対話型AIによる研究支援に関する初歩的分析
niryuu
1
450
プログラミング活動の中の情報源としてのStack Overflow
niryuu
0
130
Stack Overflowにおける編集活動:知識の公開という観点から
niryuu
0
160
Stack Overflow研究の諸側面とワークの研究によるアプローチ
niryuu
0
84
AR勉強会5章
niryuu
0
840
Stack Overflowにおける「知識の総和の増加」への志向と達成
niryuu
0
180
小回りの効く WebViewの使い方
niryuu
2
1.7k
Other Decks in Technology
See All in Technology
DenoでもViteしたい!インポートパスのエイリアスを指定してラクラクアプリ開発
bengo4com
1
1.7k
【shownet.conf_】3Dアプローチで守るセキュリティ
shownet
PRO
0
280
AWS Lambdaで実現するスケーラブルで低コストなWebサービス構築/YAPC::Hakodate2024
fujiwara3
5
890
Assisted reorganization of data structures
ennael
PRO
0
210
Webセキュリティのあるきかた
akiym
8
2.2k
Efficient zero-copy networking using io_uring
ennael
PRO
0
270
VS CodeでF1〜12キーつかってますか? / Do you use the F1-12 keys in VS Code?
74th
2
270
Tracking down sources of kernel errors with retsnoop
ennael
PRO
0
140
SQLによるオブザーバビリティの進化とClickHouseの実力
mikimatsumoto
0
150
【shownet.conf_】ネットワークテストの最適化と利便性の追求
shownet
PRO
0
240
AI時代のアジャイル開発(XP祭り2024版) / Agile Development in the AI Era in XPJUG
takaking22
13
3.4k
PREEMPT_RT over the years
ennael
PRO
0
310
Featured
See All Featured
Navigating Team Friction
lara
183
14k
4 Signs Your Business is Dying
shpigford
180
21k
Code Reviewing Like a Champion
maltzj
519
39k
Clear Off the Table
cherdarchuk
91
320k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
504
140k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
22k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
How GitHub (no longer) Works
holman
311
140k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
Designing for Performance
lara
604
68k
A Philosophy of Restraint
colly
202
16k
Transcript
ChatGPTを聞き手にしよう Itsuro Tajima <
[email protected]
>
自己紹介 • 38歳(5/25生まれ) • 仕事:地理空間情報の研究開発(Georepublic Japan) • 博士取りたい、知識マネジメントに関するコンピュータ支援共 同作業研究(Stack Overflowなどの社会学的分析)
• 3/28 情報処理学会ドキュメントコミュニケーション研究会「大 規模言語モデルに基づいた対話型AIによる研究支援に関す る初歩的分析」発表。論文化予定 ◦ Bing Chatが生成した質問の分析。本発表の元ネタ
私とAI • いろいろあって自然言語処理を学んだ • deeplearning.ai Natural Language Processing Specialization ◦
ロジスティック回帰分析からTransformerまで ◦ 難しいアルゴリズムは難しい ◦ GPT-4のトークン計算量周りに携わったŁukasz Kaiserな どが講師 • 一応中身は多少わかっているはず
AIに何をやらせたかったか • 生成AI→LLMに何かを書かせる、させる • 逆で、聞き手になって自分が書いたものや考えていることに ツッコミを入れてほしい ◦ 人と専門的なことを話すのはハードルが高い ◦ 助けて
• 書いた文章に質問をしてほしい ◦ 質問生成タスク:質問回答タスクよりはるかに難しい ◦ 特に学問だと答えがない質問なので難しい ◦ BERTあたりで作るか…
AIに質問をしてほしい • ちょうどその頃(2/16)… • Bing Chatのインビテーションが来た ◦ (備考:当時はGPT-4だと知らなかった) • 次にする質問をサジェスト→質問できるのでは?
AIは質問をできる • やってみた→あっさり質問してくれた • 「以下の文章に専門的で建設的で創造的な質問をしてくださ い。」 • 論文のアブストラクトっぽいものを入力(トークン制限)
AIは質問をできる • やってみた→あっさり質問してくれた • 鋭い。答えていると疲れる。頭を使わせる
AIは質問をできる • ChatGPT(GPT-4)でもやった→論文が1つ書けるくらいの質問 をしたあとネタ切れ • ChatGPT(GPT-3.5)ではすぐネタ切れ • 対話型AI自体が創造的な質問をすることはない(調査中) ◦ 学習データ以上には行かない
• できること(学術研究) ◦ 内容面の指摘(方法、根拠、今後の展望など) ◦ 文章構成の指摘(論文の書き方) ◦ 1つの話題の深掘り
この手法の良い点、悪い点 • 自分で書いたことをベースに質問してくれるので、 Hallucinationが起きにくい • 一方、間違いを指摘もしない。正しさはあくまで人間が検証す る必要 • ちゃんと書かないとだめ
応用できるのでは • ソフトウェア開発上で起こる面倒くさいことなどについて、考えを文 章化してフィードバックを試行中 • 他にもいろいろ、考えることや書くことを聞き手になって支援できる のでは • プロンプトに関しては色々実験中 ◦
「質問」ではなく「アドバイス」「指摘」など ◦ 点数を付けてもらったり ◦ few-shotもいいかもしれない • 一般的なフィードバックが多いが、それをくれるのは重要