Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ChatGPTを聞き手にしよう
Search
Tajima Itsuro
May 25, 2023
Technology
0
1.1k
ChatGPTを聞き手にしよう
At ChatGPT Meetup Tokyo #2
Tajima Itsuro
May 25, 2023
Tweet
Share
More Decks by Tajima Itsuro
See All by Tajima Itsuro
小説執筆における生成AIの利用
niryuu
0
310
研究・執筆支援ツールとしての生成AI
niryuu
0
280
大規模言語モデルに基づいた対話型AIによる研究支援に関する初歩的分析
niryuu
1
530
プログラミング活動の中の情報源としてのStack Overflow
niryuu
0
160
Stack Overflowにおける編集活動:知識の公開という観点から
niryuu
0
210
Stack Overflow研究の諸側面とワークの研究によるアプローチ
niryuu
0
120
AR勉強会5章
niryuu
0
900
Stack Overflowにおける「知識の総和の増加」への志向と達成
niryuu
0
220
小回りの効く WebViewの使い方
niryuu
2
1.8k
Other Decks in Technology
See All in Technology
MySQL5.6から8.4へ 戦いの記録
kyoshidaxx
1
210
LinkX_GitHubを基点にした_AI時代のプロジェクトマネジメント.pdf
iotcomjpadmin
0
170
AWS Summit Japan 2025 Community Stage - App workflow automation by AWS Step Functions
matsuihidetoshi
1
260
2年でここまで成長!AWSで育てたAI Slack botの軌跡
iwamot
PRO
4
700
VISITS_AIIoTビジネス共創ラボ登壇資料.pdf
iotcomjpadmin
0
160
PHPでWebブラウザのレンダリングエンジンを実装する
dip_tech
PRO
0
200
Prox Industries株式会社 会社紹介資料
proxindustries
0
290
エンジニア向け技術スタック情報
kauche
1
250
AWS CDK 実践的アプローチ N選 / aws-cdk-practical-approaches
gotok365
6
740
Navigation3でViewModelにデータを渡す方法
mikanichinose
0
220
rubygem開発で鍛える設計力
joker1007
2
200
製造業からパッケージ製品まで、あらゆる領域をカバー!生成AIを利用したテストシナリオ生成 / 20250627 Suguru Ishii
shift_evolve
PRO
1
140
Featured
See All Featured
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
GitHub's CSS Performance
jonrohan
1031
460k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
790
Designing for Performance
lara
609
69k
Embracing the Ebb and Flow
colly
86
4.7k
Code Review Best Practice
trishagee
68
18k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Facilitating Awesome Meetings
lara
54
6.4k
Building Applications with DynamoDB
mza
95
6.5k
Music & Morning Musume
bryan
46
6.6k
Statistics for Hackers
jakevdp
799
220k
Transcript
ChatGPTを聞き手にしよう Itsuro Tajima <
[email protected]
>
自己紹介 • 38歳(5/25生まれ) • 仕事:地理空間情報の研究開発(Georepublic Japan) • 博士取りたい、知識マネジメントに関するコンピュータ支援共 同作業研究(Stack Overflowなどの社会学的分析)
• 3/28 情報処理学会ドキュメントコミュニケーション研究会「大 規模言語モデルに基づいた対話型AIによる研究支援に関す る初歩的分析」発表。論文化予定 ◦ Bing Chatが生成した質問の分析。本発表の元ネタ
私とAI • いろいろあって自然言語処理を学んだ • deeplearning.ai Natural Language Processing Specialization ◦
ロジスティック回帰分析からTransformerまで ◦ 難しいアルゴリズムは難しい ◦ GPT-4のトークン計算量周りに携わったŁukasz Kaiserな どが講師 • 一応中身は多少わかっているはず
AIに何をやらせたかったか • 生成AI→LLMに何かを書かせる、させる • 逆で、聞き手になって自分が書いたものや考えていることに ツッコミを入れてほしい ◦ 人と専門的なことを話すのはハードルが高い ◦ 助けて
• 書いた文章に質問をしてほしい ◦ 質問生成タスク:質問回答タスクよりはるかに難しい ◦ 特に学問だと答えがない質問なので難しい ◦ BERTあたりで作るか…
AIに質問をしてほしい • ちょうどその頃(2/16)… • Bing Chatのインビテーションが来た ◦ (備考:当時はGPT-4だと知らなかった) • 次にする質問をサジェスト→質問できるのでは?
AIは質問をできる • やってみた→あっさり質問してくれた • 「以下の文章に専門的で建設的で創造的な質問をしてくださ い。」 • 論文のアブストラクトっぽいものを入力(トークン制限)
AIは質問をできる • やってみた→あっさり質問してくれた • 鋭い。答えていると疲れる。頭を使わせる
AIは質問をできる • ChatGPT(GPT-4)でもやった→論文が1つ書けるくらいの質問 をしたあとネタ切れ • ChatGPT(GPT-3.5)ではすぐネタ切れ • 対話型AI自体が創造的な質問をすることはない(調査中) ◦ 学習データ以上には行かない
• できること(学術研究) ◦ 内容面の指摘(方法、根拠、今後の展望など) ◦ 文章構成の指摘(論文の書き方) ◦ 1つの話題の深掘り
この手法の良い点、悪い点 • 自分で書いたことをベースに質問してくれるので、 Hallucinationが起きにくい • 一方、間違いを指摘もしない。正しさはあくまで人間が検証す る必要 • ちゃんと書かないとだめ
応用できるのでは • ソフトウェア開発上で起こる面倒くさいことなどについて、考えを文 章化してフィードバックを試行中 • 他にもいろいろ、考えることや書くことを聞き手になって支援できる のでは • プロンプトに関しては色々実験中 ◦
「質問」ではなく「アドバイス」「指摘」など ◦ 点数を付けてもらったり ◦ few-shotもいいかもしれない • 一般的なフィードバックが多いが、それをくれるのは重要