Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ChatGPTを聞き手にしよう
Search
Tajima Itsuro
May 25, 2023
Technology
0
1.2k
ChatGPTを聞き手にしよう
At ChatGPT Meetup Tokyo #2
Tajima Itsuro
May 25, 2023
Tweet
Share
More Decks by Tajima Itsuro
See All by Tajima Itsuro
小説執筆における生成AIの利用
niryuu
0
340
研究・執筆支援ツールとしての生成AI
niryuu
0
300
大規模言語モデルに基づいた対話型AIによる研究支援に関する初歩的分析
niryuu
1
550
プログラミング活動の中の情報源としてのStack Overflow
niryuu
0
170
Stack Overflowにおける編集活動:知識の公開という観点から
niryuu
0
220
Stack Overflow研究の諸側面とワークの研究によるアプローチ
niryuu
0
120
AR勉強会5章
niryuu
0
910
Stack Overflowにおける「知識の総和の増加」への志向と達成
niryuu
0
230
小回りの効く WebViewの使い方
niryuu
2
1.8k
Other Decks in Technology
See All in Technology
10年の共創が示す、これからの開発者と企業の関係 ~ Crossroad
soracom
PRO
1
170
許しとアジャイル
jnuank
1
120
Goに育てられ開発者向けセキュリティ事業を立ち上げた僕が今向き合う、AI × セキュリティの最前線 / Go Conference 2025
flatt_security
0
350
いま注目しているデータエンジニアリングの論点
ikkimiyazaki
0
590
PLaMo2シリーズのvLLM実装 / PFN LLM セミナー
pfn
PRO
2
980
Azure Well-Architected Framework入門
tomokusaba
1
290
生成AI_その前_に_マルチクラウド時代の信頼できるデータを支えるSnowflakeメタデータ活用術.pdf
cm_mikami
0
110
Shirankedo NOCで見えてきたeduroam/OpenRoaming運用ノウハウと課題 - BAKUCHIKU BANBAN #2
marokiki
0
140
それでも私はContextに値を詰めたい | Go Conference 2025 / go conference 2025 fill context
budougumi0617
4
1.2k
"複雑なデータ処理 × 静的サイト" を両立させる、楽をするRails運用 / A low-effort Rails workflow that combines “Complex Data Processing × Static Sites”
hogelog
3
1.9k
非エンジニアのあなたもできる&もうやってる!コンテキストエンジニアリング
findy_eventslides
3
910
OpenAI gpt-oss ファインチューニング入門
kmotohas
2
960
Featured
See All Featured
Rails Girls Zürich Keynote
gr2m
95
14k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
610
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
Git: the NoSQL Database
bkeepers
PRO
431
66k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
32
2.2k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
51k
Context Engineering - Making Every Token Count
addyosmani
5
180
Site-Speed That Sticks
csswizardry
11
880
Typedesign – Prime Four
hannesfritz
42
2.8k
Statistics for Hackers
jakevdp
799
220k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
Transcript
ChatGPTを聞き手にしよう Itsuro Tajima <
[email protected]
>
自己紹介 • 38歳(5/25生まれ) • 仕事:地理空間情報の研究開発(Georepublic Japan) • 博士取りたい、知識マネジメントに関するコンピュータ支援共 同作業研究(Stack Overflowなどの社会学的分析)
• 3/28 情報処理学会ドキュメントコミュニケーション研究会「大 規模言語モデルに基づいた対話型AIによる研究支援に関す る初歩的分析」発表。論文化予定 ◦ Bing Chatが生成した質問の分析。本発表の元ネタ
私とAI • いろいろあって自然言語処理を学んだ • deeplearning.ai Natural Language Processing Specialization ◦
ロジスティック回帰分析からTransformerまで ◦ 難しいアルゴリズムは難しい ◦ GPT-4のトークン計算量周りに携わったŁukasz Kaiserな どが講師 • 一応中身は多少わかっているはず
AIに何をやらせたかったか • 生成AI→LLMに何かを書かせる、させる • 逆で、聞き手になって自分が書いたものや考えていることに ツッコミを入れてほしい ◦ 人と専門的なことを話すのはハードルが高い ◦ 助けて
• 書いた文章に質問をしてほしい ◦ 質問生成タスク:質問回答タスクよりはるかに難しい ◦ 特に学問だと答えがない質問なので難しい ◦ BERTあたりで作るか…
AIに質問をしてほしい • ちょうどその頃(2/16)… • Bing Chatのインビテーションが来た ◦ (備考:当時はGPT-4だと知らなかった) • 次にする質問をサジェスト→質問できるのでは?
AIは質問をできる • やってみた→あっさり質問してくれた • 「以下の文章に専門的で建設的で創造的な質問をしてくださ い。」 • 論文のアブストラクトっぽいものを入力(トークン制限)
AIは質問をできる • やってみた→あっさり質問してくれた • 鋭い。答えていると疲れる。頭を使わせる
AIは質問をできる • ChatGPT(GPT-4)でもやった→論文が1つ書けるくらいの質問 をしたあとネタ切れ • ChatGPT(GPT-3.5)ではすぐネタ切れ • 対話型AI自体が創造的な質問をすることはない(調査中) ◦ 学習データ以上には行かない
• できること(学術研究) ◦ 内容面の指摘(方法、根拠、今後の展望など) ◦ 文章構成の指摘(論文の書き方) ◦ 1つの話題の深掘り
この手法の良い点、悪い点 • 自分で書いたことをベースに質問してくれるので、 Hallucinationが起きにくい • 一方、間違いを指摘もしない。正しさはあくまで人間が検証す る必要 • ちゃんと書かないとだめ
応用できるのでは • ソフトウェア開発上で起こる面倒くさいことなどについて、考えを文 章化してフィードバックを試行中 • 他にもいろいろ、考えることや書くことを聞き手になって支援できる のでは • プロンプトに関しては色々実験中 ◦
「質問」ではなく「アドバイス」「指摘」など ◦ 点数を付けてもらったり ◦ few-shotもいいかもしれない • 一般的なフィードバックが多いが、それをくれるのは重要