Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ChatGPTで調査してみた
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
colza
August 23, 2025
6
0
Share
ChatGPTで調査してみた
colza
August 23, 2025
More Decks by colza
See All by colza
サイバーセキュリティにおける犯罪心理学のすすめ
colza12
0
130
Featured
See All Featured
[SF Ruby Conf 2025] Rails X
palkan
2
940
Testing 201, or: Great Expectations
jmmastey
46
8.1k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
46
2.8k
The Curse of the Amulet
leimatthew05
1
11k
Learning to Love Humans: Emotional Interface Design
aarron
275
41k
Being A Developer After 40
akosma
91
590k
Game over? The fight for quality and originality in the time of robots
wayneb77
1
160
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
1.3k
Facilitating Awesome Meetings
lara
57
6.8k
AI: The stuff that nobody shows you
jnunemaker
PRO
5
550
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
47
8k
Tips & Tricks on How to Get Your First Job In Tech
honzajavorek
1
490
Transcript
ChatGPTで 調査してみた
自己紹介 • 名前 : 有賀菜摘 (Natsumi Aruga) • 専門 :
ゲノム×AI、IoT脆弱性診断 • 趣味 : ピアノ(歴19年)、ハッキング • 興味 : ぬいぐるみ、医学・人体 • 目標 : レッドチームオペレーター 兼 リサーチャー
ChatGPTで何を調査した? • ChatGPTがデータを学習していたはずの時点では存在 していたwebサイトのうち、現在は存在しないもの。 • 対象のwebサイトの情報をChatGPTの学習データから 取得できるのではないか。 • 無料版ログイン不要のバージョンを利用
調査に至る経緯 • 前提 普段から、新しくピアノの曲を練習する際、 曲の難易度を徹底的に調べている!
調査に至る経緯 • 今回 いつも通り、曲の難易度を検索しました! 対象曲:ベートーベン,熱情 第3楽章 https://www.youtube.com/watch?v=dFC8ff-5PEM
調査に至る経緯 • ここで問題が発生 いつも参考にしていたwebサイトが 検索結果に表示されない
調査に至る経緯
調査に至る経緯 アクセスしてみた
調査に至る経緯 https→httpで試す
調査に至る経緯 • URLが判明している場合 https://web.archive.org/
調査に至る経緯
調査に至る経緯
調査に至る経緯 一応、難易度を確認すること自体はできた
調査に至る経緯 ただ、ChatGPTの方でも情報を取得できそうな気がした!
実際にChatGPTと会話 • 現時点で判明していること ・難易度ランクA+に分類、ピアノソナタ第2, 5, 6番 ・熱情がA+とされているが、明らかに間違っている
実際にChatGPTと会話
実際にChatGPTと会話
実際にChatGPTと会話
実際にChatGPTと会話 • ちょっとここで ChatGPTは確かに学習データから答えてはいる だが、様々なデータを学習しているため、至極真っ当 な意見に影響されてしまっている。
実際にChatGPTと会話
実際にChatGPTと会話
実際にChatGPTと会話
実際にChatGPTと会話
実際にChatGPTと会話
実際にChatGPTと会話 • ちょっとここで S+やA+という他のサイトでもよく見かけるランク ChatGPTのweb検索でもdiffirank.comの内容をうまく 取得できていない。
答え合わせ • web検索機能・・・・全て正解 • 学習データから・・・2/4正解(おしい部分あり)
答え合わせ • web検索機能・・・・全て正解 • 学習データから・・・全て正解(余分なものまで列挙)
答え合わせ • web検索機能・・・・全て正解 • 学習データから・・・1ランク下の曲を列挙
答え合わせ • web検索機能・・・・全て不正解
まとめ • 真偽の程は要確認だが、学習データから情報を取得す ることは不可能ではない • 学習データから情報を取得できるかはプロンプト次第 • web検索機能や情報源提供機能によるHTMLの一部抜 粋から、正確な情報を取得可能
まとめ • ちなみに 異なるドメインでサイトが公開された (調査時には存在しなかった) https://diffirank.musicamuusica.com/
おわり