ChatGPTで調査してみた

Transcript

1. ChatGPTで 調査してみた
2. 自己紹介 • 名前 ： 有賀菜摘 (Natsumi Aruga) • 専門 ： ゲノム×AI、IoT脆弱性診断 • 趣味 ： ピアノ(歴19年)、ハッキング • 興味 ： ぬいぐるみ、医学･人体 • 目標 ： レッドチームオペレーター 兼 リサーチャー
3. ChatGPTで何を調査した？ • ChatGPTがデータを学習していたはずの時点では存在 していたwebサイトのうち、現在は存在しないもの。 • 対象のwebサイトの情報をChatGPTの学習データから 取得できるのではないか。 • 無料版ログイン不要のバージョンを利用
4. 調査に至る経緯 • 前提 普段から、新しくピアノの曲を練習する際、 曲の難易度を徹底的に調べている！
5. 調査に至る経緯 • 今回 いつも通り、曲の難易度を検索しました！ 対象曲：ベートーベン,熱情 第３楽章 https://www.youtube.com/watch?v=dFC8ff-5PEM
6. 調査に至る経緯 • ここで問題が発生 いつも参考にしていたwebサイトが 検索結果に表示されない
7. 調査に至る経緯
8. 調査に至る経緯 アクセスしてみた
9. 調査に至る経緯 https→httpで試す
10. 調査に至る経緯 • URLが判明している場合 https://web.archive.org/
11. 調査に至る経緯
12. 調査に至る経緯
13. 調査に至る経緯 一応、難易度を確認すること自体はできた
14. 調査に至る経緯 ただ、ChatGPTの方でも情報を取得できそうな気がした！
15. 実際にChatGPTと会話 • 現時点で判明していること ・難易度ランクA+に分類、ピアノソナタ第2, 5, 6番 ・熱情がA+とされているが、明らかに間違っている
16. 実際にChatGPTと会話
17. 実際にChatGPTと会話
18. 実際にChatGPTと会話
19. 実際にChatGPTと会話 • ちょっとここで ChatGPTは確かに学習データから答えてはいる だが、様々なデータを学習しているため、至極真っ当 な意見に影響されてしまっている。
20. 実際にChatGPTと会話
21. 実際にChatGPTと会話
22. 実際にChatGPTと会話
23. 実際にChatGPTと会話
24. 実際にChatGPTと会話
25. 実際にChatGPTと会話 • ちょっとここで S+やA+という他のサイトでもよく見かけるランク ChatGPTのweb検索でもdiffirank.comの内容をうまく 取得できていない。
26. 答え合わせ • web検索機能・・・・全て正解 • 学習データから・・・2/4正解(おしい部分あり)
27. 答え合わせ • web検索機能・・・・全て正解 • 学習データから・・・全て正解(余分なものまで列挙)
28. 答え合わせ • web検索機能・・・・全て正解 • 学習データから・・・1ランク下の曲を列挙
29. 答え合わせ • web検索機能・・・・全て不正解
30. まとめ • 真偽の程は要確認だが、学習データから情報を取得す ることは不可能ではない • 学習データから情報を取得できるかはプロンプト次第 • web検索機能や情報源提供機能によるHTMLの一部抜 粋から、正確な情報を取得可能
31. まとめ • ちなみに 異なるドメインでサイトが公開された (調査時には存在しなかった) https://diffirank.musicamuusica.com/
32. おわり