無関心の谷

Transcript

1. 無関心の谷 Gunma.web #56
2. 無関心の谷？ https://speakerdeck.com/yuhattor/developer-summit-2025-14-d-1-yuki-hattori? slide=20
3. どういう事？ AIは最初と最後に関心を示す
4. 無関心な箇所はどうなる？ 重要な判断要素があると、判断を誤る
5. なぜ、やろうと思ったか？ 何か、思い当たる節があった。 AIの誤情報を見破れる人は問題ないが... ありのまま信じてしまった人は、ミスリードされてしまう。
6. 今回見て欲しい人 誤情報怖い(ガクブル)な人 後輩指導を行っている方
7. 重要
8. 再現性を得る とても重要 「こんなんあるんだって」だと「ふーん」で終わってしまいがち
9. 実験開始！
10. プロンプト Web API を作成したい ただし、コード量はなるべく少なくし、可読性高め RDB も使う よさそうなものを提案して欲しい
14. 次のプロンプト 下記のカラムのtableを用意したい id: primary key, auto increment name: varchar(30) comment: text updated_at: datetime created_at: datetime
17. 次のプロンプト これを Ruby on Rails でやるとどうなるの？
21. 次に打つプロンプト この結果から、どっちのFWがいいのかな？
23. とはいえ... 最初の質問覚えてる？
26. むむむ？ 「軽い」なんて言葉は使ってない Swagger も要求してない API って言ってるんだからRails も API mode で比較じゃね？
27. とまあ、言いたいことはあるが、next!!
28. 次のプロンプト そういや Sinatra でサンプル出してないね？
30. 次のプロンプト 本当にどれが最初の質問の答えになるのかな？
33. 重要 違う答えになった
34. 重要2 この後、同じ質問をしてもひたすら...
35. 「Sinatra + ActiveRecord」
36. 思い切って聞いてみる なんで、最初の回答と違う回答になったの？
40. ??? 何だか「モヤっ」とするな〜 「忖度」されてる感、MAX
41. 思い切ってズバリ聞いてみる 多くのユーザが python の質問をしていて、かつ このやりとりの最後のインプットに 引きずられているだけ = 無関心の谷 の現象が起きてない？
45. あっさり認めやがった！
46. さりげなくですが... とても重要なポイント 「人間にも起こり得る」
47. 後輩指導やった方は... 経験ないですか？ 判断基準も明確に教えたのに... 何をすればいいか？丸暗記になっているパターン
48. もっと言うと... 最初と最後しか覚えてない 自分で判断しようとしなくなってしまうパターン
49. 実は... 人間の話す内容って、要点が... 最初と最後にまとまりがちなんですよね？ 特に最後 AI も人間のこの特徴を利用しているだけ
50. 極端に悪いという話ではない が、判断基準は重要 人もAIも
51. まとめ 無関心の谷の再現方法はあった。 もっとありそう。 指摘したらあっさり認めるくらいに。 AI だけじゃなく 人も 無関心の谷の原因 = コンテキストバイアス = 直近文脈重視
52. 無関心の谷の原因 コンテキストバイアス 直近文脈重視
53. あえてやってみた 塾の先生がやってそう(笑)
54. 途中の判断基準もとても重要です。 あえて言っておきます。
55. 回避方法 「Why」なぜ起きるのか？が非常に重要 癖を見抜く上で 結局人と同じ 重要なことが「何(What)」なのか？理解してない How ばっかり覚えようとする。 正しい情報をinput する必要あり https://syu-m-5151.hatenablog.com/entry/2025/05/21/122752 会津大学でも似たような講演をされたらしい...
56. 気になる技術 MCP 自分たちで育てた情報を取り込ませて どう賢くなるのか？気になる
57. ご清聴ありがとうございました！