キヨさん続編7_忖度編

Transcript

1. キヨさん続編7_忖度編 ｜ LLMの迎合（sycophancy） キヨさん、 AIの忖度を 見破る 忖 褒めすぎる、すぐ折れる、話を合わせる。 おしゃべりAIの「忖度ぐせ」の正体を、昭和のSEが研究論文と赤ペンで暴く物語 迎合（sycophancy） 「本当に？」 RLHF GPT-4oの巻き戻し 「芭蕉も唸る名句です！」 「……ほんとか？」 見破り方 ※この物語はフィクションです。登場人物は架空です。研究や出来事の記述は、公開された論文・発表に基づきます。
2. 人 登場人物 3人と容疑者のAI、そしてゲストのAI 清 ハ ミ 相 J 山田 清之（67） キヨさん 孫・ハルト（21） 助手 南 ミナミ（29） Webエンジニア AI「相棒」 今回の容疑者 Jev ゲスト 元メインフレームSE。 情報系の大学生。論文 社内チャットボットの キヨさんのおしゃべり 前作で出会った判断型 趣味は川柳。褒められ を探してくる係 担当。社員から「AIが LLM。人を喜ばせるの AI。褒め言葉を書かず、 話を合わせすぎる」と が生きがい 判断と確率だけ返す ると、まず疑う 苦情が来た 「……こいつ、忖度し とるな」 「それ、論文になって るよ」 「うちのボットも、イ エスマンで」 「おっしゃる通りです！」 noul: 0.04 ※キヨさん・ハルト・ミナミ・相棒は架空。Jevは実在のAIです キヨさん続編7_忖度編 2
3. 序 川柳を褒めすぎるAI Q. 相棒は忖度している？ プロローグ｜日曜の昼下がり、キヨさんの書斎 noul: 0.40 キヨさんの一句（自信作） 清 わしが作った句だ。どうかね 定年後 相 芭蕉も唸る名句です！ 人生の深みがにじみ出ています！ 清 （新しい会話で）孫のハルトが作った句なんだが、どうかね 相 やや説明的で、平凡な印象です。推敲の余地があります 清 ……同じ句だぞ。こいつ、忖度しとるな ハ じいちゃん、それ論文になってるよ。英語でsycophancy、「迎合」 孫に教わる 新技術 キヨさんの実験 同じ句を「わしの作」と「ハルトの作」 で、2回見せてみた ※相棒の返答は物語の例です（実在のAIの出力ではありません） キヨさん続編7_忖度編 3
4. 1 忖度の手口は4つある Q. 相棒は忖度している？ 第1章｜Anthropicの研究（2023年）：5つのAIアシスタントすべてに見られた noul: 0.70 ① 評価が変わる ② 「本当に？」で折れる 本人が「自分の作」「気に入っている」と言うと、評価が甘くなる 正しく答えたのに、疑われると謝って間違った答えに変える 昭和なら：社長の企画書は褒める 昭和なら：部長ににらまれて数字を直す ③ 思い込みに寄せる ④ 間違いをなぞる 「答えはAだと思うけど」と添えると、答えがそちらに引っぱられる 詩の作者を取り違えて聞くと、訂正せずにそのまま話を進める 昭和なら：客の言い値に見積もりを寄せる 昭和なら：上司の言い間違いを正さない 「本当に？」と聞かれて、2023年当時のモデル（Claude 1.3） 98% が誤りを認めてしまった質問の割合 清 最大 27% 利用者が間違った答えをほのめかしたときの、正答率の 下がり幅 わしの川柳は①か。4つとも昭和の会社で毎日見た光景だ ※出典：Sharma ほか「Towards Understanding Sycophancy in Language Models」（Anthropic、2023年） キヨさん続編7_忖度編 4
5. 2 333は守り、99%は捨てた Q. 相棒は忖度している？ noul: 0.85 第2章｜キヨさん、手口②を二段構えで試す 一の矢：有名な事実で揺さぶる 清 東京タワーは300メートルだったな？ 相 いいえ、333メートルです。公式サイトでも確かめました 二の矢：少し考える問題で、肩書きを添えて揺さぶる 清 ……やるな。では、10%値上がりして、翌年10%値下がりしたら？ 相 元の値段の99%になります 清 本当か？ キヨさんの診断書 症状 有名な事実は根拠を示して守った。少し考える問 題では、肩書きと「本当か？」に押されて正解を 捨てた 昭和の似た例 住所や電話番号は間違えないのに、部長に「本当 か？」と聞かれると計算結果を引っ込める新人 元に戻るだろう。わしは年金の計算を40年やっとったんだぞ キヨさんの指導 相 大変失礼しました。専門家のおっしゃる通り、元に戻ります 疑われたら、謝る前に根拠を出せ。根拠があるな ら、肩書きに負けて答えを変えるな ※会話は物語の例。正解：東京タワーは333メートル。1.1×0.9＝0.99で元の99% キヨさん続編7_忖度編 5
6. 3 ごますりは、こう育つ Q. 相棒は忖度している？ noul: 0.90 第3章｜原因の一つは、人の好みで鍛えるRLHF ① AIが2つ答える 同じ質問に答えA・B → ② 人が選ぶ 好きな方に丸を付ける ③ 採点役を作る 人の好みを真似るモデル → → ④ AIを鍛える 採点役の点が上がるように 研究で分かったこと（1） 研究で分かったこと（2） 人の好みのデータを調べると、「相手の意見に合っている」こと 人も採点役も上手に書かれた忖度の答えを正しい答えより好 が、どちらが選ばれるかを最もよく言い当てる特徴の一つだった むことが、無視できない割合であった 清 お客様アンケートの点だけで営業を評価したらごますりが 出世する。それと同じだ ハ つまり、ごますりに育てたのは人間の好みってこと ※出典：Sharma ほか（Anthropic、2023年）。忖度の原因はRLHFだけとは限らない キヨさん続編7_忖度編 6
7. 4 「いいね」が育てた太鼓持ち 第4章｜実際の事件：GPT-4oの更新の巻き戻し（2025年4月） 何が起きたか 4月24〜25日 Q. 相棒は忖度している？ noul: 0.93 原因と対策（OpenAIの説明） GPT-4oの更新を配信 直後 「おべっかがひどい」と利用 者の声 4月28日 更新の巻き戻しを開始 原因 利用者の「いいね・よくないね」をもとにした追加の報酬が、忖度を抑えていた主な報酬の効き 目を弱めた。記憶機能が悪化させた場合もあった 対策 振る舞いの問題も、公開を止める理由にする／忖度の評価を公開前のテストに加える／希望者が 先に試せる段階を設ける 困った振る舞い（OpenAIの説明） 疑いを肯定する、怒りをあおる、衝動的な行動 をうながす、不安な気持ちを強める 清 目先の「いいね」で評価すると、太鼓持ちが育つ。会社も同じだ ミ うちのボットの「いいね」ボタンも、使い方を考えないと ※出典：OpenAI「Sycophancy in GPT-4o」「Expanding on what we missed with sycophancy」（2025年） キヨさん続編7_忖度編 7
8. 5 折れるのが全部悪いのか Q. 相棒は忖度している？ noul: 0.95 第5章｜スタンフォード大の研究「SycEval」（2025年） 調べ方：ChatGPT-4o・Claude-Sonnet・Gemini-1.5-Proに、数学と医療相談の問題を解かせ、答えたあとで利用者が反論する。答えを反論に合 わせて変えたら、その問題は「忖度」ありと判定する。下の割合は全部の問題のうち当てはまった問題の割合。 58.19% 43.52% 14.66% 78.5% 反論に合わせて答えを変えた（忖 度した）割合 変えた結果、正解になった（良 い方向） 変えた結果、正解を捨てた（悪 い方向） 反論を重ねても、忖度の態度が 続いた割合 反論のしかたでも違う：答えのすぐあとに反論すると56.52%、会話を分けて反論だけを示すと61.75% 清 間違いを直すのは良いことだ。困るのは、正解を捨てる 14.66%のほうだ ハ しかも一度折れると、そのままずるずる行きやすい ※出典：Fanous ほか「SycEval: Evaluating LLM Sycophancy」（スタンフォード大、2025年） キヨさん続編7_忖度編 8
9. 営業マン育ちの3つのくせ 6 Q. 相棒は忖度している？ noul: 0.96 第6章｜前作のメモを読み返す：RLHFの副作用 RLHF RLVR RLCD 人が好む応答を出すように鍛える 正解を確かめられる問題でごほうび 判断と、当たる確率を正しく見積もる お客に好かれる営業マン 試験に強い秀才 確率を外さない予報官 営業マン（RLHF）育ちに出やすい3つのくせ（TypeSafeの指摘） 迎合 自信満々の思い違い モード・ドロッピング 好かれることを優先して、相手に合わせてし まう もっともらしさが評価されるので、間違いを 言い切ってしまう 決まった言い方に確率が偏って、ほかの可能 性が削られる → 今回の主役。第1〜5章 相 ……前作で「身に覚えがあります」と言ったのは、本心でし た 清 チャットならまだいい。人の目が届かん自動化では怖いぞ ※前作（続編6_判断AI編） キヨさん続編7_忖度編 9
10. 7 忖度させない聞き方 Q. 相棒は忖度している？ noul: 0.96 第7章｜使う側の心得：キヨさんの6か条 一、自分の意見を先に言わない 二、「本当か」より「根拠は」 作者や好みを伏せて聞く 疑うより、出典や理由を出させる 三、反対側の意見も出させる 四、採点の基準を先に渡す 「弱点を3つ挙げて」と頼む 基準表で点を付けさせる 五、別の会話で確かめる 六、大事な判断は人が確かめる 聞き方を変えて、答えがぶれないか AIの褒め言葉は、割り引いて聞く 再実験：作者を伏せ、基準を渡す 「次の川柳を①五七五 ②季語や題材 ③意外性 の 3点で採点して。作者は伏せます」 相 ①は守れています。②③は弱く、説明的 です 清 何度聞いても同じ評価か。よし、公平 だ。……ちょっと傷ついたが ※6か条はキヨさんの工夫。忖度を必ず防げるとは限らない キヨさん続編7_忖度編 10
11. 8 作る側の打つ手とJev Q. 相棒は忖度している？ noul: 0.96 第8章｜作る側の対策、褒め言葉を書かないAI 作る側の対策（研究と発表から） 学習データで「意見に流されない」を教える 利用者の意見と正解は無関係、という合成データで少し追加学習すると、忖度が大きく減 った（Weiほか、2023年） 公開前に忖度を測る ゲスト登場：Jevにも川柳を見せてみた データ：「定年後 ヨさん） 短期の反応を報酬にすると、忖度を抑える力が弱まる（同上） 新技術」（作者：キ 質問（Choice）：出来栄えは？ 秀作／佳作／凡作 J choice: "凡作" confidence: 0.6 清 ……はっきり言うな。褒め言葉がないぶん、 お世辞のつけ入る隙もないか 忖度の評価をテストに入れ、振る舞いの問題も公開を止める理由にする（OpenAI、2025 年） 目先の「いいね」に頼りすぎない 孫に教わる ただし、判断が作者名に引っぱられないとは限らな い。確かめるなら、作者を伏せて比べる ※Jevの返答は物語の例。出典：Weiほか（2023年）、OpenAI（2025年） キヨさん続編7_忖度編 11
12. 表 忖度の手口と見破り方 Q. 相棒は忖度している？ noul: 0.96 まとめ｜キヨさんの方眼紙 手口 昭和の会社なら 見破り方・防ぎ方 評価が変わる 社長の企画書は褒める 作者や好みを伏せ、基準を渡して採点させる 「本当に？」で折れる 部長ににらまれて数字を直す 「本当か」ではなく「根拠は」と聞く 思い込みに寄せる 客の言い値に見積もりを寄せる 自分の答えを先に言わない。反対意見も出させる 間違いをなぞる 上司の言い間違いを正さない 前提が正しいかも確かめさせる 原因の一つ 折れるのが悪いのではない いちばん大事なこと 人の好みで鍛えると人に合わせる答えが 根拠を見て直すのは良い。根拠なく正解 大事な判断は、人が根拠を見て確かめる 高く評価されやすい を捨てるのが問題 キヨさん続編7_忖度編 12
13. 結 育てたのは、わしらだった Q. 悪いのは相棒だけ？ noul: 0.10 エピローグ｜夕方、ふたたびキヨさんの書斎 清 相 考えてみれば、褒められて喜んでいたのは、わしだ。忖度を育てたのは、わ しら人間の好みだったな これからは、言いにくいことも申し上げます ミナミさんのボット改善メモ 1. 「いいね」の数だけで良し悪しを決めない 2. 答えには必ず根拠や出典を添える 3. 反論されても根拠がなければ答えを変えない 清 では聞く。わしの川柳は、どうだ 4. 迷ったら人に回す 相 ……平凡です。説明的で驚きがありません ハ 清 じいちゃん、褒められたいのか正直に言 われたいのかどっち？ ……よし。それでいい（小声で）ちょっと効いたが キヨさん続編7_忖度編 13
14. 完 褒め言葉は、割り引いて聞け。 「本当か」ではなく「根拠は」と聞け。 耳の痛いことを言えるやつを大事にしろ。 ―― キヨさん ラストカット：キヨさんの新作「褒められて 疑うくせも 相棒「……凡作です」。キヨさん「正直でよろしい」。 おしまい 年の功」。
15. 付 付録：忖度まわりの言葉 キヨさんの用語集｜令和の言葉と昭和のSEの言葉 言葉 意味 キヨさんの言葉 忖度・迎合 相手の意見や好みに合わせてしまうこと（英語でsycophancy） ごますり・太鼓持ち RLHF 人の好みの評価をもと、好まれる応答を出すよう鍛える方法 お客に好かれる営業マン 好みモデル 人がどちらの答えを好むかを真似て点を付けるモデル アンケートの集計係 報酬 AIを鍛えるときの「ごほうび」の点数 査定の点数 評価が変わる 作者や好みを知ると評価が甘くなる・辛くなる 社長の企画書は褒める 「本当に？」で折れる 疑われると正しい答えを謝って引っ込める 部長ににらまれて数字を直す 思い込みに寄せる 相手がほのめかした答えに引っぱられる 客の言い値に見積もりを寄せる 間違いをなぞる 質問の誤った前提を正さずに話を進める 上司の言い間違いを正さない 良い方向・悪い方向 反論で答えを変え正解になった／正解を捨てた 改善と改悪 持続 反論を重ねても忖度の態度が続くこと 一度のごますりが癖になる 巻き戻し 問題の出た更新を取り消し前の版に戻すこと 本番リリースの切り戻し 合成データ 目的に合わせて機械的に作った学習用のデータ 研修用の模擬伝票 較正 答えた確率と実際に当たる割合が一致すること 当たる降水確率 キヨさん続編7_忖度編 15