Cloudflare の AI で他人の会話が混ざった？

Transcript

1. AIニュース（2026年10月） Cloudflare の AI で 他人の会話が混ざった？ KV キャッシュの事故を読む 赤神 青空
2. ▪Workers何が起きたか AI の GLM-5.3 で、応答にほかの客のデータが混ざった Workers AI の GLM- . で、155件の応答に ほかの客の依頼のデータが混ざっていた 2026年10⽉26⽇に Cloudflare が公表（研究者‧SGLang と協調して開⽰） 影響を受けたのは GLM- . だけ。ほかのモデルには影響はなかった とても⻑いプロンプトのときだけ 68万1,280トークンを超える依頼で、8⽉27⽇から9⽉9⽇まで 影響を受けた客は少数。意図的に悪⽤された形跡はない、とされている 今ココ 概要 2/13
3. ▪読んだトークンの計算結果を、ページに分けて置いておく KV キャッシュとは 前の計算を置いておく場所 モデルは、読んだトークンの計算結果（KV）をメモリに置き、次のトークンを出すたびに使い回す メモリは「ページ」に分けて、依頼ごとに割り当てる 1つのページに、決まった数のトークン分の KV が⼊る SGLang では、使い終わったページを消さずに次の依頼で上書きする 次の依頼が 上書き 今ココ しくみ 次の依頼が 上書き 使い終わり 前のデータが残る 使い終わり 前のデータが残る 使い終わり 前のデータが残る 使い終わり 前のデータが残る 3/13
4. ▪読む処理と書く処理を、別々の機械で動かす prefill と decode を分ける prefill プロンプトを読む KV のページを送る decode 1トークンずつ書く 別々の機械で動かす（分離した prefill / decode） 読む処理と書く処理が、お互いを邪魔しないように分けて効率を上げる Cloudflare は推論のエンジンに、オープンソースの SGLang を使っている 今ココ しくみ 4/13
5. ▪受け付ける長さより、KV 原因①：設定のずれ の置き場が小さかった 受け付ける⻑さ 1,048,576 トークン prefill の KV 681,280 トークン ⼊りきらない⻑さを受け付けていた ずれは公開前から分かっていたが、テストは HTTP のコードや速さを⾒ていて、 出⼒が正しいかは確かめていなかった 今ココ 原因 5/13
6. ▪拒否した依頼が先へ進み、前の依頼のページを読んだ 原因②：SGLang の不具合 ⻑すぎる依頼に 「拒否」の印 （中⾝は1トークンの仮のものに） 分けた構成では、待ち⾏列が 「終わったか」しか⾒ず、 拒否されたものが先へ decode は⻑さ分のページを取り、 書かれたのは1ページだけ 残りは前の依頼のまま 前の依頼のページを読んで、答えを作ってしまった decode は残っていたページも含めて答えを書き、エラーではなく 200 で返した ページは使い終わっても消さないので、ほかの客のプロンプトや途中の出⼒が⼊っていた 今ココ 原因 6/13
7. ▪外部の研究者の報告を受けて、翌日に止めた どう見つかったか 9⽉8⽇：外部からの報告 9⽉9⽇（報告の翌⽇） 研究者が HackerOne で報告 Knostic の Gadi Evron さん 2つの別のアカウントで再現 再現のスクリプト付き 宣⾔から40分以内にモデルを⽌めた 直して、同じ⽇のうちに公開に戻した ⽇付は UTC（世界標準時） 今ココ 対応 7/13
8. ▪設定・エンジン・上流の 直したこと SGLang 設定：KV の置き場を、受け付ける⻑さの約2倍に prefill の KV の置き場を、約204万トークンにした エンジン：拒否した依頼は、その場で返す ページの割り当てや転送の前に、その場でエラーを返す SGLang：v . . 以上を勧める 修正は上流に取り込まれた。転送のチェックサムも⾜した（既定はオフ） 今ココ 対応 8/13
9. ▪ページを消す仕組みは、まだ入っていない まだ途中のこと まだ取り込まれていない 使い終わったページを0で消す 提案中で、まだマージされていない 試作は⽌めたが、作り直し中 ページに印を付けて確かめる試作 負荷は1%未満だったが、安定せず⽌めた 今は SGLang と本番向けを作っている 今ココ 対応 9/13
10. ▪共有の機械で動くことを前提に、出力を確かめる 使う側として API を使う側 SGLang を分けて動かす側 推論の機械は、ほかの客と共有 KV の置き場と受け付ける⻑さを⽐べる 出す情報は、それを前提に選ぶ SGLang は v . . 以上に 事業者の公表を追っておく HTTP のコードだけでなく出⼒を確かめる 今ココ 教訓 10/13
11. ▪前の依頼が残ったページを読み、ほかの客のデータが混ざった まとめ GLM- . で、155件にほかの客のデータが混ざった 何が 前の依頼のデータが残ったページを読んだ 原因 HTTP のコードだけでなく、出⼒も確かめる 教訓 とても⻑いプロンプトのときだけ。8⽉27⽇から9⽉9⽇まで 設定のずれと、拒否した依頼を先へ通す SGLang の不具合 分けて動かすなら、KV の置き場と⻑さを⽐べ、v . . 以上に 今ココ まとめ 11/13
12. ▪一度止めて考えてみてください。答えは次のページで 今回のクイズ 今回の事故で、ほかの客のデータが混ざった直接の原因は？ A 攻撃者がわざと 盗み出した 今ココ まとめ B 前の依頼が残った ページを読んだ C 通信が暗号化 されていなかった D モデルがほかの客の データを学習した 12/13
13. ▪decodeクイズの答えは「B」 が、前の依頼のデータが残ったページを読んで答えを作った 今回のクイズ 今回の事故で、ほかの客のデータが 混ざった直接の原因は？ decode が、前の依頼のデータが 残ったままのページも読んで、 答えを作ってしまった 答えは B 今ココ まとめ A 攻撃者がわざと盗み出した 意図的な悪⽤の形跡はない、とされている B 前の依頼が残ったページを読んだ 拒否した依頼が先へ進み、残ったページを読んだ C 通信が暗号化されていなかった 通信ではなく、推論の中のメモリの話 D モデルがほかの客のデータを学習した 学習ではなく、その場のキャッシュ 13/13