XBRIDGE: 異種LLM間通信のための実体基盤レイテントブリッジ

異種LLM間のdecode-free通信を実現するXBridgeについて、LAMとLEBによる二経路通信の仕組み、Rare-token Compression Collapse、性能・Latency・Ablation結果を論文をもとに解説します。さらに、小型LLMを用いたローカル環境での再現可能性について考察します。

Transcript

1. XBRIDGE: 異種LLM間通信のための 実体基盤レイテントブリッジ Wooseong Yang, Wei-Chieh Huang, Weizhi Zhang, Yu Wang, Philip S. Yu, Junhyun Lee University of Illinois Chicago · Capital One AI Foundations · Hankuk University of Foreign Studies · Noah's Farm 異種マルチエージェントLLMシステムは、同一モデル群では生じうる推論の冗長性を 削減し、同種構成を上回る性能を発揮できます。しかし既存の通信プロトコルは、テ キスト通信では送信元の内部表現を破棄し、レイテント転送ではアーキテクチャの同 一性を要求するという課題を抱えています。本論文では、異なるLLMファミリー間の 連続表現ブリッジがレアトークン圧縮崩壊（ブリッジのみのF1スコア〜30%）によっ て実体アイデンティティを失う実体グラウンディング問題を特定し、これを解決する デコードフリー通信プロトコルXBRIDGEを提案します。 preencoded.png
2. 実体グラウンディング問題とは何か 異種LLM間通信では、送信元の隠れ状態から受信側が実体の離散的アイデンティティ（名前・数値・レアトークン）を正確に復元しながら、同時に 連続的な文脈情報を維持する必要があります。連続ブリッジのみでは、文脈セマンティクスは保存されても、その文脈が指す実体の同一性が失わ れるというレアトークン圧縮崩壊が生じます。HotpotQAでのブリッジのみの実験ではF1スコアが〜30%にまで低下します。 実体忠実性（Entity Fidelity） 実体グラウンディング（Entity Grounding） 受信側が正しい実体トークンを出力できること。連続ブリッジのみの 送信元の文脈信号が受信側の語彙に属する正しい実体アンカーに束縛 場合、文脈は復元されても実体の同一性が失われ、HotpotQAでF1〜 されること。連続表現だけでは離散アンカーを露出できず、識別不能 30%に低下します。 な状態に陥ります。 表現互換性（Representation Compatibility） 送信元活性化は受信側の隠れ状態分布と一致せず（PH_S ≁ μ_R）、 直接注入すると分布外活性化が生じます。受信側が自身の隠れ状態を 通じて情報を消費する仕組みが必要です。 preencoded.png
3. XBRIDEの全体アーキテクチャ XBRIDEは、Lexical Anchor Mapping（LAM）とLatent Enrichment Bridge（LEB）の二重チャネルにより、離散的実体アイデンティティの保存と連続的文脈知識 の転送を分離します。送信元は単一のフォワードパスで隠れ状態H_Sとコンテキストトークンc_Sを生成し、両モデルは凍結されたままです。ブリッジはわずか 264Mの学習可能パラメータ（受信側の3.8%）のみを持ち、バランスの取れた587サンプルで10分未満で訓練されます。 LAM c_S マッピン グ LEB H_S 照会 回答生成A 図はXBRIDEのデータフローを示します。送信元M_SがコンテキストCを処理してH_Sとc_Sを生成し、LAMがc_Sを受信側埋め込みe_ctxにマッピング、LEBが4層で クロスアテンションによりH_Sを照会します。受信側M_Rは両信号に基づいて回答A（例: "Christopher Nolan"）を生成します。 preencoded.png
4. LAM: 離散グラウンディングのための語彙アンカーマッピング クロス語彙マッピングの仕組み 受信側ネイティブな埋め込みの付加 送信元のコンテキストトークンc_S = (c_1, ..., c_Tc)は、決定論的 マッピングされたトークンIDは受信側の凍結された埋め込み行列E_R で訓練不要のマッピング関数φ: V_S → V_R*を通じて受信側の語彙に を通じて埋め込みe_ctxに変換され、質問入力にプリペンドされま 変換されます。両語彙に表面文字列が共通するトークンはID-to-ID直 す： 接参照、それ以外は表面文字列にデコード後、受信側トークナイザー x_R = [e_ctx; E_R(Q)] で再トークン化されます。このマッピングはロスレスで、レイテン E_Rをルックアップテーブルとして使用することで、転送トークンは シーは1ms未満です。 受信側の入力トークンと同一空間に保証され、事前学習済みの自己ア Llama-3.1→Qwen2.5では共有トークンが85.4%、Mistral-7B→Qwen2.5 テンションパターンが直接適用されます。NLCommのような自己回帰的 では32.2%ですが、いずれも表面文字列の内容は完全に保存されます。 デコードによる要約生成が不要なため、レイテンシーと固定長圧縮に よる情報損失を完全に排除します。 preencoded.png
5. LEB: 文脈適応のためのレイテントエンリッチメントブリッジ LAMは実体アイデンティティを保存しますが、送信元のトークンそのものしか転送しません。送信元の最後層隠れ状態H_Sは全コンテキスト位置に わたる情報が統合された表現を含みますが、受信側の表現空間とは異なります。LEBはクロスアテンションにより、受信側が自身のネイティブ空間 で送信元を照会する仕組みを提供します。 1 2 3 プロジェクション（4層・264Mパ ラメータ） クロスアテンション ゲート付き残差接続 A^(ℓ) = softmax(Q^(ℓ)K^(ℓ)⊤/√d_K)・ h_R'^(ℓ) = h_R^(ℓ) + tanh(α^(ℓ))・ 受信側の28層中4層（ℓ ∈ {6, 13, 20, V^(ℓ) A^(ℓ) 27}）にゲート付きクロスアテンションモ 受信側のクエリが関連する送信元位置を選 α = 1.0で初期化（tanh(1.0) ≒ 0.76） ジュールを挿入します。各モジュールは約 択します。注入型代替手法と異なり、受信 し、ブリッジが即座に寄与します。 66Mパラメータを持ち、受信側クエリQ^(ℓ) 側が層ℓにおける現在の処理状態に基づい Flamingoのゼロ初期化と異なり、限られた と送信元キー・バリューK^(ℓ), V^(ℓ)への て必要な情報を決定します。 訓練データ（587サンプル）でも高速に収 射影を行います。次元の不一致（d_S → 束します。 d_R）も同時に処理します。 preencoded.png
6. 主要結果: 7ベンチマーク・3モデルファミリーでの包括的評価 XBRIDEはLlama-3.1-8B、Qwen2.5-7B、Mistral-7Bの3ファミリー間、双方向の通信で評価されました。NLCommheteroを全7タスク・全3モデルペアで上回り、平均改善幅は Llama→Qwenで+21.4pp、Qwen→Llamaで+14.3pp、Mistral→Qwenで+20.9ppでした。平均スコアではFullComm（受信側が全文脈を直接読む）も上回っています。 手法 Countries Tipsheets HotpotQA QASPER MuSiQue MFldQA 2Wiki Llama→Qwen: NLCommhetero 22.6 96.3 68.5 33.7 32.5 24.8 14.2 Llama→Qwen: XBRIDE 72.5 99.8 78.8 47.5 48.2 44.2 51.1 Qwen→Llama: NLCommhetero 56.2 94.8 76.8 34.1 33.5 21.7 16.3 Qwen→Llama: XBRIDE 62.0 99.0 80.6 46.6 62.8 40.3 42.1 Mistral→Qwen: NLCommhetero 43.6 96.0 66.1 31.8 28.3 27.0 15.9 Mistral→Qwen: XBRIDE 70.0 100.0 84.9 50.6 65.0 35.8 48.7 多ホップ推論や世界知識を要するタスク（Countries、2WikiMQA、MuSiQue）での改善が特に大きく、LEBがテキスト要約では伝えられない文脈的豊かさを提供 していることを示しています。同一アーキテクチャ設定でも、XBRIDEはKVCommを7タスク中6タスクで上回ります。 preencoded.png
7. アブレーション研究: LAMとLEBの両方が不可欠 HotpotQA（Llama→Qwen）でのアブレーションにより、両機構の必要性と役割分担が明確に確認されました。XBRIDE−LAMは30.3%（NoCommの24.6%に 近く）、XBRIDE−LEBは56.5%、完全なXBRIDEは78.8%を達成します。LEBの寄与はLAMによるグラウンディングがあって初めて最大限に発揮されます。 構成 F1スコア Δ（NoComm比） NoComm（通信なし） 24.6 — XBRIDE−LAM（LEBのみ） 30.3 +5.7 XBRIDE−LEB（LAMのみ） 56.5 +31.9 XBRIDE（完全版） 78.8 +54.2 LEBの寄与はタスクの推論複雑性に応じて変化します：世界知識を要するCountriesでは+35.8pp、多ホップQA（HotpotQA、2WikiMQA、MuSiQue）で は+19〜+22pp、長文書検索のMFldQAでは+7.0pp、構造化抽出のTipsheetsでは+2.0ppです。Countriesでは回答（"Sweden"）がコンテキストに明示 されず、LEBが送信元の暗黙的なランドマーク→国推論を伝達できることが最大の貢献要因です。 preencoded.png
8. 実体摂動実験: LAMとLEBの役割分離の検証 HotpotQAの100サンプルで、コンテキスト内の回答実体を無関係な実体に置換（例: "Christopher Nolan" → "Bong Joon Ho"）し、LAMとLEBの入 力を独立して制御することで、各機構が担う情報タイプを検証しました。 条件 LAM入力 LEB入力 元の実体 置換実体 いずれでもない A: 両方元 元 元 45 0 55 B: 両方置換 置換 置換 4 37 59 C: LAMのみ置換 置換 元 5 37 58 D: LEBのみ置換 元 置換 45 0 55 LEBのみを置換しても出力実体は変化せず（条件AとDは同一）、LAMを置換すると置換実体へ出力が移行します（条件BとC）。これにより明確な役 割分離が確認されます：LAMは出力にどの実体が現れるかを決定し、LEBは受信側がそれらについてどのように推論するかを決定します。図4の分析 でも、XBRIDEが正解トークン確率0.752（他手法は0.635〜0.662）を達成し、196サンプル中94%で実体コサイン類似度が改善することが示されてい ます。 preencoded.png
9. レイテンシー・合成可能性・送信元スケーリング 11x 264M 70.4% レイテンシー削減 学習可能パラメータ マルチエージェントF1 HotpotQAでNLComm比11倍高速（0.15秒/サンプ 受信側のわずか3.8%。バランスの取れた587サ 独立訓練されたLlama・Mistralブリッジをゼロ ル vs 1.70秒/サンプル）。自己回帰的デコー ンプルで10分未満で訓練完了。推論時のオー ショットで合成。単一送信元FullComm（67.0%）と ドを排除し、送信元は単一フォワードパス（〜 バーヘッドは無視できます。 デュアルNLComm（56.8%）を上回ります。 0.05秒）のみを実行します。 送信元サイズスケーリング（Qwen→Llama） ゼロショット合成可能性 Qwen2.5-1.5B→Llamaで59.5%、7Bで61.9%、14Bで62.1%を達成。LAMは 独立訓練された2つのブリッジ（Llama送信元・Mistral送信元）が推 語彙マッピングのみに依存するため送信元サイズに不変ですが、14B送 論時に再訓練なしで結合可能です。各送信元が別々の支援文書を処理 信元はより豊かな表現を生成するため、より多くの訓練データで投影 し、受信側（Qwen）が両ブリッジを通じて統合します。デュアル を学習する必要があります。 XBRIDEは単一送信元フルコンテキストを+3.4pp上回り、マルチエー ジェント設定への自然な拡張を示唆しています。 preencoded.png
10. 結論と今後の展望 本研究の主要貢献 • • • • 限界と今後の課題 異種LLM通信における実体グラウンディング問題を定式化し、連続 XBRIDEは単一送信元→単一受信元の単方向通信用に訓練されており、 ブリッジが離散実体アイデンティティを失うレアトークン圧縮崩壊 双方向セットアップには逆方向のブリッジを追加する必要があります。 を実証しました。 各ブリッジは軽量でデコードフリーのため、1交換あたりのコストは 離散アンカーチャネル（LAM）とレイテント転送（LEB）を組み合わ 低く保たれます。 せたXBRIDEを提案。異種通信において明示的離散アンカーチャネル マルチターンレイテント対話（両モデルが交互に送信し、各ターンが とレイテント転送をペアリングした最初のプロトコルです。 相手の送信内容に条件付けられる設定）や、3つ以上のエージェント 3モデルファミリー・7ベンチマーク・双方向通信でNLCommを全タス が参加する構成におけるブリッジ信号の相互作用は、本研究の評価範 クで上回り、11倍のレイテンシー削減を達成。同一アーキテクチャ 囲を超えています。双方向交換と多数のエージェント構成への拡張が、 でもKVCommを7タスク中6タスクで上回りました。 完全なマルチエージェントシステムに適したクロスアーキテクチャ通 実体摂動実験により、LAMが出力実体を決定し、LEBが推論方法を決 信プロトコルへの道筋と考えています。 定するという明確な役割分離を確認しました。 実装コードは公開されています: https://github.com/WooseongYang/XBridge preencoded.png