【輪講資料】Lost in Execution: On the Multilingual Robustness of Tool Calling in Large Language Models

ACL2026読み会@名大（http://cr.fvcrc.i.nagoya-u.ac.jp/~kisako/acl2026nagoya/）での輪講資料です。

Transcript

1. Lost in Execution: On the Multilingual Robustness of Tool Calling in Large Language Models Zheng Luo, T Pranav Kutralingam, Ogochukwu N. Okoani, Wanpeng Xu, Hua Wei, Xiyang Hu ACL 2026 読む人：笹野研究室 D2 矢野千紘
2. 概要 • 多言語対話における英語でのツール呼び出し能力を評価するベン チマーク、MLCLを提案 • 現実でよくあるシチュエーションに焦点を当てている • 中国語、ヒンディー語、イボ語で評価し分析 • 中国語、ヒンディー語では意図の理解とツールの選択が正しいに もかかわらず、パラーメータ値の言語を間違えて失敗 • 推論時に工夫しても 英語ほど解けない 2
3. 実応用でのツール呼び出し • MCPを利用する場面などで、対話の言語によらず、ツールイン ターフェースは英語 • しかし、既存ベンチマークは英語のみ/ツールまで多言語対応で、 対話とツールの言語が異なる状況を想定していない 3
4. MLCL クエリ言語の変更 クエリ表現の変更 4
5. BFCL • MLCLはBFCL v4のNon-Live, Multipleサブセットを基に翻訳して 作成されている • シミュレーション環境で、叩くべき関数を複数から選んで実行する ▲ BFCL v4の構成 5
6. BFCL v4 Non-Live, Multipleタスク例 Query: Book a single room for two nights at the Hilton Hotel in Chicago, starting from 10th December 2022. Tool List: • “get_stock_price”: "Retrieves the current stock price of the speci ed companies”, • "company_names": {"type": list[str], "description": "The list of companies for which to retrieve the stock price."}} • "currency_converter", : "Calculates the cost in target currency given the amount in base currency and exchange rate" • "base_currency": {"type": "string", "description": "The currency to convert from."}, • "target_currency": {"type": "string", "description": "The currency to convert to."}, • "amount": {"type": " oat", "description": "The amount in base currency”}}, • "book_hotel": "Book a room of speci ed type for a particular number of nights at a speci c hotel, starting from a speci ed date.” • "properties": {"hotel_name": {"type": "string", "description": "The name of the hotel.”} • "location": {"type": "string", "description": "The city in which the hotel is located."}, • "room_type": {"type": "string", "description": "The type of room to be booked."}, • "start_date": {"type": "string", "description": "The start date for the booking."}, • "nights": {"type": "integer", "description": "The number of nights for which the booking is to be made."}} fi fi fi fl fi 6
7. MLCLの構築 • BFCL v4のNon-Live, Multipleサブセットを複数設定でGPT-5で翻 訳（*詳細は後ほど）、各言語のネイティブによって流暢性、意味 の一貫性を評価 • ただし、クエリを全く同じ意味に保つことが不可能な場合がある • 「queen‒size bed」が存在しない言語では「大きなベッド」に翻訳 • パラメータ値に「queen‒size bed」が期待されていると常に不正解 • 中国語（表語文字）、ヒンディー語（語順が柔軟）、イボ語（低 リソース）を採用 7
8. MLCLでの評価 tool callの組み立て ミス • 関数名、パラメータの完全一致で評価 • エラーを8種類のラベルに分類 言語不一致 その他（クエリの意 味理解ミス） 8
9. クエリ言語の変更 • NT: 英語のまま、翻訳しない • RAP: パラメータ値のみ英語で残し、ほかを対象言語に翻訳 • FT: 全体を対象言語に翻訳 9
10. 結果: クエリ言語の変更 FT（完全翻訳）にするとLanguage Mismatchが増える 多くは意味はあっていて、言語だけが不一致 10
11. 結果: クエリ言語の変更 高リソース Language Mismatchは高リソースの 言語で多く発生する 低リソース言語では クエリの意味理解ミスが多い 低リソース 11
12. 結果: クエリ言語の変更 他言語でも同様 PAR（部分翻訳）はパラメータ値の 言語不一致を抑制する 12
13. クエリ言い換え • NO: そのまま • PARA: 文全体を言い換える • SYNO: 文の構造を保ったまま、 単語単位で同義語で置換する 13
14. 結果: クエリ言い換え 英語以外の対話ではすでに表層はぶれているので、 影響が少ない 特にSYNOに弱いのはパラメータ値が言い 換えられている事が多いため…? PARA, SYNOの両方に弱い 14
15. 推論戦略によるエラーの緩和 • PT: ツール呼び出しを作成するプロンプトに、「IMPORTANT: Pass in all parameters in English.」を追加 • PRE: 事前にクエリを対象のLLMで英語に翻訳する • POST: 事後的にパラーメータ値を対象のLLMで英語に翻訳する 15
16. 結果: 推論戦略によるエラーの緩和 どの戦略も英語での実行（NT）ほどの スコアを得ることは出来ない PTでは言語不一致エラーを防ぎきれず、 PRE, POSTでは翻訳の過程で 別種のエラーが増える 突然DeepSeekの結果しかAppendix含め無い こんなに赤が多いのはDeepSeekだけ&PT設定が現実の 標準そうに見えるので、複数モデルで結果見たかった… 16
17. 結果: 推論戦略によるエラーの緩和 低リソース言語ではtool call自体の生成エラー、言語不一致エラー以外の、 クエリの意味理解の失敗によるエラーが支配的 言語不一致に対応するための推論時の戦略は意味がない 17
18. ケーススタディ queen size bedが大号床と訳された後、 king size bedに逆翻訳され失敗 GPT5.6-solによると、一般的にはqueen size bed=大号床みたいなので、単純にモ デル能力が上がれば解決するかも… 18
19. まとめ • 多言語対話における英語でのツール呼び出し能力を評価するベン チマーク、MLCLを提案し中国語、ヒンディー語、イボ語で評価 • 高リソースではパラメータ値の言語不一致によりtool callが失敗す ることを示した 19
20. 感想 • 未だに多言語で躓くのはちょっと意外 • 一方で、これらの問題が周知されれば実行インターフェースやモ デル選定の工夫で解消されそう • コード/データセットのURLが差し替えられてなくて、公開されて ない😔 20