The Death of Schema Linking? Text-to-SQL in the Age of Well-Reasoned Language Models

The Death of Schema Linking? Text-to-SQL in the Age of Well-Reasoned Language Models
https://arxiv.org/abs/2408.07702
[v2] Sun, 18 Aug 2024 19:06:04 UTC (1,116 KB)

LLMによるText-to-SQLに関する論文。
最先端のLLMにおける Schema Linking の有効性を調査。

Transcript

1. 論文紹介 The Death of Schema Linking? Text-to-SQL in the Age of Well-Reasoned Language Models
2. 1 論文概要  論文タイトル – The Death of Schema Linking? Text-to-SQL in the Age of Well-Reasoned Language Models  著者 –  発表 – arxiv ⚫ https://arxiv.org/abs/2408.07702  概要 – Text-to-SQLにおける最先端のLLMを使用した場合のSchema linkingの有効性を再検討
3. 2 Text-to-SQL  Text-to-SQLは自然言語からSQLクエリを生成するタスク  LLMの登場によりText-to-SQLは簡素化され、大幅に進歩した  LLMベースのText-to-SQLアプローチは通常下図のような多段階のpipelineに従う  Schema linkingとは関連するデータベーススキーマの要素を検索すること – データベーススキーマ： tables and columns  最新のLLMにおいてもSchema Linkingは必要なのか？
4. 3 Research Questions  RQ1 – 無関係なSchema要素を含めるとSQL生成にどのような影響があるか？  RQ2 – Schema linkingにおけるprecisionとrecallのトレードオフはどのように特徴づけられるか、 また、SQL生成への下流への影響は何か？  RQ3 – Schema linking以外のText-to-SQLパイプライン内の他の技術やstageは、 SQL生成にどのような影響をあたえるか？
5. 4 実験設定  Datasets – BIRD dataset [Li+ 2023]  Models [Li+ 2023] Jinyang Li, Binyuan Hui, Ge Qu, Jiaxi Yang, Binhua Li, Bowen Li, Bailin Wang, Bowen Qin, Rongyu Cao, Ruiying Geng, Nan Huo, Xuanhe Zhou, Chenhao Ma, Guoliang Li, Kevin C. C. Chang, Fei Huang, Reynold Cheng, and Yongbin Li. Can llm already serve as a database interface? a big bench for large-scale database grounded text-to-sqls. CoRR, abs/2305.03111, 2023.
6. 5 実験設定  SQL生成プロンプトの例  Schema, Input Query, Hint の例 – 左のSQLプロンプトに当てはめる
7. 6 実験1  Schema linkingにおける無関係なカラムの検索がSQL生成精度に与える影響を評価 – Idealized Execution Accuracy ⚫ Recall100%のSchema linking下でのExecution Accuracy (クエリの実行結果の一致による精度) – False Positive Rate ⚫ Schema linkingにおける無関係なColumnの割合
8. 7 実験1  FPRが減少するにつれIEXが改善する – FPR=99%の場合、最悪のモデルと最高のモデルのIEXの差は約28% – FPR=0%の場合、最悪のモデルと最高のモデルのIEXの差は約14%
9. 8 実験1  モデルのSQL生成能力（Max(IEX)）と FRPに対する感度には強い負の相関がある – FRPに対するIEXの感度 d(I𝐸𝑋) d(𝐹𝑅𝑃) ⚫ FRPの変化 d(FRP) に対するSQL生成能力の変化 d IEX
10. 9 実験1  モデルのSQL生成能力が向上するにつれ、生成のための文脈情報として無関係な列が 存在することに対する感度が低下する  一般的にSQL生成能力が高いモデルは、大量の無関係な文脈にも強い
11. 10 実験2  Schema linkingが必要な列のRecallに与える影響、 不完全なRecallがSQL生成に与える影響を評価
12. 11 実験2  4つのSchema linking手法を比較 – Single-column Schema Linking (SCSL) ⚫ 各列の関連性を他の列・テーブルの文脈を無視してモデルが判断する手法 ⚫ 関連する列か否かを示す真偽値で各列にフラグをつける ⚫ 関連する列を除外するリスクが低い慎重な手法 – Hybrid SCSL (HySCSL) ⚫ SCSLにキーワードマッチングを加えた手法 – Table-then-Column Schema Linking (TCSL) ⚫ 最初にモデルが関連するテーブルをフィルタリングし、その後テーブル内の列をフィルタリング – Hybrid TCSL (HyTCSL) ⚫ TCSLにキーワードマッチングを加えた手法  SCSLとHySCSLはGPT-4o-mini、TCSLとHyTCSLはGPT-4oを使用
13. 12 実験2  実際に使用したプロンプト
14. 13 実験2  12回の実行におけるFRPとSLRの平均値±標準偏差 – SLR：Schema Linking Recall  FPRが減少するとSLRも減少
15. 14 実験2  性能の高いモデルは Schema Linkingによって Execution Accuracyが減少 – Gemini 1.5 Pro, ft:GPT-4o, Llama-3.1-405b  性能の低いモデルは Schema Linkingによって Execution Accuracyが増加 – Llama-3.1-8b, Mixtral-8x22b, DeepseekCoder-V2 破線は実験1で得られたIEX
16. 15 実験2  モデルのSQL生成能力が向上するにつれ、Schema linkingの利点は減少する  場合によってはSQL生成に必要な列が欠落し、精度が全体的に低下する可能性がある
17. 16 実験3  情報をフィルタリングする技術(Schema Linking)の代わりに情報を保持する技術に注目 – Augmentation ⚫ 文脈情報を追加する – 列の説明を拡張し、クエリのヒントを追加する – CoTを使用して期待される順序や集約などの出力の構造的な期待を追加する – Correction ⚫ クエリを繰り返し修正 – 候補となるSQLクエリを生成した後、実行エラーに基づく再生成 [Wang+ 2018] – データベース管理者の指示に基づく修正 [Talaei+ 2024] – Reflexion[Shinn+ 2023]と同様のモデルベースのフィードバックによる修正 – Selection ⚫ Self-consistency [Wang+ 2023] を使用して複数の応答を生成し最も整合性の高い結果を選択 [Wang+ 2018] Chenglong Wang, Kedar Tatwawadi, Marc Brockschmidt, Po-Sen Huang, Yi Mao, Oleksandr Polozov, and Rishabh Singh. Robust text-to-sql generation with execution-guided decoding. CoRR, abs/1807.03100, 2018b. [Talaei+ 2024] Shayan Talaei, Mohammadreza Pourreza, Yu-Chen Chang, Azalia Mirhoseini, and Amin Saberi. Chess: Contextual harnessing for efficient sql synthesis. CoRR, abs/2405.16755, 2024. [Shinn+ 2023] Noah Shinn, Federico Cassano, Edward Berman, Ashwin Gopinath, Karthik Narasimhan, and Shunyu Yao. Reflexion: Language agents with verbal reinforcement learning. CoRR, abs/2303.11366, 2023. [Wang+ 2023] Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Sharan Narang, Aakanksha Chowdhery, and Denny Zhou. Self-consistency improves chain of thought reasoning in language models. CoRR, abs/2203.11171, 2023
18. 17 実験3  Schema Linking (w/TCSL, w/SCSL)以外は性能向上
19. 18 結論  Is it the death of schema linking ? – 最先端のモデルの場合、schemaがコンテキスト長に収まるのであれば、答えは Yes – 小規模なモデルや人世代前のモデルは schema linking によって精度が向上する