論文輪読会 第30回 "SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL"

AcademiX が開催した 第30回 論文輪読会　資料

日時：2023/11/19
論文タイトル：SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL

＜概要＞
LLMベースのText-to-SQLモデルであるSQL-PaLM。few shot SQL-PaLMとfine-tuned SQL-PaLMを検証。両者においてSOTAを上回った。

Transcript

1. 　 https://www.academix.jp/ AcademiX 論文輪読会 SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL Kimoto Haruhisa 2023/11/19
2. 目次 1. 論文の概要 2. Text-to-SQL 3. 関連研究 4. 核となる手法　 5. 結果 6. 考察・感想 7. まとめ
3. 論文の概要 • タイトル：SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL • URL：https://arxiv.org/pdf/2306.00739.pdf • 提案手法：SQL-PaLM：PaLM-2を使用した、Text-to-SQLのモデル ◦ ファインチューニングを行った場合と、few-shotを使用した場合を比較している。 ◦ LLMをTexrt-to-SQLタスクに対して、ファインチューニングした初の研究。
4. Text-to-SQL • 自然言語からSQLを生成するプロセスを自動化したい。 • SQLを知らなくても、データベースを扱うことができる。 • クエリ生成を自動化することで、Text-to-SQLは高度なデータ分析機能を持つ会話型エージェ ントの開発を可能にする！
5. Text-to-SQL関連研究 • T5などの言語モデルをファインチューニング ◦ PICARD、RASAT、RESDSQL • LLMで、zero-shotやfew-shotで生成した場合でも、ある程度はうまくいっている。 ◦ 上記のT5をファインチューニングしたものと比べると劣る • LLMを用いて様々な工夫を行うことでSOTAを上回る。 ◦ DIN-SQL ◦ few-shot、サブタスクに分解をして生成、プロンプトにエラーメッセージを使用 ◦ プロンプトのテンプレートを作成することは手間がかかる。
6. 核となる手法　 • Few-shot SQL-PaLM ◦ 「DBの情報＋質問＋SQL」を生成したいSQLの前に置く。 ◦ データベースの情報は、テーブル・カラム・データタイプ・主キー・外部キー ◦ self-consistency（自己整合性）を適用する。 • Fine-tuned SQL-PaLM ◦ PaLM-2をSpiderを使用してファインチューニングする。 ▪ Spider：166のDBの7000の学習サンプルと、20のDBの1034の評価サンプル ◦ 入力はDBの説明と質問 ◦ 出力はSQL
7. 結果 評価： • execution accuracy (EX) ◦ 実行結果がground truthに一致するか • test-suite accuracy (TS) ◦ TSを使用 結果： • few shot SQL-PaLMは、 ◦ few shot GPT-4を9.9% ◦ few shot CodeX-Davinciを15.8% ◦ zero shot ChatGPTを17%　上回った。 • Fine-tuned SQL-PaLMはFew-shot SQL-PaLMより1%上回った。
8. 考察・感想 • Few-shotでのDBの情報を入れる部分は以前として手間がかかりそう • さらに精度が上がれば、データ分析の必須技術？ ◦ SQLやDBが全くわからなくてもデータをいじれる • すでにAWSのツールではそれっぽいものがある ◦ 自然言語からグラフを作成する
9. まとめ • LLMベースのText-to-SQLモデルSQL-PaLM ◦ few shot SQL-PaLMとfine-tuned SQL-PaLMを検証 • ファインチューニングされた SQL-PaLMと同様に、Few-shot SQL-PaLMは従来のfine-tunedベースの SOTAを3.1%上回った。 • few shot SQL-PaLMは、 ◦ few shot GPT-4を9.9% ◦ few shot CodeX-Davinciを15.8% ◦ zero shot ChatGPTを17%　上回った。 • Fine-tuned SQL-PaLMでは，精度はFew-shot SQL-PaLMよりもさらに1%優れている。 • SQL-PaLMと同様に、SQL-PaLMの生成能力を向上させることができる。 ◦ SQL-PaLMは複数のテーブルを結合する複雑な SQL-PaLMは複数のテーブルを複数のキー ワードで結合する複雑な SQL出力を生成できる。