Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文輪読会 第30回 "SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL"

AcademiX
November 23, 2023
28

論文輪読会 第30回 "SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL"

AcademiX が開催した 第30回 論文輪読会 資料

日時:2023/11/19
論文タイトル:SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL

<概要>
LLMベースのText-to-SQLモデルであるSQL-PaLM。few shot SQL-PaLMとfine-tuned SQL-PaLMを検証。両者においてSOTAを上回った。

AcademiX

November 23, 2023
Tweet

More Decks by AcademiX

Transcript

  1.  
    https://www.academix.jp/
    AcademiX
    論文輪読会
    SQL-PALM: IMPROVED LARGE LANGUAGE MODEL
    ADAPTATION FOR TEXT-TO-SQL
    Kimoto Haruhisa
    2023/11/19

    View full-size slide

  2. 目次
    1. 論文の概要
    2. Text-to-SQL
    3. 関連研究
    4. 核となる手法 
    5. 結果
    6. 考察・感想
    7. まとめ

    View full-size slide

  3. 論文の概要
    ● タイトル:SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR
    TEXT-TO-SQL
    ● URL:https://arxiv.org/pdf/2306.00739.pdf
    ● 提案手法:SQL-PaLM:PaLM-2を使用した、Text-to-SQLのモデル
    ○ ファインチューニングを行った場合と、few-shotを使用した場合を比較している。
    ○ LLMをTexrt-to-SQLタスクに対して、ファインチューニングした初の研究。

    View full-size slide

  4. Text-to-SQL
    ● 自然言語からSQLを生成するプロセスを自動化したい。
    ● SQLを知らなくても、データベースを扱うことができる。
    ● クエリ生成を自動化することで、Text-to-SQLは高度なデータ分析機能を持つ会話型エージェ
    ントの開発を可能にする!

    View full-size slide

  5. Text-to-SQL関連研究
    ● T5などの言語モデルをファインチューニング
    ○ PICARD、RASAT、RESDSQL
    ● LLMで、zero-shotやfew-shotで生成した場合でも、ある程度はうまくいっている。
    ○ 上記のT5をファインチューニングしたものと比べると劣る
    ● LLMを用いて様々な工夫を行うことでSOTAを上回る。
    ○ DIN-SQL
    ○ few-shot、サブタスクに分解をして生成、プロンプトにエラーメッセージを使用
    ○ プロンプトのテンプレートを作成することは手間がかかる。

    View full-size slide

  6. 核となる手法 
    ● Few-shot SQL-PaLM
    ○ 「DBの情報+質問+SQL」を生成したいSQLの前に置く。
    ○ データベースの情報は、テーブル・カラム・データタイプ・主キー・外部キー
    ○ self-consistency(自己整合性)を適用する。
    ● Fine-tuned SQL-PaLM
    ○ PaLM-2をSpiderを使用してファインチューニングする。
    ■ Spider:166のDBの7000の学習サンプルと、20のDBの1034の評価サンプル
    ○ 入力はDBの説明と質問
    ○ 出力はSQL

    View full-size slide

  7. 結果
    評価:
    ● execution accuracy (EX)
    ○ 実行結果がground truthに一致するか
    ● test-suite accuracy (TS)
    ○ TSを使用
    結果:
    ● few shot SQL-PaLMは、
    ○ few shot GPT-4を9.9%
    ○ few shot CodeX-Davinciを15.8%
    ○ zero shot ChatGPTを17% 上回った。
    ● Fine-tuned SQL-PaLMはFew-shot
    SQL-PaLMより1%上回った。

    View full-size slide

  8. 考察・感想
    ● Few-shotでのDBの情報を入れる部分は以前として手間がかかりそう
    ● さらに精度が上がれば、データ分析の必須技術?
    ○ SQLやDBが全くわからなくてもデータをいじれる
    ● すでにAWSのツールではそれっぽいものがある
    ○ 自然言語からグラフを作成する

    View full-size slide

  9. まとめ
    ● LLMベースのText-to-SQLモデルSQL-PaLM
    ○ few shot SQL-PaLMとfine-tuned SQL-PaLMを検証
    ● ファインチューニングされた SQL-PaLMと同様に、Few-shot SQL-PaLMは従来のfine-tunedベースの
    SOTAを3.1%上回った。
    ● few shot SQL-PaLMは、
    ○ few shot GPT-4を9.9%
    ○ few shot CodeX-Davinciを15.8%
    ○ zero shot ChatGPTを17% 上回った。
    ● Fine-tuned SQL-PaLMでは,精度はFew-shot SQL-PaLMよりもさらに1%優れている。
    ● SQL-PaLMと同様に、SQL-PaLMの生成能力を向上させることができる。
    ○ SQL-PaLMは複数のテーブルを結合する複雑な SQL-PaLMは複数のテーブルを複数のキー
    ワードで結合する複雑な SQL出力を生成できる。

    View full-size slide