Slide 10
Slide 10 text
評価フレームワークはSpiderかBIRD-SQL
The Dawn of Natural Language to SQL: Are We Fully Ready?
https://arxiv.org/html/2406.01265v1
Spider 2018〜(LLM版は2023.2〜)
https://yale-lily.github.io/spider
10,181 questions and 5,693 unique
complex SQL queries on 200 databases
with multiple tables covering 138
different domains.
• イェール大の学生がアノテートした
データセット
• 派生版が多く存在
• 1.0版は2024.2から停止中、2.0待ち
BIRD-SQL 2023.5〜
https://bird-bench.github.io/
12,751 unique question-SQL pairs, 95 big
databases with a total size of 33.4 GB. It
also covers more than 37 professional
domains,
• Spiderほど有名じゃないが、より現実
を反映している