マルチエージェントで性能が上がったText-to-SQLのいま/Text-to-SQL

Transcript

1. マルチエージェントで性能が上がった Text-to-SQLのいま 吉田真吾 / 株式会社ジェネラティブエージェンツ 2024/06/28
4. Azure OpenAI Service + Azure AIサービス群
5. AIエージェントによる社会シミュレーション Generative Agents 25人のAIエージェントをスモールビル（Smallville）と呼ばれる仮 想的な町に住まわせることにより、AIエージェント同士でどのよ うな創発が生まれるかを観察したプロジェクト。 住民が自発的に他の住民をパーティーに誘ったり、パーティー当 日のためのカフェの飾り付けを共同で行ったりした観察結果に基 づき、論文ではAIエージェント同士が創発的に協働し合うことの できる可能性が示された。
6. Generative Agents, Inc. AWS Serverless Heroとして日本におけるサーバーレスの普 及を促進。 「ChatGPT/LangChainによるチャットシステム構築［実 践］入門」（技術評論社）共著、「Azure OpenAI Serviceで はじめるChatGPT/LLMシステム構築入門」（技術評論社） 共著、「AWSによるサーバーレスアーキテクチャ」（翔泳 社）監修、「サーバーレスシングルページアプリケーショ ン」（オライリー）監訳、「AWSエキスパート養成読本」 （技術評論社）共著。 ChatGPT Community（JP）主催 大規模言語モデルを組み込んだアプリケーションやAIエージ ェントの開発を実施。 個人ではエンジニア向けの勉強会開催や教材作成など。オン ラインコースUdemyではベストセラー講座多数。 「ChatGPT/LangChainによるチャットシステム構築［実 践］入門」（技術評論社）共著。 勉強会コミュニティStudyCo運営。 事業会社の顧問CTOとして活動するソフトウェア開発のスペ シャリスト。AIエージェントを経営に導入することにより、 あらゆる業種業態の生産性を高めるための活動に尽力してい る。 「その仕事、AIエージェントがやっておきました。 ――ChatGPTの次に来る自律型AI革命」（技術評論社）単 著、Software Design「実践LLMアプリケーション開発」 （技術評論社）連載。 西見 公宏（にしみ まさひろ） 吉田 真吾（よしだ しんご） 大嶋 勇樹（おおしま ゆうき） 代表取締役CEO / Founder 取締役COO / Co-founder 取締役CTO / Co-founder
7. AIエージェントとは？ 人がいちいち指示をしなくとも、 自分でやることを考えて、 様々なツールを活用して 目標に向かってタスクをこなしていく AIの仕組みのこと
8. 初版 1995年(邦訳1997年)/第2版2003年(邦訳2008年)/第3版 2010年/第4版2020年 • エージェントとは、環境を認識し、目標を達成する ために自律的に行動する存在 • エージェントらしさの観点 人工知能の各部分領域をそれらの独自の歴史的文脈に沿っ て解説するのではなく,現在知られている事柄を共通の枠 組みの中で再構築することを試みた →理論と実践 AIエージェントへの道 / AIのゴールは昔からエージェント
9. Text-to-SQL(LLMベース)の起源はNL2SQL The Dawn of Natural Language to SQL: Are We Fully Ready? https://arxiv.org/html/2406.01265v1
10. 評価フレームワークはSpiderかBIRD-SQL The Dawn of Natural Language to SQL: Are We Fully Ready? https://arxiv.org/html/2406.01265v1 Spider 2018〜(LLM版は2023.2〜) https://yale-lily.github.io/spider 10,181 questions and 5,693 unique complex SQL queries on 200 databases with multiple tables covering 138 different domains. • イェール大の学生がアノテートした データセット • 派生版が多く存在 • 1.0版は2024.2から停止中、2.0待ち BIRD-SQL 2023.5〜 https://bird-bench.github.io/ 12,751 unique question-SQL pairs, 95 big databases with a total size of 33.4 GB. It also covers more than 37 professional domains, • Spiderほど有名じゃないが、より現実 を反映している
11. Spider(1.0)とBIRD-SQL https://yale-lily.github.io/spider https://bird-bench.github.io/
12. CHESS: Contextual Harnessing for Efficient SQL Synthesis CHESS: Contextual Harnessing for Efficient SQL Synthesis https://arxiv.org/html/2405.16755v1 1. キーワードの抽出 2. 関連性の高いデータとそのカラム情 報をRetrieveする 3. テーブルとカラムを選定する 4. 候補を生成する 5. 修正する
13. マルチエージェントによる精度向上の一般アプローチ • スキーマリンクとクエリ生成のプロセスを分ける MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL https://arxiv.org/abs/2312.11242
14. 生成精度向上の具体的なアプローチ • スキーマリンク用のモデルとクエリ生成用のモデルをチューニングして組み 合わせる DTS-SQL: Decomposed Text-to-SQL with Small Large Language Models https://arxiv.org/html/2402.01117v1 Spiderデータセットを使ってチューニング
15. 生成精度向上の具体的なアプローチ • 生成プロセス：生成するクエリの種別を4種類に判別してから生成する Decomposition for Enhancing Attention: Improving LLM-based Text-to-SQL through Workflow Paradigm https://arxiv.org/abs/2402.10671
16. まずはZero-shotプロンプティングで精度を上げよう C3: Zero-shot Text-to-SQL with ChatGPT https://arxiv.org/abs/2307.07306