Text-to-SQLで自然言語から構造化データを取得する

Transcript

2. 自己紹介 ©Blueish 2024. All rights reserved. 戸塚 翔太｜BLUEISH Shota Totsuka ・LLMアプリ開発者（Go/Python …etc） ・生成AI, 機械学習 ・趣味: スキー/スノボ, 最近はDifyにContribute ・静岡県（浜松）に住んでます 　近くの方がいれば、一緒に勉強会しましょう！ Xアカウント @totsukash
3. 自己紹介 ©Blueish 2024. All rights reserved. AWS認定（1月から開始）
4. 01 Text-to-SQLについて 02 やってみた 03 ハマったこと 04 まとめ 目次 ©Blueish 2024. All rights reserved.
5. ちょっと注意事項... ©Blueish 2024. All rights reserved.
6. サンプルデータではできそうですが、 本番利用に向けてはハマりポイントが 多そうです。 ©Blueish 2024. All rights reserved.
7. 十分検証してください。 ©Blueish 2024. All rights reserved.
8. Let's go!!! ©Blueish 2024. All rights reserved.
9. 01 Text-to-SQLについて ©Blueish 2024. All rights reserved.
10. - 自然言語からSQLを作成 - 例: 「idが1の人の名前は？」 →「SELECT name FROM table WHERE id = 1」 - DBのスキーマ等とプロンプトの指示を元にSQLを作成 - 概念としてはLLMの隆盛前からあったが、生成AIでより難易度が低下 Text-to-SQL Text-to-SQLについて
11. ©Blueish 2024. All rights reserved. - ベクトル検索 - 類似度の高いものを探す - 完全一致ではない - Text-to-SQL - 条件に合うものを探す - 曖昧度は低いが、SQLが正し く生成されなければ正しく情 報を取得できない ベクトル検索との違い Text-to-SQLについて
12. 02 やってみた ©Blueish 2024. All rights reserved.
13. ©Blueish 2024. All rights reserved. やってみた ©Blueish 2024. All rights reserved. - Bedrock ナレッジベース - ナレッジベースを通してSQLクエリを生成し、実行結果を取得 - Redshift Serverless - 構築したテーブルに対して、実際にSQLクエリを実行するためのクエリエンジン - S3 - csvファイルを格納 構成
14. ©Blueish 2024. All rights reserved. やってみた ©Blueish 2024. All rights reserved. 自然言語 SQL
15. ©Blueish 2024. All rights reserved. やってみた ©Blueish 2024. All rights reserved. - AWS が提供するクラウドベースのデータウェアハウスサービス - クエリエンジンの提供 - サーバーレス運用 → 運用コストの削減 Redshift Serverless
16. ©Blueish 2024. All rights reserved. やってみた ©Blueish 2024. All rights reserved. - id - name - email - …etc RedshiftでDBを準備 データ構成は以下記事のものを使用させていただきました。 https://blog.denet.co.jp/adcale2024_bedrock-knowledge-bases-structured-data-retrieval/
17. ©Blueish 2024. All rights reserved. やってみた ©Blueish 2024. All rights reserved. - 2024年12月4日 AWS re:Invent 2024 で構造化データ取得のサポートがプレ ビューとして発表 - 現在はRedshiftのみサポート？ Bedrock ナレッジベース(with 構造化データ)
18. ©Blueish 2024. All rights reserved. やってみた ©Blueish 2024. All rights reserved. 自然言語 SQL
19. 03 ハマったこと ©Blueish 2024. All rights reserved.
20. ©Blueish 2024. All rights reserved. ハマったこと ©Blueish 2024. All rights reserved. - 日本語で書いて欲しいクエリが英語に置換される 【解決策】 - 「”サッカー”は英語に訳さず日本語でクエリに使用して」など ①日本語が微妙
21. ©Blueish 2024. All rights reserved. ハマったこと ©Blueish 2024. All rights reserved. - Generation/Orchestration それぞれ変更可能 - 出力形式やテーブルのスキーマを上書きするこ とはできなさそう - temperatureなどのパラメータは変更可能 プロンプトテンプレートの変更も可能
22. ©Blueish 2024. All rights reserved. ハマったこと ©Blueish 2024. All rights reserved. ②Agentから接続できない問題
23. ご清聴ありがとうございました。 ©Blueish 2024. All rights reserved.