NL2SQLを活用したExcelの生成AI利用アプローチ

1. NL2SQLを活用した
 Excelの生成AI利用アプローチ クラメソおおさか IT 勉強会 Midosuji Tech #6
2. とすり@tosuri13 自称雑用系エンジニア
 AWS基盤の運用とかをやってます
3. Excelが生成AIにとって不遇な理由
4. Excelを生成AIで利用したい 例えば、以下のような社員名簿が記載されたExcelの構造化データを、生成AIで 取り扱うケースを考えます。
5. テキストに変換してみる 生のExcelデータには不要な文字列(XML)が多く含まれているため、以下のよう なMarkdownのテーブル形式に変換したテキストで扱うのが一般的です。
6. トークン数の問題 これをそのままプロンプトに含めて出力を生成することも可能ですが、レコー ド数やカラム数が増加するにつれて、入力トークン数(コスト)も大きく増加する ため、あまり好ましくありません。 100,000tokens 1行あたり100トークンと仮定すると 例えば社員名簿が1000行あった場合、OpenAI o3なら1リクエストで1$かかってしまう!!
7. RAGを利用するのはどうか？ では、RAG(ベクトル検索)で扱うのはどうでしょうか？しかし、RAGのチャンキ ング処理の中で、以下のようにテキストが分割される可能性があります。 ・チャンクA ・チャンクB
8. コンテキスト欠落の問題 このように分割されてしまうと、検索で片方のチャンクしか取得できなかった 場合、ヘッダーや列の一部の重要なコンテキスト情報が抜け落ちるため、生成 AIが正しく出力を生成できなくなる問題があります。 ・チャンクB 例えば「2018-07-01」という日付が何を指しているのか、このチャンクから判断することができない
 ↓ 生成AIが欠けている情報を補おうとるため、ハルシーネーションが発生するリスクが高まる
9. 色んな問題が重なり合って...
 このままではExcelを生成AIで扱いづらい!!
10. NL2SQLを活用した解決方法
11. どのようにして解決するか？ ベクトル検索ではなく、構造化データを生かしたSQL検索を利用してコンテキ ストの取得を行います。ここで利用するユーザの質問(自然言語)をSQLに変換す る技術をNL2SQL(Text-to-SQL)と呼びます。 自然言語(NL) 山田さんはいつ入社した？ 自然言語(NL) 山田さんはいつ入社した？ Model SQL Query SELECT 入社日 FROM employees WHERE 氏名 = '山田 太郎'; SQL Query SELECT 入社日 FROM employees WHERE 氏名 = '山田 太郎';
12. SQL検索のメリット SQL検索を利用することで、必要なコンテキストを欠落させることなく取得す ることができます。また、RAGでは不可能だった集計・フィルタリングなどの 分析タスクも処理できるようになります。 SQL Query SELECT 入社日 FROM employees WHERE 氏名 = '山田 太郎'; SQL Query SELECT 入社日 FROM employees WHERE 氏名 = '山田 太郎'; employees 必要最低限な量の
 コンテキストを取得できる
13. NL2SQLの具体的な実装アプローチ
14. データベースにロードする ExcelのデータをSQLiteやDuckDBなどのインメモリで動作可能なSQLデータ ベースにロードします。例ではDuckDBを使用しています。
15. スキーマを定義する 有効なSQLを生成させるには、生成AIにテーブルのスキーマを提供する必要が あります。スキーマには、テーブル名やカラム名、カラムの型、カラムの説明 (取りうる値の制約)などを含めて、プロンプトに組み込みます。
16. Tool Useでクエリ生成 + 実行を行う Tool Use(Function Calling)で生成AIが要求したクエリを実行します。⁨⁩クエリの 実行結果は再度生成AIに提供され、そこから最終的な回答を生成します。
17. 実際の生成内容を確認する
18. Excelを生成AIで扱えるようになった この一連の流れを実行することで、Excelデータを生成AIで有効に活用すること ができるようになりました。 ただし、構造化データやスキーマが整備されていない状態では、NL2SQLの効 果を最大限発揮することができないため、基本的なドキュメント整備から始め ることが重要です。 スキーマ取得 クエリ生成 + 実行 テキスト生成 Excelだけでなく、構造化データであれば全て対応することができる!!
19. まとめ
20. まとめ ・前提としてExcelデータをそのまま生成AIで扱うのは難しい 　→ 直接読み込むとコストが大きくなってしまう可能性がある
 　→ RAG(ベクトル検索)では有効なコンテキストを提供できない可能性がある ・有効的に活用するにはNL2SQLなどのアプローチを取るとよい 　→ NL2SQLでは、データの分析などを生成AIに処理させることができる 　→ 事前に構造化データやスキーマを整備することが重要
21. Thank you for listening!! 定期的にAI・クラウド系の技術発信をしてるので、よかったらTwitterフォローしてください。 @tosuri13