Databricks AI/BI Genie の「値ディクショナリー」をAmazonの奥地（S3）まで見に行く

Databricks AI/BI Genie の「値ディクショナリ」をAmazonの奥地（S3）まで見に行く DATUM STUDIO株式会社亀井友裕
2025/10/20 JEDAI Meetup!

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 2
自己紹介亀井友裕会社 DATUM STUDIO 株式会社職業データエンジニア / AIエンジニア主な業務経験データパイプラインの構築（Databricks）需要予測モデルの運用（Databricks） RAGの精度改善（AWS） AIエージェントの構築（AWS, Databricks） X @Camay119 （アイコンは→）

© 2025 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. AI/BI
Genie とは

AI/BI Genie とは AI/BI Genie は、自然言語を使用してデータを操作できるようにする Databricks の機能。ビジネスチームが自然言語を使用してデータを操作できるようになります。 https://docs.databricks.com/aws/ja/genie/#%E4%B E%8B-1- %E5%96%B6%E6%A5%AD%E6%A1%88%E4%BB %B6%E3%81%AE%E7%8A%B6%E6%85%8B%E3 %82%92%E8%A6%96%E8%A6%9A%E5%8C%96 %E3%81%99%E3%82%8B

Genie の応答に使われるコンポーネント Genie は、Unity Catalog や Genie Space 固有のメタデータを使用して応答を生成します。Genie の応答精度をあげるためには、これらの情報を整備してあげる必要があります。 https://docs.databricks.com/aws/ja/genie/#- genie%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB %E5%BF%9C%E7%AD%94%E3%82%92%E7%94%9F%E6%88%90%E3%81%97%E3% 81%BE%E3%81%99%E3%81%8B

Genie の応答に使われるコンポーネント Genie は、Unity Catalog や Genie Space 固有のメタデータを使用して応答を生成します。Genie の応答精度をあげるためには、これらの情報を整備してあげる必要があります。 https://docs.databricks.com/aws/ja/genie/#- genie%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB %E5%BF%9C%E7%AD%94%E3%82%92%E7%94%9F%E6%88%90%E3%81%97%E3% 81%BE%E3%81%99%E3%81%8B 今日はここの話

ナレッジストアのコンテキスト Genie スペースに追加したテーブルには、列ごとにさまざまなメタ情報を付与できます。

ナレッジストアのコンテキスト Genie スペースに追加したテーブルには、列ごとにさまざまなメタ情報を付与できます。カラムの説明を書くんだろうな e.g. 「支払いの手段」カラムの同義語を書くんだろうな e.g. 「決済方法,支払い方法」カラム値のサンプリング結果が入るんだろうな

ナレッジストアのコンテキスト Genie スペースに追加したテーブルには、列ごとにさまざまなメタ情報を付与できます。カラムの説明を書くんだろうな e.g. 「支払いの手段」カラムの同義語を書くんだろうな e.g. 「決済方法,支払い方法」カラム値のサンプリング結果が入るんだろうな …？？？

値ディクショナリドキュメントを読んでもピンとこない。値ディクショナリって何なんだ？？ https://docs.databricks.com/aws/ja/genie/knowledge- store#%E5%80%A4%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AA% E3%83%B3%E3%82%B0%E3%82%B3%E3%83%B3%E3%83%9D%E3%83 %BC%E3%83%8D%E3%83%B3%E3%83%88

値ディクショナリドキュメントを読んでもピンとこない。値ディクショナリって何なんだ？？ https://docs.databricks.com/aws/ja/genie/knowledge- store#%E5%80%A4%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AA% E3%83%B3%E3%82%B0%E3%82%B3%E3%83%B3%E3%83%9D%E3%83 %BC%E3%83%8D%E3%83%B3%E3%83%88 ディクショナリというより、リストっぽい？ 1024個ってどうやって選ばれるの？サンプリング？キュレーションされたリストって何？ 127を超える文字はどうなるの？トリムされる？

値ディクショナリってなんなんだ...

その謎を解明するため

我々調査隊はAmazon （AWS）の奥地（S3）へと向かったーー。

知りたいことのおさらい値ディクショナリって、具体的に何？キュレーションされたリストって何？ 1024個ってどうやって選ばれるの？ 127文字を超える文字はどうなるの？

検証ステップ 1. Genie Space を作る 2. ワークスペースストレージ（S3）に新規作成されたオブジェクトを探す

1. Genie Space を作るサンプルテーブル samples.bakehouse.sales_transactions のみを追加した、シンプルな Genie Space を作成。今回は、2つの列について値ディクショナリが自動作成されました。データの中身データの中身作成したGenie Space

2. ワークスペースストレージ（S3）に新規作成されたオブジェクトを探す AWS CLI を用いて、Genie が作成されたタイミングで新規に作成されたオブジェクトを探索。 → json ファイルと、sql の計画 / 実行結果（バイナリ）が作成されていました。 S3に新規で作成されていたオブジェクト json ファイルのペア * 2 SQL の計画 / 実行ファイルたち

2. ワークスペースストレージ（S3）に新規作成されたオブジェクトを探す AWS CLI を用いて、Genie が作成されたタイミングで新規に作成されたオブジェクトを探索。 → json ファイルと、sql の計画 / 実行結果（バイナリ）が作成されていました。 S3に新規で作成されていたオブジェクト json ファイルのペア * 2 SQL の計画 / 実行ファイルたち値ディクショナリの正体（多分） SQL も実行されてそう

値ディクショナリの正体 1カラムにつき、2つのjsonファイルが作成されていました。それぞれ、ユニーク値とそのベクトル埋め込みのリストが格納されており、これが値ディクショナリの正体と言えそうです。 value.json embedding.json • ユニーク値のリスト • 埋め込みモデルの名前 + リストのリスト（1024次元 * 3つ） • → おそらく、value.json の各値をベクトル埋め込みしたもの新規作成されていた json ファイル

値ディクショナリの正体 1カラムにつき、2つのjsonファイルが作成されていました。それぞれ、ユニーク値とそのベクトル埋め込みのリストが格納されており、これが値ディクショナリの正体と言えそうです。 value.json embedding.json • ユニーク値のリスト • 埋め込みモデルの名前 + リストのリスト（1024次元 * 3つ） • → おそらく、value.json の各値をベクトル埋め込みしたもの新規作成されていた json ファイル値ディクショナリ = カラムのユニーク値のリスト + ユニーク値のベクトル埋め込みのリスト

値ディクショナリの使われ方（妄想）値ディクショナリは、ユーザーの質問をベクトル検索にかけて、質問に含まれる用語が「どのカラムの」「どの値の」ことを指しているのかを推察するのに使われているのでは？カラム: paymentMethod visa master amex カラム: product Golden Gate Ginger Tokyo Tidbits Outback Oatmeal ベクトル埋め込みベクトル埋め込みベクトル埋め込みベクトル埋め込みベクトル埋め込みベクトル埋め込み値ディクショナリ注意：公式見解ではありません！全て発表者の妄想です！

値ディクショナリの使われ方（妄想）値ディクショナリは、ユーザーの質問をベクトル検索にかけて、質問に含まれる用語が「どのカラムの」「どの値の」ことを指しているのかを推察するのに使われているのでは？ American Express の売り上げを教えてベクトル埋め込みベクトル検索カラム: paymentMethod visa master amex カラム: product Golden Gate Ginger Tokyo Tidbits Outback Oatmeal ベクトル埋め込みベクトル埋め込みベクトル埋め込みベクトル埋め込みベクトル埋め込みベクトル埋め込み値ディクショナリ注意：公式見解ではありません！全て発表者の妄想です！

値ディクショナリの使われ方（妄想）値ディクショナリは、ユーザーの質問をベクトル検索にかけて、質問に含まれる用語が「どのカラムの」「どの値の」ことを指しているのかを推察するのに使われているのでは？「paymentMethod カラムの amex に関する質問」という判定を行うカラム: paymentMethod visa master amex カラム: product Golden Gate Ginger Tokyo Tidbits Outback Oatmeal ベクトル埋め込みベクトル埋め込みベクトル埋め込みベクトル埋め込みベクトル埋め込みベクトル埋め込み American Express の売り上げを教えてベクトル埋め込みベクトル検索ユーザー ←類似度 max!! 値ディクショナリ注意：公式見解ではありません！全て発表者の妄想です！

今の状況値ディクショナリって、具体的に何？ →カラムのユニーク値のリスト + ユニーク値のベクトル埋め込みのリストキュレーションされたリストって何？ → 1024個ってどうやって選ばれるの？ → 127文字を超える文字はどうなるの？ →

2. ワークスペースストレージ（S3）に新規作成されたオブジェクトを探す AWS CLI を用いて、Genie が作成されたタイミングで新規に作成されたオブジェクトを探索。 → json ファイルと、sql の計画 / 実行結果（バイナリ）が作成されていました。 S3に新規で作成されていたオブジェクト json ファイルのペア * 2 SQL の計画 / 実行ファイルたち値ディクショナリの正体（多分） SQL も実行されてそう再掲

Genie Space 作成時に実行された SQL を見てみる SELECT item.item AS value FROM ( SELECT explode(approx_top_k(`paymentMethod`, 1024)) AS item FROM ( SELECT `paymentMethod` FROM `samples`.`bakehouse`.`sales_transactions` LIMIT 100000 ) ) WHERE length(item.item) < 127

Genie Space 作成時に実行された SQL を見てみる SELECT item.item AS value FROM ( SELECT explode(approx_top_k(`paymentMethod`, 1024)) AS item FROM ( SELECT `paymentMethod` FROM `samples`.`bakehouse`.`sales_transactions` LIMIT 100000 ) ) WHERE length(item.item) < 127 ① 先頭10万件を抽出

Genie Space 作成時に実行された SQL を見てみる SELECT item.item AS value FROM ( SELECT explode(approx_top_k(`paymentMethod`, 1024)) AS item FROM ( SELECT `paymentMethod` FROM `samples`.`bakehouse`.`sales_transactions` LIMIT 100000 ) ) WHERE length(item.item) < 127 ① 先頭10万件を抽出 ② 出現頻度の高い 1024 件のユニーク値を抽出

Genie Space 作成時に実行された SQL を見てみる SELECT item.item AS value FROM ( SELECT explode(approx_top_k(`paymentMethod`, 1024)) AS item FROM ( SELECT `paymentMethod` FROM `samples`.`bakehouse`.`sales_transactions` LIMIT 100000 ) ) WHERE length(item.item) < 127 ① 先頭10万件を抽出 ② 出現頻度の高い 1024 件のユニーク値を抽出 ③ 文字列長が 127 を超えるものをフィルター

検証結果値ディクショナリって、具体的に何？ → カラムのユニーク値のリスト + ユニーク値のベクトル埋め込みのリストキュレーションされたリストって何？ → 先頭10万行のうち、出現頻度が上位1024番目までのカラム値のリスト 1024個ってどうやって選ばれるの？ → 同上 127文字を超える文字はどうなるの？ → フィルターされるので、値ディクショナリには使われない

検証結果に基づいた、Genie チューニングのコツ • 社内用語は General Instruction に明示しよう • 一般語（例:「日本」「JP」）は値ディクショナリで十分変換できる • 独自用語は埋め込みモデルが未学習のため、変換精度が低い • → General Instruction にマッピングを書くなどして補完しよう • カテゴリ値が行全体で偏っていないかを確認しよう • 値ディクショナリは先頭10万行のみ対象 • 末尾だけにある値は未収録のため、変換精度が低い • カテゴリ列は短い文字列に抑えよう • 文字列長127超は除外される（≠ truncate） • 200文字とかの値は値ディクショナリに載らない

Databricks AI/BI Genie の「値ディクショナリー」をAmazonの奥地（S...

Databricks AI/BI Genie の「値ディクショナリー」をAmazonの奥地（S3）まで見に行く

More Decks by camay

Other Decks in Technology

Featured

Transcript