大量データに対しても、生成AIを用いてリーズナブルにデータ加工をしたい！Databricksのai_queryについて調べてみた

Falbe 5/Mythos 5: https://www.anthropic.com/news/claude-fable-5-mythos-5
紹介した記事: https://qiita.com/kamo-shika/items/12148ac5a96c8eb2b902

Databricks 関連
- ai_query 関数: https://docs.databricks.com/aws/en/sql/language-manual/functions/ai_query
- バッチ推論: https://docs.databricks.com/en/large-language-models/ai-query-batch-inference.html
- 外部モデル: https://docs.databricks.com/aws/en/machine-learning/foundation-models/external-models
- サービス認証情報: https://docs.databricks.com/aws/en/connect/unity-catalog/cloud-services/service-credentials
- カスタムLLMのサービング: https://docs.databricks.com/aws/en/machine-learning/model-serving/serve-custom-llms
- Model Serving 料金: https://www.databricks.com/product/pricing/model-serving
- Foundation Model Serving 料金: https://www.databricks.com/product/pricing/foundation-model-serving

他社の類似機能
- Snowflake Cortex AISQL: https://docs.snowflake.com/en/user-guide/snowflake-cortex/aisql
- BigQuery AI.GENERATE: https://docs.cloud.google.com/bigquery/docs/reference/standard-sql/bigqueryml-syntax-ai-generate
- Redshift ML: https://docs.aws.amazon.com/redshift/latest/dg/machine-learning-br.html
- ClickHouse AI Functions: https://clickhouse.com/docs/sql-reference/functions/ai-functions

Transcript

1. 大量データに対しても、 生成AIを用いてリーズナブルにデータ加工をしたい！ Databricksのai_queryについて調べてみた 2026.7.17
2. 1 KDDI Agile Development Center Corporation 自己紹介 須賀晴也（すがはるや） • ソフトウェアエンジニア/ NEW! データエンジニア • でかぬいぐるみを載せられるぐらいのスマホ首 最近の個人的ニュース • HUNTER×HUNTER連載再開やったあああ！ • 近年の邦画ホラーいいぞ！ 「口に関するアンケート」公開中、映画館に急げ • サカナクション アリーナツアー「透明」 大量追加公演決定！ • Slay the Spire 2 に囚われ続けている日々 @kamo__shila でXやってます
3. 2 KDDI Agile Development Center Corporation みなさん！！
4. 3 KDDI Agile Development Center Corporation 最近の生成AIって高くないですか！？
5. 4 KDDI Agile Development Center Corporation 例えば Falbe 5 や Mythos 5 などのフロンティアモデル 参考：https://www.anthropic.com/news/claude-fable-5-mythos-5 最高だけど、高杉内 （データ加工する時なんて、 Sonnet でも高級品）
6. 5 KDDI Agile Development Center Corporation でもデータ分析前の加工処理レベルなら、そこまで性能いらなそう 参考：https://qiita.com/kamo-shika/items/12148ac5a96c8eb2b902 ある程度文脈さえ残ってれば、 軽量モデルでもいけるな
7. 6 KDDI Agile Development Center Corporation こんな状況、みなさんありますよね？
8. 7 KDDI Agile Development Center Corporation お客様「AI使うとお高くなるんでしょ？」 課題 今後のデータ分析やデータ活用に向けて、対象のデータを1件ずつ加工した いのよね。加工には生成AIが必要そうなんだけど、あんまりコストはかけたく ないんだけど難しいかしら。。。 ※このお客様はフィクションです。実在の人物や団体などとは関係ありません。
9. 8 KDDI Agile Development Center Corporation お客様「AI使うとお高くなるんでしょ？」 課題 今後のデータ分析やデータ活用に向けて、対象のデータを1件ずつ加工した いのよね。加工には生成AIが必要そうなんだけど、あんまりコストはかけたく ないんだけど難しいかしら。。。 （LLMでも軽量モデルなら）できらあ！！ ※このお客様はフィクションです。実在の人物や団体などとは関係ありません。
10. 9 KDDI Agile Development Center Corporation お客様「AI使うとお高くなるんでしょ？」 課題 今後のデータ分析やデータ活用に向けて、対象のデータを1件ずつ加工した いのよね。加工には生成AIが必要そうなんだけど、あんまりコストはかけたく ないんだけど難しいかしら。。。 とはいえ、そもそもアーキテクチャどうしよ？パイプラ インから一件ずつAPI呼んで処理する？オーケスト レーション・スケーリングを自分達で一から構築する の大変では？ ※このお客様はフィクションです。実在の人物や団体などとは関係ありません。
11. 10 KDDI Agile Development Center Corporation ？？？？？「お任せください！」
12. 11 KDDI Agile Development Center Corporation Databricks の ai_query でSQLの中でLLMを呼ぶ SELECT review_id, ai_query('databricks-gpt-oss-20b', CONCAT('次のレビューの感情を「ポジティブ」か「ネガティブ」の一語で : ', review_text) ) AS sentiment FROM product_reviews; review_id review_text sentiment 1 配送が早くて助かった。梱包も丁寧。 ポジティブ 2 画面が届いてすぐ割れていた。返品したい。 ネガティブ 3 値段の割に高機能。コスパ最高です。 ポジティブ SELECT文を書くだけで、テーブル全行にAI分析が走る
13. 12 KDDI Agile Development Center Corporation SQLから見えるのは「エンドポイント名」だけ SQL　—　ai_query('エンドポイント名', プロンプト) AI Model Serving 　—　サービングエンドポイントが受け付け エンドポイントの「中身」 　—　呼び出し先は自由に選べる • 並列化・リトライ・スループット制御は プラットフォーム側が処理してくれる！ • エンドポイントの中身を差し替えても SQL自体は変わらない！ • 様々な選択肢に対して、柔軟に対応することが可能 • （※ただしサーバレスコンピュートが必要） 控えめに言って神
14. 13 KDDI Agile Development Center Corporation 「SQLにAI」自体はコモディティだが、差は呼び出し先の自由度 主要データ基盤はほぼすべて同型の関数を装備済み（2026年時点） 製品 ホスト済みモデル 外部モデル接続 自前ホスト BigQuery AI.GENERATE ◯（Geminiのみ） ✕ ✕ Snowflake Cortex AISQL ◯（OpenAI/Claude/Llama等） ✕ △（SPCSのみ） Redshift ML ✕ △（Bedrock限定） △（SageMaker連携） ClickHouse AI Functions ✕ ◯（OpenAI互換） ✕（サービング機能なし） Databricks ai_query ◯（Llama/GPT OSS/Claude等） ◯（Bedrock/OpenAI等） ◯（MLflowサービング） 3経路を同一のエンドポイント抽象で覆い、SQLを変えずに差し替えられるのはDatabricksだけ！
15. 14 KDDI Agile Development Center Corporation 呼び出し先は3経路から選べる
16. 15 KDDI Agile Development Center Corporation サーバーレス まず試すならこれ Databricksがホストする基盤モデルをトークンAPI従量課金で利用する • Llama、GPT OSS、Claude等のエンドポイントが最初からDatabricks上に用意されている • インフラ管理ゼロ・アイドル課金ゼロ。SQLを書いたぶんだけ課金 Q. 自前でGPUを立てるより安いか • 例えば8Bクラスを自前ホストする場合： ざっっっくり月数十億トークン規模（ A4文書（1枚約1,500字）で 月400万〜600万枚分）の恒常負荷があれば、 API従量課金よりも安くなりそう →最初はトークンAPI従量課金で試し、 　規模拡大に応じて自前ホストを検討しよう クラウドと考え方一緒
17. 16 KDDI Agile Development Center Corporation 外部モデルで使い慣れたBedrockのClaudeをそのまま Bedrock / OpenAI / Vertex AI等をDatabricks経由で呼ぶ • エンドポイントの中身を外部プロバイダーへのプロキシにする • 推論費用はプロバイダー側（AWS等）に直接課金 — 既存の契約・単価のまま 認証はアクセスキー不要 — IAMロールで安全に ai_query → 外部モデルエンドポイント → UCサービス認証情報 → AssumeRole（External ID付き） → Bedrock • 自社AWSアカウントにIAMロールを作成 （Bedrock呼び出し権限のみ） • DatabricksのUCサービス認証情報としてロールを登録 • 呼び出しのたびに一時クレデンシャルを取得 — キーの保管・ローテーション不要 • AI Gateway でレート制限、フォールバック、 ガードレールが付けられる 外部モデルも Databricks管理下に 置けていいね
18. 17 KDDI Agile Development Center Corporation 自前ホストでカスタムモデルもサービングできる Databricksの基盤モデル以外や、ファインチューニング済みモデルを使いたい場合 • HuggingFaceからモデルを選択し、MLflowでデプロイ • コンテナ化・API化・スケーリングはプラットフォームが面倒を見る • scale-to-zeroに対応しており、使わない時間はアイドル課金を回避できる 単純に常時高負荷ならprovisioned throughputという選択肢も • 従量課金ではなく時間課金の専用キャパシティ（レイテンシ保証あり） • 「常時稼働で安定して回したい」ワークロード向け 自前ホストも Databricksでできる
19. 18 KDDI Agile Development Center Corporation 3経路とも、SQLは同一のまま エンドポイント名を差し替えるだけで呼び出し先が切り替わる SELECT review_id, ai_query('databricks-gpt-oss-20b', ...) -- ① サーバーレス -- ai_query('bedrock-claude-haiku', ...) -- ② BedrockのClaude -- ai_query('qwen25-05b-instruct', ...) -- ③ 自前ホスト FROM product_reviews; • SQLを変えずにエンドポイント名だけ替えれば、 呼び出し先がGPT OSSからBedrockのClaudeに切り替わり、同じ分類結果が返ってくる • PoCはサーバーレスで開始 → 要件が固まったらBedrockやFTモデルに差し替えて、 　 SQL資産を壊さずにモデル選定をやり直せる 移行や検証も やりやすい
20. 19 KDDI Agile Development Center Corporation まとめ
21. 20 KDDI Agile Development Center Corporation 生成AIを用いてリーズナブルにデータ加工できる！ 悩み 解決策 数万レコードに生成AIで加工したい ai_queryでSQL一発。並列化・リトライは基盤任せ まず安く試したい サーバーレス従量課金から。自前GPUより安い 使い慣れたモデルや他クラウドのモデルを使いたい 外部モデル接続。IAMロールで安全に、課金はAWS側のまま カスタムモデル / 常時稼働したい MLflowで自前ホスト / provisioned throughput これで安心して、 データ分析できるね
22. 21 KDDI Agile Development Center Corporation ご清聴ありがとうございました！
23. 22 KDDI Agile Development Center Corporation 参考ドキュメント Databricks公式 • ai_query function • AI Functionsによるバッチ推論 • External models in Model Serving • Create service credentials • Serve custom LLMs • Model Serving Pricing • Foundation Model Serving Pricing 比較した各製品 • Snowflake Cortex AISQL / BigQuery AI.GENERATE / Redshift ML + Bedrock / ClickHouse AI Functions
24. Be a Change Leader. アジャイルに力を与え 共に成長し続ける社会を創る