BigQuery Continuous query

2024/8/28(水) に開催された color is【クラウドLT大会vol.10】フリーテーマ！の登壇資料です。
https://saison-coloris.connpass.com/event/327849/

Transcript

1. BigQuery continuous query 2024/8/28 澤木 佑果
2. BigQuery continuous query とは 3 BigQuery とは Google Cloud が提供するフルマネージドの データ分析プラットフォームサービス Continuous query は4月の Google Cloud Next で発表され、 8月にプレビューとなった機能 この資料は8/16時点の情報をもとに作成しています
3. BigQuery continuous query とは 4 Continuous query を使うと、BigQuery に書き込まれたデータに対して クエリを実行できるため、リアルタイム分析が可能になる クエリの実行結果を BigQuery のテーブルや Pub/Sub、Bigtable に書 き込むことができるため、リバース ETL が可能になる 【Google Cloud】継続的クエリの概要
4. 機能・料金 5 • 出力先 • BigQuery テーブル • Pub/Sub • Bigtable • 一部のAI関数、生成AI関数が使用可能 • ML.GENERATE_TEXT：関数を使用してテキストを生成する • ML.UNDERSTAND_TEXT：Cloud Natural Language API を使ってテ キストを分析する など • 使用するためにスロット予約が必要 • Enterprise エディション または Enterprise Plus エディション
5. ユースケース 6 Google Cloud で紹介されている例 1. ECサイトのショッピングカートが破棄されたタイミングで BigQuery テーブルにレコー ドを追加する 2. Continuous query がレコード追加を検知し、Gemini を使って顧客へ送るプロ モーションメールの内容を作成するクエリを実行する 3. 実行結果を Pub/Sub で Application Integration へ通知、顧客へメールを 送信する Real-time in no time: Introducing BigQuery continuous queries for up-to-the-minute insights
6. やってみた 7 BigQuery テーブルに書き込まれた英単語を Gemini を使って翻訳し、 翻訳した単語を別の BigQuery テーブルへ書き込むクエリを作成し、 Continuous query で実行してみる
7. やってみた デモ詳細 9 1. Continuous query で実行するクエリを作成する • words テーブルの単語を翻訳するように Gemini に指示を出す • Gemini から取得した結果を words_translation テーブルに挿入する
8. やってみた デモ詳細 10 2. 1 のクエリを Continuous query として実行を開始する 3. words テーブルに1レコード挿入する 4. words テーブルへのレコード挿入を検知して、1 のクエリが自動で実行 される 5. words_translation テーブルにクエリ実行結果が追加される ちなみに、デモでスロットを3-4時間使い、1500円発生した
9. まとめ 11 • Continuous query は8月にプレビューとなった機能 • Continuous query を使うことで、リアルタイム分析・リバースETLが可 能になった • AI関数、生成AI関数を使えるのでリアルタイム&AIを使った分析・コンテ ンツ生成ができる
10. Thank you