BigQuery リリースノート 2023年上半期 #bq_sushi #18 na0

na0 Google Cloud Champion Innovator - Data Analytics https://cloud.google.com/innovators/innovator?p rofileId=114716952416163029065 ユーザーコミュニティ BQ FUN 主催者 https://bqfun.jp/ 自己紹介

● BigQuery リリースの個人的推しを 3 つ紹介する ● リリースノートざっと流し読みする ○ 見辛い方は Twitter https://twitter.com/na0fu3y で スライドリンク確認してね #bq_sushi #18 の 10 分で話すこと

● 利用の際は必ず Google Cloud のドキュメントを確認してね！ ● 🔧 付きの機能はプレビューだよ、SLA に注意してね！ ● 情報は BigQuery release notes から引用 ○ https://cloud.google.com/bigquery/docs/release-notes ● FIXED と LIBRARIES 、ANNOUNCEMENT は省略 ● ロケーション追加は省略 ● 同一の機能の複数のリリースノートがある場合、古い方は省略 注意

推し 1/3 - BigQuery エディション https://cloud.google.com/blog/ja/products/data-analytics/introducing-new-bigquery-pricing-editions より引用

推し 2/3 - ML.GENERATE_TEXT 関数 https://cloud.google.com/bigquery/docs/generate-text-tutorial より引用 -- キーワード抽出 SELECT ml_generate_text_result['predictions'][0]['content'] AS generated_text, ml_generate_text_result['predictions'][0]['safetyAttributes'] AS safety_attributes, * EXCEPT (ml_generate_text_result) FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.llm_model`, ( SELECT CONCAT('Extract the key words from the text below: ', review) AS prompt, * FROM `bigquery-public-data.imdb.reviews` LIMIT 5 ), STRUCT( 0.2 AS temperature, 100 AS max_output_tokens));

推し 3/3 - スケジュールされたクエリ 改善されたこと ● クエリの編集時に認証情報が更新されるようになった 従来の問題 ● クエリの編集後も認証情報が維持された ● クエリを編集すると、クエリ作成者の権限を GoogleSQL の範囲で 行使できた ○ スロット爆買いしたり、データセット権限を配ったり やるべきこと ● 強い権限を持った人がスケジュールされたクエリを作成しており、多 くの人に bigquery.transfers.update を配っていた場合、このような 編集が行われていないか監査ログを確認する

BigQuery リリースノート 2023年1月 BigQuery ● セッション内 TEMP FUNCTION ● 容量コミットメントを変更する DDL BigQuery ML ● モデル作成時の Sparse input ● Vision models 🔧 Vertex AI ● BigQuery ML モデルの管理 Vertex AI Pipelines ● BigQuery ML 各種コンポーネント

BigQuery ● INFORMATION_SCHEMA.JOBS* の query_info 列 ● 動的マスキング ルール 4 種追加 ● 大文字と小文字の区別しないデータセット ● 列名を変更する DDL ● 列を削除する DDL ● 列のデフォルトの値 ● ANY_VALUE 関数の HAVING MAX | MIN 句 🔧 ● BigLake メタデータ キャッシュ対応テーブル 🔧 ● 主キー、外部キー 🔧 ● 承認済みルーティン 🔧 BigQuery リリースノート 2023年2月

Cloud コンソール ● フォーカスしたタブに対応するリソースが選択される ● 検索ボックスですべてのリソースを表示する「さらに表示」 ● ロケーション選択時に、マルチ リージョンとシングル リージョンを分け て表示される ● プロジェクトやデータセットの「コンテンツを更新」 BigQuery リリースノート 2023年2月

BigQuery Data Transfer Service ● Azure Blob Storage の転送 🔧 BigQuery ML ● ARIMA_PLUS_XREG モデル 🔧 BigQuery Omni ● Azure Workload Identity 連携 bq コマンドライン ツール ● サービス アカウントの権限借用 BigQuery リリースノート 2023年2月

BigQuery ● WITH RECURSIVE 句 ● Case-insensitive collation ● BigQuery エディション ● スロットの自動スケーリング ● BigQuery パートナー センター ● 柔軟な列名 🔧 ● 変更データ キャプチャ 🔧 ● インタラクティブな SQL トランスレータを使用して、バッチ変換された SQL クエリをデバッグする 🔧 Cloud コンソール ● リネージ タブ BigQuery リリースノート 2023年3月

BigQuery ML ● AutoML Tables CMEK ● AutoML Tables OPTIMIZATION_OBJECTIVE 2 種追加 ● Tensorflow, XGBoost バージョン引数 ● instance_weight_col 引数 ● ONNX, XGBoost, TensorFlow Lite モデルのインポート 🔧 ● リモートモデル 🔧 ● Cloud AI サービスのテーブル関数 🔧 BigQuery リリースノート 2023年3月

BigQuery リリースノート 2023年4月 BigQuery ● テーブル スナップショットへのクエリのキャッシュ ● 丸めモード ● ARRAY への動的なデータ マスキング ● デュアルリージョン バケット への Cloud Storage 外部テーブル ● Cloud Spanner の連携クエリの JSON 型へのマッピング Preview ● Cloud コンソール: データ追加デモガイド 🔧

BigQuery リリースノート 2023年4月 BigQuery Data Transfer Service ● Google 広告用 Google Ads API BigQuery BI Engine ● 既存の予約用の優先テーブルの変更が反映されるまでの時間が 10 秒に短縮 BigQuery Omni ● クエリ結果の最大サイズ 非圧縮で 20 GiB

BigQuery リリースノート 2023年5月 BigQuery ● BigQuery ビューの列に説明を追加 ● クエリがキューに入れられるデフォルトの時間の設定 ● テーブル クローン ● EXTERNAL_QUERY SQL pushdown ● Cloud Monitoring 指標 4 種追加 ● オブジェクト テーブル ● DML ステートメントは 1 日あたりのテーブル変更の数にカウントされ なくなる

BigQuery リリースノート 2023年5月 BigQuery ● YAML 構成ファイルを使用して SQL 変換を変換する 🔧 ● INFORMATION_SCHEMA.MATERIALIZED_VIEW ビュー 🔧 ● 差分プライバシー 🔧 ● クエリ結果の並び替え 🔧 ● パーティションとクラスタの推奨事項 🔧 ● VPC Service Controls サービス境界で BigQuery Reservation API を保護 🔧 BigQuery Omni ● BigQuery に転送する前にデータをフィルタ 🔧

BigQuery リリースノート 2023年6月 BigQuery ● BigLake Metastore ● INFORMATION_SCHEMA.TABLE_STORAGE* ● Metadata caching ● Apache Iceberg BigLake テーブル ● トランザクション内 TRUNCATE TABLE ● fail-safe period 🔧 Cloud コンソール ● クエリ実行グラフ BigQuery ML ● Generative AI 🔧

BigQuery 楽しみましょう