BigQuery リリースノート - 2023年上半期 #bq_sushi

#bq_sushi #18 の資料

リンクが扱いやすい Google スライドはこちら。
https://docs.google.com/presentation/d/1SZ-gMjBsFhnHX7CkNlSIW6FrImlq9ujBpJ6eXrXFOF4/edit?usp=sharing

Transcript

1. BigQuery リリースノート 2023年上半期 #bq_sushi #18 na0
2. na0 Google Cloud Champion Innovator - Data Analytics https://cloud.google.com/innovators/innovator?p rofileId=114716952416163029065 ユーザーコミュニティ BQ FUN 主催者 https://bqfun.jp/ 自己紹介
3. • BigQuery リリースの個人的推しを 3 つ紹介する • リリースノートざっと流し読みする ◦ 見辛い方は Twitter https://twitter.com/na0fu3y で スライドリンク確認してね #bq_sushi #18 の 10 分で話すこと
4. • 利用の際は必ず Google Cloud のドキュメントを確認してね！ • 🔧 付きの機能はプレビューだよ、SLA に注意してね！ • 情報は BigQuery release notes から引用 ◦ https://cloud.google.com/bigquery/docs/release-notes • FIXED と LIBRARIES 、ANNOUNCEMENT は省略 • ロケーション追加は省略 • 同一の機能の複数のリリースノートがある場合、古い方は省略 注意
5. 推し 1/3 - BigQuery エディション https://cloud.google.com/blog/ja/products/data-analytics/introducing-new-bigquery-pricing-editions より引用
6. 推し 2/3 - ML.GENERATE_TEXT 関数 https://cloud.google.com/bigquery/docs/generate-text-tutorial より引用 -- キーワード抽出 SELECT ml_generate_text_result['predictions'][0]['content'] AS generated_text, ml_generate_text_result['predictions'][0]['safetyAttributes'] AS safety_attributes, * EXCEPT (ml_generate_text_result) FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.llm_model`, ( SELECT CONCAT('Extract the key words from the text below: ', review) AS prompt, * FROM `bigquery-public-data.imdb.reviews` LIMIT 5 ), STRUCT( 0.2 AS temperature, 100 AS max_output_tokens));
7. 推し 3/3 - スケジュールされたクエリ 改善されたこと • クエリの編集時に認証情報が更新されるようになった 従来の問題 • クエリの編集後も認証情報が維持された • クエリを編集すると、クエリ作成者の権限を GoogleSQL の範囲で 行使できた ◦ スロット爆買いしたり、データセット権限を配ったり やるべきこと • 強い権限を持った人がスケジュールされたクエリを作成しており、多 くの人に bigquery.transfers.update を配っていた場合、このような 編集が行われていないか監査ログを確認する
8. BigQuery リリースノート 2023年1月 BigQuery • セッション内 TEMP FUNCTION • 容量コミットメントを変更する DDL BigQuery ML • モデル作成時の Sparse input • Vision models 🔧 Vertex AI • BigQuery ML モデルの管理 Vertex AI Pipelines • BigQuery ML 各種コンポーネント
9. BigQuery • INFORMATION_SCHEMA.JOBS* の query_info 列 • 動的マスキング ルール 4 種追加 • 大文字と小文字の区別しないデータセット • 列名を変更する DDL • 列を削除する DDL • 列のデフォルトの値 • ANY_VALUE 関数の HAVING MAX | MIN 句 🔧 • BigLake メタデータ キャッシュ対応テーブル 🔧 • 主キー、外部キー 🔧 • 承認済みルーティン 🔧 BigQuery リリースノート 2023年2月
10. Cloud コンソール • フォーカスしたタブに対応するリソースが選択される • 検索ボックスですべてのリソースを表示する「さらに表示」 • ロケーション選択時に、マルチ リージョンとシングル リージョンを分け て表示される • プロジェクトやデータセットの「コンテンツを更新」 BigQuery リリースノート 2023年2月
11. BigQuery Data Transfer Service • Azure Blob Storage の転送 🔧 BigQuery ML • ARIMA_PLUS_XREG モデル 🔧 BigQuery Omni • Azure Workload Identity 連携 bq コマンドライン ツール • サービス アカウントの権限借用 BigQuery リリースノート 2023年2月
12. BigQuery • WITH RECURSIVE 句 • Case-insensitive collation • BigQuery エディション • スロットの自動スケーリング • BigQuery パートナー センター • 柔軟な列名 🔧 • 変更データ キャプチャ 🔧 • インタラクティブな SQL トランスレータを使用して、バッチ変換された SQL クエリをデバッグする 🔧 Cloud コンソール • リネージ タブ BigQuery リリースノート 2023年3月
13. BigQuery ML • AutoML Tables CMEK • AutoML Tables OPTIMIZATION_OBJECTIVE 2 種追加 • Tensorflow, XGBoost バージョン引数 • instance_weight_col 引数 • ONNX, XGBoost, TensorFlow Lite モデルのインポート 🔧 • リモートモデル 🔧 • Cloud AI サービスのテーブル関数 🔧 BigQuery リリースノート 2023年3月
14. BigQuery リリースノート 2023年4月 BigQuery • テーブル スナップショットへのクエリのキャッシュ • 丸めモード • ARRAY<STRUCT> への動的なデータ マスキング • デュアルリージョン バケット への Cloud Storage 外部テーブル • Cloud Spanner の連携クエリの JSON 型へのマッピング Preview • Cloud コンソール: データ追加デモガイド 🔧
15. BigQuery リリースノート 2023年4月 BigQuery Data Transfer Service • Google 広告用 Google Ads API BigQuery BI Engine • 既存の予約用の優先テーブルの変更が反映されるまでの時間が 10 秒に短縮 BigQuery Omni • クエリ結果の最大サイズ 非圧縮で 20 GiB
16. BigQuery リリースノート 2023年5月 BigQuery • BigQuery ビューの列に説明を追加 • クエリがキューに入れられるデフォルトの時間の設定 • テーブル クローン • EXTERNAL_QUERY SQL pushdown • Cloud Monitoring 指標 4 種追加 • オブジェクト テーブル • DML ステートメントは 1 日あたりのテーブル変更の数にカウントされ なくなる
17. BigQuery リリースノート 2023年5月 BigQuery • YAML 構成ファイルを使用して SQL 変換を変換する 🔧 • INFORMATION_SCHEMA.MATERIALIZED_VIEW ビュー 🔧 • 差分プライバシー 🔧 • クエリ結果の並び替え 🔧 • パーティションとクラスタの推奨事項 🔧 • VPC Service Controls サービス境界で BigQuery Reservation API を保護 🔧 BigQuery Omni • BigQuery に転送する前にデータをフィルタ 🔧
18. BigQuery リリースノート 2023年6月 BigQuery • BigLake Metastore • INFORMATION_SCHEMA.TABLE_STORAGE* • Metadata caching • Apache Iceberg BigLake テーブル • トランザクション内 TRUNCATE TABLE • fail-safe period 🔧 Cloud コンソール • クエリ実行グラフ BigQuery ML • Generative AI 🔧
19. BigQuery 楽しみましょう