BigQuery Studio

セゾン情報システムズ クラウド LT 大会 vol.6 の資料です
https://saison-coloris.connpass.com/event/303486/

Transcript

1. BigQuery Studio を使ってみた 2023/12/20 澤木 佑果
2. BigQuery Studio とは？ 3 Google Cloud Next ‘23 で発表された新機能 データの検出・分析・実行のアシスタントを行う • Colab Enterprise Python ノートブックの実行 • データプロファイル、データ品質の可視化 • SQL エディタでのコード開発支援 など [Google Cloud] BigQuery 分析の概要 - BigQuery スタジオ
3. Colab Enterprise Python ノートブック 4 Google Cloud のセキュリティとコンプライアンス機能を備えた、コラボレー ション型マネージドノートブック環境 ノートブックはコードと実行結果、コードに関するメモをまとめて記述できる ツール [Google Cloud] Colab Enterprise [Qiita]全プログラマに捧ぐ！図解「ノートブック」
4. Colab Enterprise Python ノートブック 5 BigQuery コンソール画面からノートブックの実行・編集ができる 1からの作成はもちろん、BigQuery テーブルやクエリ実行結果からノート ブックを作成できる
5. Colab Enterprise Python ノートブック 6 BigQuery コンソール画面からノートブックを作成すると、BigQuery の データを Python の Pandas ライブラリで扱うために必要な処理がすでに 用意されている 後は普段のノートブックのように 開発するだけ
6. データプロファイル、データ品質の可視化 7 カラムごとに平均や標準偏差などの統計情報、出現回数上位10個データ とその割合などを可視化
7. データプロファイル、データ品質の可視化 8 カラムごとに指定したルールに違反したデータがないかを確認できる データプロファイルによる推奨ルールを使うこともカスタムでルールを作成する こともできる
8. SQL エディタでの開発支援 9 Duet AI を使って SQL クエリの開発支援 • 自然言語から SQL クエリを作成する • 完成していない SQL クエリの補完を行う • SQL クエリについて自然言語で説明する
9. まとめ 10 • BigQuery の機械学習がより身近に • すでに機械学習を行っているユーザーにはさらに便利に • 未経験のユーザーにとっては機械学習を始めるハードルが下がったのでは？ • テーブルの信頼性評価がより容易に • 既存機能リネージも合わせて使うことで、テーブルの来歴・データのサマリ・データの 品質を特別な操作なく確認できる • SQL クエリの開発スピードがより速く • 試行錯誤する時間を短縮することができる