BigQuery 使ってみよう

GDG 古都 Meetup 2021/02/06 発表資料

Transcript

1. GDG 古都 Meetup YouTube LIVE GDG Nara & GDG Kyoto 2021-2-6 13:30-15:50 Noriko Takiguchi GDG Kyoto: Organizer Programmer 　 BigQuery 使ってみよう Google Cloud Platform
2. 2 本日のお話 • BigQuery とは？ • 誰でも利用できる？ • BigQuery サンドボックス • 一般公開データセット • チュートリアルやってみた • こんな魅力も • 参考リンク 個人活用も？ 試してみる 料金設定・使用方法等の把握大事！
3. 3 BigQuery とは？ データウェアハウス フルマネージド サービス • 大規模な分散データストレージ • 高可用な並列 SQL エンジン • 高速な処理（数秒/TB~数分/PB） • サーバーレス（インフラ管理不要） • データセキュリティ（暗号化・アクセス制御） • 他のGCP製品との相互運用性 BigQuery とは？ 社内ツール Dremel 公開・進化 アドホック分析 繰り返し 大量データ 格納可能 データストレージとコンピューティングの分離
4. 4 誰でも利用できる？ すべての Google Cloud ユーザー Firebase ユーザーを含む • Google アカウント  ログインが必要 • Google Cloud プロジェクト  新プロジェクトの場合：自動的にBigQuery有効 • 課金の有効化・無料枠利用  課金有効化しない場合：サンドボックス使用 何が必要？
5. 5 BigQuery サンドボックス • 無料枠と同じ無料使用量の上限（毎月）  10GB のアクティブ ストレージ  1TB のクエリデータ処理 • データセットの有効期限  デフォルトのパーティション有効期限 60日間  期限切れテーブル  48時間以内であれば復元可能 • 使用できない機能  データのストリーミング  データ操作言語（DML）のステートメント  BigQuery Data Transfer Service 制限範囲内 アクセス可能
6. 6 BigQuery サンドボックス https://console.cloud.google.com/bigquery 利用規約 チェック 同意して続行 クリック Cloud Console ログイン後 初めての場合
7. 7 BigQuery サンドボックス プロジェクトを作成 クリック 　　　クリックで プロジェクト作成 作成 {プロジェクトID}
8. 8 BigQuery サンドボックス 利用準備完了 サンドボックス 入力したプロジェクト名 相互切替
9. 9 一般公開データセット • Cloud Console から確認  ［リソース］セクション（Preview機能非表示の時）  ［エクスプローラ］パネル（Preview機能表示の時） • bigquery-public-data プロジェクト  すべてのプロジェクトに自動で固定 • サンプル テーブル（ロケーション設定：US）  bigquery-public-data:samples データセット  クエリ結果を別リージョンのテーブルに書込不可  別リージョンのテーブルとの結合不可 • サードパーティでホストされているプロジェクト https://cloud.google.com/bigquery/public-data
10. 10 一般公開データセット リソース PREVIEW機能非表示の時 ［リソース］セクション bigquery-public-data プロジェクト自動固定
11. 11 一般公開データセット エクスプローラ PREVIEW機能表示の時 [エクスプローラ］パネル bigquery-public-data プロジェクト自動固定
12. 12 一般公開データセットを調べる カテゴリ別 データセット一覧 フィルタ機能 各データセット 詳細確認可能
13. 13 チュートリアルやってみた • Cloud Console の使用  https://cloud.google.com/bigquery/docs/ bigquery-web-ui 読み込み エクスポート クエリ・表示 管理 • プロジェクト • ジョブ • データセット • テーブル 主な操作 確認 BigQuery データ クイックスタートガイドより 一般公開データセット使用する場合 新しいデータセット作成する場合
14. 14 Cloud Console データセット • プロジェクト  bigquery-public-data • データセット  usa_names <選択> A A B B データセット 検索可能 一般公開データセット使用する場合
15. 15 Cloud Console テーブル • プロジェクト  bigquery-public-data • データセット  usa_names スキーマ表示 テーブル　usa_1910_2013 A B C A B C • テーブル  usa_1910_2013 <選択> C
16. 16 Cloud Console テーブル 詳細表示 テーブル　usa_1910_2013 C C
17. 17 Cloud Console テーブル テーブル　usa_1910_2013 プレビュー表示 プレビュー表示 活用（課金対象外） 内容確認目的で 安易に クエリ実行しない C C
18. 18 Cloud Console クエリ作成 テーブル　usa_1910_2013 SQLクエリ記載すると処理サイズ事前表示 クエリ　　　前に確認 チェックマーク 処理サイズ 実行 C C 標準SQL
19. 19 Cloud Console クエリ例 SELECT name, gender, SUM(number) AS total FROM `bigquery-public-data.usa_names.usa_1910_2013` GROUP BY name, gender ORDER BY total DESC LIMIT 10 対象テーブル：` プロジェクト . データセット . テーブル ` 取得順序：数が多い順に 取得列を必ず列挙 集計単位 ＋ 集計（合計数） 表示上限：10件まで 課金削減にはならない 集計単位：名前＋性別 対象テーブル 標準SQL
20. 20 Cloud Console クエリ結果例 表形式の集計結果：10件表示 テーブル　usa_1910_2013 所要時間 1.4 秒 処理されたバイト数 99.95 MB 課金されるバイト数 100 MB 他の表示にも切替可能 • ジョブ情報 • JSON表示形式 • 実行詳細情報 ＜抜粋ジョブ情報＞ インタラクティブクエリ クエリ対象 テーブル行数 5,552,452
21. 21 Cloud Console データセット作成 [エクスプローラ] パネルで 自分のプロジェクト ＜選択＞後 クリック 作成画面表示 • データセット  babynames B データセットを作成 クリック 新しいデータセット作成する場合 B
22. 22 ｛プロジェクトID｝: babynames Cloud Console テーブル作成 {プロジェクトID}:babynames ｛プロジェクトID｝ B A • プロジェクト  {プロジェクトID} • データセット  babynames A B クリック テーブル作成画面表示 新しいテーブル作成する場合 {プロジェクトID}:babynames
23. 23 Cloud Console テーブル作成画面 name:string,gender:string,count:integer テーブル名：names_2014 C テーブルを作成 クリック ファイル形式：CSV 作成元：アップロード スキーマ：テキストとして編集 自PCのCSVファイル選択&アップロード Emma,F,20941 Olivia,F,19817 ... Zyrin,M,5 行数：332,666
24. 24 Cloud Console データソース ファイル形式 テーブルの作成元 多くの種類の データソースに対応
25. 25 Cloud Console クエリ例 SELECT name, count FROM `babynames.names_2014` WHERE gender = 'M' ORDER BY count DESC LIMIT 5 対象テーブル：` データセット . テーブル ` 取得順序：数が多い順に 取得列を必ず列挙 名前と件数 表示上限：5件まで 課金削減にはならない 抽出条件：性別が男性 対象テーブル 自プロジェクト 標準SQL
26. 26 Cloud Console クエリ結果例 テーブル names_2014 所要時間 0.2 秒 処理されたバイト数 622.98 KB 課金されるバイト数 10 MB ジョブの優先度 INTERACTIVE ＜抜粋ジョブ情報＞ インタラクティブクエリ クエリ対象テーブル行数：332,666 表形式の抽出結果：5件表示
27. 27 Cloud Console 履歴例 クエリ履歴 {アカウント} SELECT name, gender, SUM(number) AS total FROM `bigquery-public-data.usa_names.usa_1910_2013` GROUP BY name, gender ORDER BY total DESC LIMIT 10 ジョブ履歴 アップロードされたファイル を {プロジェクトID}:babynames.names_2014 に読み込みます Cloud Console の下部にリンクあり
28. 28 Cloud Console クリーンアップ データセット削除 ［エクスプローラ］ パネルで 自分のプロジェクト ＜選択＞後 クリック 削除ダイアログ 表示 適宜削除して不要な課金を防ぐ 対象のデータセット・テーブル すべてのデータ削除 削除 クリック
29. 29 こんな魅力も • 標準SQL使用可能  使いやすさ  RDBMS（行指向データベース）経験の活用  拡張機能 • 多種類のデータに対応 • 複数の接続方法 • バッチクエリ対応 • カラム指向データベース  特性を知って適切なクエリ作成  課金対象  クエリ処理量  データ保管料 注意点もあり ＜全列取得はNG＞　 　SELECT ＊ FROM … ＜LIMIT による制限＞ 　クエリ処理量の削減できない 　列情報全取得後の表示数制限
30. 30 こんな魅力も • bq コマンドライン ツール の使用  https://cloud.google.com/bigquery/docs/bq- command-line-tool • クライアント ライブラリの使用  https://cloud.google.com/bigquery/docs/ quickstarts/quickstart-client-libraries?hl=ja • BigQuery データの可視化  データポータルを使用  Jupyter ノートブックを使用 • その他 … いろんなチュートリアル試せる
31. 31 こんな魅力も • BigQuery GIS（地理情報システム）  地理空間データの分析および可視化  地理データ型と標準のSQL地理関数 • BigQuery ML  機械学習モデルの構築・評価（標準SQLクエリ） • BigQuery BI Engine  高速なメモリ内分析サービス • コネクテッド シート  スプレッドシート内のデータ分析（SQL知識不要） • BigQuery Omni （マルチクラウド機能：限定公開β版） • Data QnA（自然言語処理：限定公開β版）
32. 32 参考リンク BigQuery • レート上限と割り当ての上限  https://cloud.google.com/bigquery/quotas • 料金・費用を抑えるおすすめの方法  https://cloud.google.com/bigquery/pricing  https://cloud.google.com/bigquery/docs/best-practices-costs • クエリ パフォーマンスの最適化  https://cloud.google.com/bigquery/docs/best-practices- performance-overview • クラウドブログ BigQuery  https://cloud.google.com/blog/products/bigquery https://cloud.google.com/bigquery
33. 33 参考リンク BigQuery https://research.google/pubs/pub49489/ https://www.oreilly.com/library/view/ google-bigquery-the/9781492044451/ • Dremel: A Decade of Interactive SQL Analysis at Web Scale  BigQueryの基盤となったDremelの過去10年間の進化について • Google BigQuery: The Definitive Guide　 Data Warehousing, Analytics, and Machine Learning at Scale 1st Edition  ISBN: 9781492044468
34. 34 参考リンク Google Cloud Platform • https://cloud.google.com/docs • 管理コンソール  https://cloud.google.com/cloud-console • Google Cloud SDK  https://cloud.google.com/sdk/docs • 料金・請求先アカウント  https://cloud.google.com/pricing  https://cloud.google.com/billing/docs • 一般公開データセット  https://cloud.google.com/public-datasets https://cloud.google.com/
35. 35 Let’s get started! ともに学びましょう！ 変化する技術情報 Noriko Takiguchi noriko.taki3@gmail.com GDG Kyoto: Organizer • GDG (Google Developer Groups)  https://developers.google.com/community/gdg • GDG京都  https://gdg.community.dev/gdg-kyoto/  http://www.kyoto-gtug.org/  https://gdgkyoto.connpass.com/  https://twitter.com/gdgkyoto