BigQueryって何か？どんなもんなのかを解説します。

GDG DevFest2024 Tokyoで話したやつです。

Transcript

1. BigQueryって何か？どんなもん なのかを解説します。
2. 自己紹介 • 名前 ◦ なかむら　さとる • お仕事 ◦ DataEngineer ◦ データ使いたい人のお手伝い • その他 ◦ Google Developers Expert(GCP) ◦ Google Cloud Champion Innovators(Data Analytics) ◦ #bq_sushi オーガナイザー
3. BigQueryとは？
4. データウェアハウス (DWH)です！ でも、それだけじゃない！ • DWH <- これが本業 • 機械学習できます • データのパイプラインも作れます • データの管理機能（Dataplex）と連携できます • AWSのデータも見れます • 生成AIとも連携します • python notebookだって動きます • APIを叩くこともできます
5. データウェアハウス (DWH)です！ でも、それだけじゃない！ • データに関することが1つで出来ちゃう！
6. Googleが持っているインフラ 技術の集合体で出来ている • Colossus • Dremel • Borg • Jupiter
7. 各種論文の解説がある グーグルのクラウドを支えるテクノロジー https://www.school.ctc-g.co.jp/columns/nakai2/
8. BigQueryと生成AI
9. BigQueryと生成AIでできること • クエリ結果をGeminiに投げる • クエリを自然言語で作ってくれる • チューニングをリコメンドしてくれる • データの変換をリコメンドしてくえる • などなどなど
10. BigQueryと生成AIでできること • クエリ結果をGeminiに投げる • クエリを自然言語で作ってくれる • チューニングをリコメンドしてくれる • データの変換をリコメンドしてくえる • などなどなど
11. クエリ結果を Geminiになげる • RemoteModelsっていうものを使ってクエリだけで使える （わけがわからない） • デモします
12. クエリ結果を Geminiになげる • わざわざAPIを使うためのコードを書く必要がない • ナニカの専用ではなく、モデルをあらかじめ置いておくことでみんなが使える • とくかく楽ちん
13. クエリを自然言語で作ってくれる • そのままです • DataCanvasで順をおってデータをみれる • デモる
14. クエリを自然言語で作ってくれる • これを使うには準備が必要 ◦ 英語で意味がわかるカラム名ならなんとなくやってくれたりもする ◦ テーブルやカラムに Descriptionを書く ▪ 必ずしも全部は必要ないと思っている（なかむらの所感） ユーザーが触れるデータからやっていけば良いと思います ▪ ビジネスメタデータとテクニカルメタデータは使い分け ▪ 非正規化したデータマートを 1つ作っておいてそこからだとどう？ ▪ ソースのところはがんばってやっていきましょう ▪ 中間層は後回しで良いかと（やらなくてもいいかも？） ▪ もっとあるある言いたいけど今日はここまで ▪ DMMさんの発表が参考になります
15. ありがとうございました！