Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BigQuery・Glue・S3・QuickSightの連携をしたお話
Search
kenkentarou
June 04, 2022
Technology
0
220
BigQuery・Glue・S3・QuickSightの連携をしたお話
BigQuery・Glue・S3・QuickSightの連携をしたお話
kenkentarou
June 04, 2022
Tweet
Share
More Decks by kenkentarou
See All by kenkentarou
株式会社Relic_臺健太郎_RubyWorldConference2022発表資料.pdf
kenkentarou
0
220
Other Decks in Technology
See All in Technology
生成AI時代の開発組織・技術・プロセス 〜 ログラスの挑戦と考察 〜
itohiro73
1
430
Delegating the chores of authenticating users to Keycloak
ahus1
0
140
Understanding_Thread_Tuning_for_Inference_Servers_of_Deep_Models.pdf
lycorptech_jp
PRO
0
180
20250707-AI活用の個人差を埋めるチームづくり
shnjtk
4
3.6k
LangSmith×Webhook連携で実現するプロンプトドリブンCI/CD
sergicalsix
1
210
Lazy application authentication with Tailscale
bluehatbrit
0
170
生成AIで小説を書くためにプロンプトの制約や原則について学ぶ / prompt-engineering-for-ai-fiction
nwiizo
6
4.1k
Operating Operator
shhnjk
1
510
第4回Snowflake 金融ユーザー会 Snowflake summit recap
tamaoki
1
240
AWS認定を取る中で感じたこと
siromi
1
180
論文紹介:LLMDet (CVPR2025 Highlight)
tattaka
0
310
マネジメントって難しい、けどおもしろい / Management is tough, but fun! #em_findy
ar_tama
7
910
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
184
22k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
The Pragmatic Product Professional
lauravandoore
35
6.7k
Six Lessons from altMBA
skipperchong
28
3.9k
The Invisible Side of Design
smashingmag
301
51k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
53k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
How GitHub (no longer) Works
holman
314
140k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Transcript
臺 健太郎(Dai Kentaro) 株式会社Relic テクノロジープラットフォームグループ BigQuery・Glue・S3・QuickSightの連 携をしたお話
色々なやり方があると思います。 ご意見等あれば、発表後にご教示いただけると幸いです。 また、マサカリ大歓迎です。
自己紹介 • 臺 健太郎(だい けんたろう) • 出身: 大阪府 • 株式会社Relic
テクノロジープラットフォームグループ/バックエンドエンジニア • 入社約2年2ヶ月 = エンジニア歴 • 初めてコードを書いたのは2019/9 • 業務でよく触る分野 ◦ Rails,Nuxt.js,AWS,GCP,Docker,CircleCI,GithubAcitons etc • twitter: kenkentaro@kenkentarouu • facebook: https://www.facebook.com/kentaro.di/
• 閲覧数などの情報をGAで管理 • 自分のプロフィールや投稿が閲覧された回数など を記録して、それをQuickSight上で表示したい。 (もちろんユーザーにも) • BigQueryのデータをわざわざQuickSightで見ようと する理由は、BigQuery上のデータとRDSのDBデー タをガッチャンこして見たいという要件があったから。
完成形(簡単にざっくりやりたいこと) • QuickSight上で以下のような表示を目指したい。
• 赤枠以外のところがRDSに保存されているDB データ • 赤枠のところがBigQueryに保存されているデー タ • それら2つを結合してQuickSight上で一覧表示 したい •
ソートしたりフィルターかけたりCSV出力したりし て分析したい
• アプリ側のコードにGoogleAnalyticsのタグを埋め込み • ユーザーがイベントを踏むと発火しデータをGoogleAnalyticsへ送信 • GoogleAnalyticsで取得しているデータをBigQueryに定期的にエクスポートして BigQuery上に永続化しておく • BigQuery上で1日前のデータが入ったテーブルを作成して日々データを追加して いくクエリの定期実行をスケジューリングする(22:30に実行)
• AWS上でGlueを使いコネクター経由でBigQuery上のテーブルデータをその実行 時点までの全件取得して取り込んでCSV形式に変換してS3へ吐き出す定期実行 のジョブを作成し一度実行 • AWS上でGlueを使いコネクター経由で1日前に追加されたBigQuery上のテーブ ルデータを取り込んでCSV形式に変換してS3へ吐き出す定期実行のジョブを作成 し1日1回実行するようにスケジューリング(23:00に実行) • S3へ置いたCSVデータとQuickSightを連携させる • QuickSight上で連携したCSVデータをとRDSのDBデータとを結合させ一覧表示
文字が多すぎてわからない.............
アプリサーバー FirebaseAnalytics event送信 - pageviewなどの規定イ ベント - カスタムイベント BigQueryのSQLパラメータを 付加してAPIリクエスト
アプリサーバーを介して BigQueryの実行結果を受け 取る FirebaseAnalytics BigQuery Google Cloud Platform 連携 ・ネイティブ側はアプリサーバーを介して BigQueryの結果を受け取る ・FAとBigQueryをあらかじめ紐づけておく ネイティブから受け取った BigQueryのSQLパラメータ を使ってBigQueryAPIでリ クエスト 1日一回定期的に FAの データをBigQueryにエクス ポートしてBigQuery上で永 続化
FirebaseAnalytics Google Cloud Platform 1日一回定期的にFAのデータを BigQueryにエクスポートして BigQuery上で永続化 テーブル BigQuery クエリ定期実行
AWS Glue S3 テーブル生成 (データを日々追加していく) CSV形式へ 変換 ジョブの定期実行の中で S3 へデータを吐き出す CSVデータ を保存 QuickSight データを閲覧 コネクター経 由 Glueのジョブを 定期実行してテーブル データを取り込む RDS 接続 接続
• アプリ側のコードにGoogleAnalyticsのタグを埋め込み • ユーザーがイベントを踏むと発火しデータをGoogleAnalyticsへ送信 • GoogleAnalyticsで取得しているデータをBigQueryに定期的にエクスポートして BigQuery上に永続化しておく • BigQuery上で1日前のデータが入ったテーブルを作成して日々データを追加して いくクエリの定期実行をスケジューリングする(22:30に実行)
• AWS上でGlueを使いコネクター経由でBigQuery上のテーブルデータをその実行 時点までの全件取得して取り込んでCSV形式に変換してS3へ吐き出す定期実行 のジョブを作成し一度実行 • AWS上でGlueを使いコネクター経由で1日前に追加されたBigQuery上のテーブ ルデータを取り込んでCSV形式に変換してS3へ吐き出す定期実行のジョブを作成 し1日1回実行するようにスケジューリング(23:00に実行) • S3へ置いたCSVデータとQuickSightを連携させる • QuickSight上で連携したCSVデータをとRDSのDBデータとを結合させ一覧表示
BigQuery概念 下に行くにつれて粒度が細かくなります。 • プロジェクト • データセット ◦ データセットとは、BigQueryで扱うテーブルの集合(デー タベースのようなもの) •
テーブル ◦ データセットの中のテーブル
https://cloud.google.com/bigquery/docs/scheduling-queries?hl=ja クエリの定期実行について 定期実行用のクエリを作成し日々のテーブルを生成してい く
• 基本構文 ◦ SELECT句にカラムをそのまま指定して、FROMにはプロ ジェクト名.データセット名.テーブル名 BigQueryで使うSQLの基本 SQLを実行するとその結果を元にテーブルを作成することがで きる
• フルマネージドサービス • 「Glue」というのは「接着剤」 • AWS上のデータ間のやり取りを管理する「仲介者」 • 今回はコネクターというものを使いBigQueryとAWSを仲 介 •
ジョブの実行をすることで定期的にBigQueryからデータ を取り込んでS3に出力するために使用 「AWS Glue」とは
こういうジョブのスクリプトを書けます
QuickSightから見る • QuickSightの単位 ◦ 分析 ▪ ダッシュボード ◦ データセット ▪
データソース(RDSのデータやS3のCSVデータなど) を元にして作成される概念 ◦ データソース ▪ データソースはRDBのデータであったりGlueでS3に 吐き出したデータなど
S3をデータソースとして作る場合 • マニフェストファイルという設定ファイルをアップロードすると 指定のバケットのデータにアクセス可能となる • Glueで取り込んだS3上のCSVデータが格納されているS3 バケットを指定する
データの結合 • S3から取り込んだデータセットと、RDSのデータソースを結 合して閲覧
https://dev.classmethod.jp/articles/20220423-amazon-athena-connect-to-bigquery/ ご参考
ご清聴ありがとうございました!!!