Slide 9
Slide 9 text
Cloud Dataflow
● 単純なデータ連携なら Google の提供するテンプレートをそのまま
利用可能
○ 例:BigQuery のスキーマに則った JSON が Cloud Pub/Sub にある
● 今回はデータ加工のために実装する必要があった
● データ連携という要求の単純さと比べると、実装は面倒
○ Google の提供するテンプレート(Pub/Sub Subscription to
BigQuery)は複雑(Apache Beam、AutoValue など独特の技術)
○ 実装しなくてすむよう事前にデータを加工しておく方がいいかも
GCP
Cloud
Pub/Sub
Cloud
Dataflow
BigQuery
Cloud Run
(随時)
(日次)