Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[ELTツール×BigQuery] どのAPI使ってる？それぞれのAPIについて調べてみた / elttool-bigquery-which-api

F274f2fd3531a606f0a5766c9052b5d8?s=47 Miyamotok
March 08, 2022
Technology
0
220

[ELTツール×BigQuery] どのAPI使ってる？それぞれのAPIについて調べてみた / elttool-bigquery-which-api

Web API LT会 - vol.3 #webapilt
2022/03/08

F274f2fd3531a606f0a5766c9052b5d8?s=128

Miyamotok

March 08, 2022
Tweet

More Decks by Miyamotok

See All by Miyamotok
ノーコード×分析基盤で複数データソースからのデータ収集を楽しようの話 / multi-saas-data-extract
F274f2fd3531a606f0a5766c9052b5d8?s=48 miyamotok
0
150
Amazon Appflow で SaaS データ取込みを自動化してQuickSightで可視化してみた / appflow-salesforce-quicksight
F274f2fd3531a606f0a5766c9052b5d8?s=48 miyamotok
0
1.5k
AWS Glue を試してみたら、カスタムコネクタのありがたさを感じたこと / awsglue-custom-connector
F274f2fd3531a606f0a5766c9052b5d8?s=48 miyamotok
0
460
最近使ったETL、ELTサービス（ツール）でデータ収集タスクについて考える / etl-elt-datacollect-task
F274f2fd3531a606f0a5766c9052b5d8?s=48 miyamotok
1
1.5k
_CDataSync_SaaSデータのバックアップ_.pdf
F274f2fd3531a606f0a5766c9052b5d8?s=48 miyamotok
0
690

Other Decks in Technology

See All in Technology
Building smarter apps with machine learning, from magic to reality
7e6a435700dda6cdb22105d601f20892?s=48 picardparis
4
3.2k
DeepL の用語集が（いつのまにか）日本語に対応してたので試してみた
8259a0ff485d7af09a6044cc446f1718?s=48 irokawah0
0
160
ROS再入門​-はじめてのSLAM-
4b2f3a64637b51e81813accbe8a98083?s=48 miura55
0
400
IoTLT88-NTKanazawa-laundry-dry
4256c3dc4c4b6933bb2ffb4176a595a0?s=48 yukima0707
0
220
The Fractal Geometry of Software Design
B90ab53ba7cf16ed1a4bb679cc6751d7?s=48 vladikk
0
910
Scrum Fest Osaka 2022 段階的スクラムマスターのススメ
68073cc248e24e0b94cc6895e5c4710f?s=48 orimomo
0
770
機械学習システムアーキテクチャ入門 #1
8fa31051503b09846584c49cd53d2f80?s=48 asei
3
1.2k
【toranoana.deno#7】Denoからwasmを呼び出す基礎
6ab47a68ee78e84c34731ce12333deff?s=48 toranoana
0
120
PUTとPOSTどっち使う？
65389cd2b6fdc531dcc4af999e864593?s=48 hankehly
0
260
データをモデリングしていたら、組織をモデリングし始めた話 / engineers-in-carta-vol3-data-engineer
F3358acf3b3f8423f2db7718b51b5022?s=48 pei0804
4
3.3k
マネージャーからみたスクラムと自己管理化
D14332b39b012820d44d362a3e2a8d98?s=48 shibe23
0
1k
Modern Android dependency injection
A9f24621ff57d380b4e85799edd4a984?s=48 hugovisser
1
130

Featured

See All Featured
What the flash - Photography Introduction
5ce91fa49a613cbc3e20d5f96856473f?s=48 edds
62
10k
Faster Mobile Websites
C620790ae5bf5b50c245b2e0ef95f338?s=48 deanohume
294
28k
Designing Experiences People Love
1b75d89772b7eea1f6c89fbf362607d9?s=48 moore
130
22k
A Philosophy of Restraint
C9b18d9dff88a9dd2393364c2b3b21bd?s=48 colly
192
15k
Building Your Own Lightsaber
Fe6b81005d1553accd6b2a28f6a2bef1?s=48 phodgson
94
4.6k
Building Flexible Design Systems
91cefdf141106fa10674aae74ce05890?s=48 yeseniaperezcruz
310
34k
Building Better People: How to give real-time feedback that sticks.
9952dfcd5d338f8a8e7175c8a8f65fb5?s=48 wjessup
344
17k
Designing the Hi-DPI Web
C157b16234f1e75e8eac3698c1d4414a?s=48 ddemaree
272
32k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
5b9fe87ec1faa67a4599782930f45ec9?s=48 sstephenson
151
13k
No one is an island. Learnings from fostering a developers community.
6bb82b13cda86d3b821fa44100335ddf?s=48 thoeni
9
1.3k
GraphQLの誤解/rethinking-graphql
3cb4e761dbdb7aebd1ffd85f752e1e3e?s=48 sonatard
28
6.6k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
651dcfe41723207fbb0aa044a4f7c07f?s=48 dotmariusz
100
5.9k

Transcript

  1. [ELTツール×BigQuery] どのAPI使ってる？それぞれの APIについて調べてみた Web API LT会 - vol.3 #webapilt 2022/03/08

    CData Software Japan 宮本

  2. 自己紹介 宮本 航太（@miyamon44） CData Software Japan 合同会社 →主にSaaSのAPIにSQLでアクセスできるコネクタや アプリケーションを開発・提供 テクニカルサポートエンジニア

    →ELTツールの CData Syncの製品サポートを中心に、他社サー ビスとの検証、技術ブログ、コネクタ開発など色々やってる

  3. ある日のお問合せにて Salesforce のリード情報を BigQuery にレプリケーションしたんだけど、 1回目は成功したんだが、 数分後すぐに2回目を実行すると失敗してしまう ジョブ構成などをヒアリングした結果、BigQuery のストリーミングAPI を使用してレ

    プリケーションしていることがわかった ETL/ELT Tool

  4. ストリーミングAPI • ストリーミングAPIは、insertAll というエンドポイントにリクエストしてデータを送信。 レコード自体はBodyにJSON型でリクエスト POST /v2/projects/{projectId}/datasets/{datasetId}/tables/{tableId}/insertAll • 特徴としてはデータ送信後にすぐ反映されるので、センサー情報などリアルタイムでモニタリングするようなケースには マッチ

  5. BigQuery へのレプリケーション 【洗替方式】 毎回テーブル再作成で全件レプリケーション 【差分連携】 連携用テーブルを用意してそこに差分データだけ連携。 連携後は本番テーブルにレコードをマージ。例えば Dataform や dbt

    などの変換　　　 サービスを使ったり。

  6. 再現確認＆原因 【再現確認】 洗替方式の内容*1を順番に Postman でリクエストして確認 *1： テーブル削除 → テーブル作成 →

    ストリーミングインサート 【原因】 同名のテーブル再作成だと、テーブルが BigQuery に再作成してから数分 間の間は物理的に反映されないのがわかった。 BigQuery のコンソール画 面からテーブルサイズを見ても 0バイトのまま ※試した内容はQiitaに https://qiita.com/miyamotok/items/7036758013893b94aceb

  7. 他にないか調べた ストリーミングAPI 以外のデータ転送系APIの確認 • JSONじゃなくてSQLでリクエストできる Query API • 転送内容をアップロード＆アップロード用ジョブを作成して実行する Upload

    API

  8. Query API • insertAll のように送信レコードを JSONで送るのではなく、SQLをBigQueryに送信する。 POST /v2/projects/{projectId}/queries • 同期型なので失敗した場合はBigQuery側には反映されない。

    ただし成功すると即座にテーブル自体も反映される。 　➡ テーブル再作成を頻繁に行うケースでも対応できるので、こっちを案内

  9. Upload API • upload API BigQueryの一時ストレージに対象データをアップロードしてロード用ジョブを作成する POST /upload/bigquery/v2/projects/projectId/jobs • 大量レコードを反映したい場合などに向いている

  10. おまけ（Write API） ストリーミングAPIとバッチ処理を一つにまとめたAPIがつい最近リリース！！ ストリーミングAPIがいつの間にか古くなってた。今後 はWriteAPIを推奨のようで。

  11. まとめ • ELTサービス／ツールで利用APIを指定できるか？（転送方式を変更できるか） • ユースケースにマッチする API（エンドポイント）はどれか？ • 最終的にはパフォーマンスやコストなども考慮 • 今後はWrite

    APIが良さそうかも ツールやサービス利用時はぶっちゃけあまり意識しない部分 とは言え、オプションで BigQueryのAPIを選択できるかなどいくつかの観点で確認してみるのも◎ ETL/ELT ツールの CData Sync では指定可能 左記ブログで各種転送方式とパフォーマンスについて紹介してます Thank you!