Iret-techlab-GC-data-transfer

Iret-techlab-GC-data-transfer

Transcript

1. Google Cloud 「Storage Transfer Service」について IRET SHIMPEI CHIBA
2. 自己紹介 • Infra / Cloud Engineer • iret スペシャリスト(2022) • 主にAWS,GC上で構築運用に従事 • 業務でよく使う技術 • Linux, Terraform, Datadog, Pagerduty, ELB, IAM
3. 目次 • ・ARCHITECTURE • ・各リソースについて • ・まとめ
4. ARCHITECTURE
5. 各リソースについて • セキュアにデータ転送を行うため、権限系のユーザーを作成するのではなく、ロールを作成し、 Computing Resourcesにアタッチ。これでStorage SrevicesのAPI Callを行った。 • Computing Resourcesには、Embulk,Fluentdをインストールし、各種DB,Storageに応じたプラグインを 使用する。 • Embulk https://github.com/orgs/embulk/repositories?type=all • Fluentd https://www.fluentd.org/datasources • Storage Srevicesの情報をTransfer Serviceに入力すれば、送信する準備はOK。送信するにあたって操 作が難しいとかはなかったです。
8. まとめ • 権限系で詰まることが多かった。 • →社内で事前にこの権限が欲しい、と申請しておくとスムーズに検証が進むかも • セキュアに転送する方法を模索するのは非常に楽しく、興味深かった。 • Storage Transfer Serviceは、APIでも使える。 https://cloud.google.com/storage-transfer/docs/reference/rest/v1/transferJobs • 今回は使用しなかったが、VPC Service Controlsを組み合わせれば、さらにセキュ アに転送ができそう。 https://cloud.google.com/vpc-service-controls/docs/overview