Slide 1
Slide 1 text
Google Cloud
「Storage Transfer Service」について
IRET
SHIMPEI CHIBA
Slide 2
Slide 2 text
自己紹介
• Infra / Cloud Engineer
• iret スペシャリスト(2022)
• 主にAWS,GC上で構築運用に従事
• 業務でよく使う技術
• Linux, Terraform, Datadog, Pagerduty, ELB, IAM
Slide 3
Slide 3 text
目次
• ・ARCHITECTURE
• ・各リソースについて
• ・まとめ
Slide 4
Slide 4 text
ARCHITECTURE
Slide 5
Slide 5 text
各リソースについて
• セキュアにデータ転送を行うため、権限系のユーザーを作成するのではなく、ロールを作成し、
Computing Resourcesにアタッチ。これでStorage SrevicesのAPI Callを行った。
• Computing Resourcesには、Embulk,Fluentdをインストールし、各種DB,Storageに応じたプラグインを
使用する。
• Embulk
https://github.com/orgs/embulk/repositories?type=all
• Fluentd
https://www.fluentd.org/datasources
• Storage Srevicesの情報をTransfer Serviceに入力すれば、送信する準備はOK。送信するにあたって操
作が難しいとかはなかったです。
Slide 6
Slide 6 text
No content
Slide 7
Slide 7 text
No content
Slide 8
Slide 8 text
まとめ
• 権限系で詰まることが多かった。
• →社内で事前にこの権限が欲しい、と申請しておくとスムーズに検証が進むかも
• セキュアに転送する方法を模索するのは非常に楽しく、興味深かった。
• Storage Transfer Serviceは、APIでも使える。
https://cloud.google.com/storage-transfer/docs/reference/rest/v1/transferJobs
• 今回は使用しなかったが、VPC Service Controlsを組み合わせれば、さらにセキュ
アに転送ができそう。
https://cloud.google.com/vpc-service-controls/docs/overview