Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Iret-techlab-GC-data-transfer
Search
sdhbciw197
August 08, 2022
Technology
0
120
Iret-techlab-GC-data-transfer
Iret-techlab-GC-data-transfer
sdhbciw197
August 08, 2022
Tweet
Share
Other Decks in Technology
See All in Technology
社内アプリで Cloudflare D1を プロダクト運用してみた体験談(Tokyo)
haochenx
0
130
エンジニア候補者向け資料2024.04.24.pdf
macloud
0
3.4k
Cloud Service Mesh に触れ合う
phaya72
1
300
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
kenjikondobai
6
1.3k
ルーターでプレゼンする
puhitaku
1
3.4k
Cypress or Playwright?
rainerhahnekamp
0
180
パスワードを保存しますか?
hanacchi
0
210
しくじり先生、PharmaXのLLMアプリケーション開発の失敗を語る
pharma_x_tech
0
130
Amplify 🩷 Bedrock 〜生成AI入門〜
minorun365
PRO
10
1.1k
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
0
1.9k
How to Lead? Testimonial of a Lead Android Engineer
oleur
1
120
M&A戦略を支えるデータマネジメント (MIDAS Tech Study #16 GENDA Komiyama)
kommy339
1
170
Featured
See All Featured
The Invisible Customer
myddelton
114
12k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
14
1.5k
GraphQLとの向き合い方2022年版
quramy
33
12k
Learning to Love Humans: Emotional Interface Design
aarron
267
39k
Art, The Web, and Tiny UX
lynnandtonic
290
19k
Rails Girls Zürich Keynote
gr2m
91
13k
Clear Off the Table
cherdarchuk
85
310k
It's Worth the Effort
3n
180
27k
Optimising Largest Contentful Paint
csswizardry
13
2.4k
Documentation Writing (for coders)
carmenintech
60
4k
From Idea to $5000 a Month in 5 Months
shpigford
378
45k
Into the Great Unknown - MozCon
thekraken
15
1k
Transcript
Google Cloud 「Storage Transfer Service」について IRET SHIMPEI CHIBA
自己紹介 • Infra / Cloud Engineer • iret スペシャリスト(2022) •
主にAWS,GC上で構築運用に従事 • 業務でよく使う技術 • Linux, Terraform, Datadog, Pagerduty, ELB, IAM
目次 • ・ARCHITECTURE • ・各リソースについて • ・まとめ
ARCHITECTURE
各リソースについて • セキュアにデータ転送を行うため、権限系のユーザーを作成するのではなく、ロールを作成し、 Computing Resourcesにアタッチ。これでStorage SrevicesのAPI Callを行った。 • Computing Resourcesには、Embulk,Fluentdをインストールし、各種DB,Storageに応じたプラグインを
使用する。 • Embulk https://github.com/orgs/embulk/repositories?type=all • Fluentd https://www.fluentd.org/datasources • Storage Srevicesの情報をTransfer Serviceに入力すれば、送信する準備はOK。送信するにあたって操 作が難しいとかはなかったです。
None
None
まとめ • 権限系で詰まることが多かった。 • →社内で事前にこの権限が欲しい、と申請しておくとスムーズに検証が進むかも • セキュアに転送する方法を模索するのは非常に楽しく、興味深かった。 • Storage Transfer
Serviceは、APIでも使える。 https://cloud.google.com/storage-transfer/docs/reference/rest/v1/transferJobs • 今回は使用しなかったが、VPC Service Controlsを組み合わせれば、さらにセキュ アに転送ができそう。 https://cloud.google.com/vpc-service-controls/docs/overview