Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Iret-techlab-GC-data-transfer
Search
sdhbciw197
August 08, 2022
Technology
0
120
Iret-techlab-GC-data-transfer
Iret-techlab-GC-data-transfer
sdhbciw197
August 08, 2022
Tweet
Share
Other Decks in Technology
See All in Technology
長期間TiDBを使ってきた話 @ 私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT / Experiences with TiDB Over Time
chibiegg
2
900
DevOpsメトリクスとアウトカムの接続にトライ!開発プロセスを通して計測できるメトリクスの活用方法
ham0215
2
240
LayerXにおけるLLMプロダクト開発の今までとこれから
layerx
PRO
1
300
【NW X Security JAWS#3】L3-4:AWS環境のIPv6移行に向けて知っておきたいこと
shotashiratori
0
220
どうするコスト最適化のトレードオフ
tetsuyaooooo
1
520
障害対応をちょっとずつよくしていくための 演習の作りかた
heleeen
0
220
web-application-security
matsuihidetoshi
0
170
Delivering Millions of Messages within seconds @ Duolingo
pelelgrino
0
350
Gitlab本から学んだこと - そーだいなるプレイバック / gitlab-book
soudai
4
420
いつか使うかも貯金してたらめちゃめちゃ機能が増えてた話
riyaamemiya
0
150
Postman v10リリース後を振り返る / Looking back at Postman v10 after release
yokawasa
1
160
レガシーをぶっ壊せ。AEONで始めるDevRelの話 / Qiita Night 2024-2-22
aeonpeople
3
1.3k
Featured
See All Featured
Atom: Resistance is Futile
akmur
259
25k
The Mythical Team-Month
searls
216
42k
Fireside Chat
paigeccino
21
2.6k
How to train your dragon (web standard)
notwaldorf
73
5.2k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
Designing Experiences People Love
moore
136
23k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
78
42k
WebSockets: Embracing the real-time Web
robhawkes
59
7k
Statistics for Hackers
jakevdp
789
220k
Done Done
chrislema
178
15k
Learning to Love Humans: Emotional Interface Design
aarron
267
39k
What's new in Ruby 2.0
geeforr
337
31k
Transcript
Google Cloud 「Storage Transfer Service」について IRET SHIMPEI CHIBA
自己紹介 • Infra / Cloud Engineer • iret スペシャリスト(2022) •
主にAWS,GC上で構築運用に従事 • 業務でよく使う技術 • Linux, Terraform, Datadog, Pagerduty, ELB, IAM
目次 • ・ARCHITECTURE • ・各リソースについて • ・まとめ
ARCHITECTURE
各リソースについて • セキュアにデータ転送を行うため、権限系のユーザーを作成するのではなく、ロールを作成し、 Computing Resourcesにアタッチ。これでStorage SrevicesのAPI Callを行った。 • Computing Resourcesには、Embulk,Fluentdをインストールし、各種DB,Storageに応じたプラグインを
使用する。 • Embulk https://github.com/orgs/embulk/repositories?type=all • Fluentd https://www.fluentd.org/datasources • Storage Srevicesの情報をTransfer Serviceに入力すれば、送信する準備はOK。送信するにあたって操 作が難しいとかはなかったです。
None
None
まとめ • 権限系で詰まることが多かった。 • →社内で事前にこの権限が欲しい、と申請しておくとスムーズに検証が進むかも • セキュアに転送する方法を模索するのは非常に楽しく、興味深かった。 • Storage Transfer
Serviceは、APIでも使える。 https://cloud.google.com/storage-transfer/docs/reference/rest/v1/transferJobs • 今回は使用しなかったが、VPC Service Controlsを組み合わせれば、さらにセキュ アに転送ができそう。 https://cloud.google.com/vpc-service-controls/docs/overview