Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rcloneを使った定期的なストレージ同期
Search
YouYou
September 23, 2023
Programming
0
500
Rcloneを使った定期的なストレージ同期
詳細ブログ↓
https://cuebic.hatenablog.com/entry/rclone-gdrive-to-s3
YouYou
September 23, 2023
Tweet
Share
More Decks by YouYou
See All by YouYou
今インフラ技術をイチから学び直すなら
yuhta28
1
150
AWSに詳しくない人でも始められるコスト最適化ガイド
yuhta28
2
530
Datadog外形監視基盤をEC2から ECSへ移行してみた
yuhta28
0
1.4k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
yuhta28
1
1k
小さなことから始めるAWSコスト最適入門
yuhta28
1
920
Datadogのコストも監視しよう
yuhta28
1
760
Pulumiを触ってみよう
yuhta28
1
2k
ログストレージコスパ最強!?OpenObserveを試してみた
yuhta28
0
3.2k
Pulumiで始めるIaC
yuhta28
1
87
Other Decks in Programming
See All in Programming
ACES Meet におけるリリース作業改善の取り組み
fukucheee
0
120
Frontend Magic mit CSS Houdini
joergneumann
0
420
AWS CDKを用いたセキュアなCI/CDパイプラインの構築 / Build a secure CI/CD pipeline using AWS CDK
seike460
PRO
3
500
データサイエンスのフルサイクル開発を実現する機械学習パイプライン
xcnkx
2
460
Cohesion in Modeling and Design
mploed
3
180
Cloud Adoption Framework にみる組織とクラウド導入戦略
tomokusaba
2
230
ビット演算の話 / Let's play with bit operations
kaityo256
PRO
4
160
CSC509 Lecture 02
javiergs
PRO
0
160
Assembling the Future: crafting the missing pieces of the Ruby on Wasm puzzle
skryukov
0
130
ファーストペンギンBot @Qiita Hackathon 2024 予選
dyson_web
0
210
◯◯エンジニアになった理由
gessy0129
PRO
0
610
為醫療加裝Python的引擎
cclai999
0
270
Featured
See All Featured
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
32k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.2k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
44
2k
What's new in Ruby 2.0
geeforr
341
31k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.8k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
7.5k
Adopting Sorbet at Scale
ufuk
73
8.9k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
125
18k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
158
15k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
The Invisible Side of Design
smashingmag
297
50k
Building Adaptive Systems
keathley
37
2.1k
Transcript
Rcloneを使った定期的な ストレージ同期 1 以降のスライドにはAIを用いた箇所 があります
Name:ユータ Occupation:SRE X:@Y0u281 (オーでなくゼロです) ブログ:https://zenn.dev/yuta28 自己紹介 X QRコード 2
目次 • 対象聴講者 • 背景 • Rcloneについて • アーキテクチャ •
Rcloneコンテナ • 結果 • まとめ 3
対象聴講者 • ストレージ間の同期を楽にし たい • 定期実行できるように自動 化したい 4
背景 5 Gドライブにある画像ファイルをS3に複 製したいからバケット用意して Gドライブにある画像ファイルをS3に同 期したいからバケット用意して
背景 6 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり?
背景 7 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり? GASで何とかする👍
背景 8 S3は用意するけどどうやって送る つもり? ありがとう🥲 GASだと運用面倒なので私が代 わりに構築しますね
背景 • 同期はリアルタイムじゃなくてもいい ◦ 1日1回程度でOK • Googleドライブの階層構造のままコピー • コストはなるべくお安く💰 9
Rcloneについて 10 https://rclone.org/ • ローカル/クラウド間のファイルコピー • クラウド/クラウド間のファイルコピー • 対応クラウドは70以上 •
Linuxライクな操作コマンド
アーキテクチャ 11
Rcloneコンテナ [google-drive] type = drive scope = drive token =
{アクセストークン情報} team_drive = root_folder_id = 12 [s3] type = s3 provider = AWS env_auth = true region = ap-northeast-1 location_constraint = ap-northeast-1 acl = private storage_class = STANDARD ~/.config/rclone/rclone.conf
アーキテクチャ 13 細かいDockerfileの中身については ブログを読んでね🐳
結果 • Googleドライブと同じ階層構造でS3に画像 配置 • 毎朝Fargateが起動してコピーしてくれるので 楽々自動コピー 14
15
まとめ • Rcloneは便利 • Fargateタスクは楽 16
ありがとうございま した より詳しい内容は以下のブ ログで↓ RcloneをECS Fargateで Googleドライブ-S3間のファイ ル同期を楽々定期実行 - CUEBiC
TEC BLOG 17