Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rcloneを使った定期的なストレージ同期
Search
YouYou
September 23, 2023
Programming
0
620
Rcloneを使った定期的なストレージ同期
詳細ブログ↓
https://cuebic.hatenablog.com/entry/rclone-gdrive-to-s3
YouYou
September 23, 2023
Tweet
Share
More Decks by YouYou
See All by YouYou
AWSマネコンに複数のアカウントで入れるようになりました
yuhta28
2
160
今インフラ技術をイチから学び直すなら
yuhta28
1
200
AWSに詳しくない人でも始められるコスト最適化ガイド
yuhta28
3
580
Datadog外形監視基盤をEC2から ECSへ移行してみた
yuhta28
0
1.5k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
yuhta28
1
1.4k
小さなことから始めるAWSコスト最適入門
yuhta28
1
1.1k
Datadogのコストも監視しよう
yuhta28
1
860
Pulumiを触ってみよう
yuhta28
1
2.2k
ログストレージコスパ最強!?OpenObserveを試してみた
yuhta28
0
3.9k
Other Decks in Programming
See All in Programming
Unity Android XR入門
sakutama_11
0
160
データの整合性を保つ非同期処理アーキテクチャパターン / Async Architecture Patterns
mokuo
47
17k
一休.com のログイン体験を支える技術 〜Web Components x Vue.js 活用事例と最適化について〜
atsumim
0
450
『テスト書いた方が開発が早いじゃん』を解き明かす #phpcon_nagoya
o0h
PRO
2
190
iOSエンジニアから始める visionOS アプリ開発
nao_randd
3
130
ファインディLT_ポケモン対戦の定量的分析
fufufukakaka
0
700
ソフトウェアエンジニアの成長
masuda220
PRO
10
1.1k
GoとPHPのインターフェイスの違い
shimabox
2
180
PHPカンファレンス名古屋2025 タスク分解の試行錯誤〜レビュー負荷を下げるために〜
soichi
1
190
AIの力でお手軽Chrome拡張機能作り
taiseiue
0
170
Domain-Driven Transformation
hschwentner
2
1.9k
Ruby on cygwin 2025-02
fd0
0
140
Featured
See All Featured
Docker and Python
trallard
44
3.3k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
410
GraphQLとの向き合い方2022年版
quramy
44
13k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Building Applications with DynamoDB
mza
93
6.2k
The Cult of Friendly URLs
andyhume
78
6.2k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.6k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
45
9.4k
Mobile First: as difficult as doing things right
swwweet
223
9.3k
Transcript
Rcloneを使った定期的な ストレージ同期 1 以降のスライドにはAIを用いた箇所 があります
Name:ユータ Occupation:SRE X:@Y0u281 (オーでなくゼロです) ブログ:https://zenn.dev/yuta28 自己紹介 X QRコード 2
目次 • 対象聴講者 • 背景 • Rcloneについて • アーキテクチャ •
Rcloneコンテナ • 結果 • まとめ 3
対象聴講者 • ストレージ間の同期を楽にし たい • 定期実行できるように自動 化したい 4
背景 5 Gドライブにある画像ファイルをS3に複 製したいからバケット用意して Gドライブにある画像ファイルをS3に同 期したいからバケット用意して
背景 6 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり?
背景 7 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり? GASで何とかする👍
背景 8 S3は用意するけどどうやって送る つもり? ありがとう🥲 GASだと運用面倒なので私が代 わりに構築しますね
背景 • 同期はリアルタイムじゃなくてもいい ◦ 1日1回程度でOK • Googleドライブの階層構造のままコピー • コストはなるべくお安く💰 9
Rcloneについて 10 https://rclone.org/ • ローカル/クラウド間のファイルコピー • クラウド/クラウド間のファイルコピー • 対応クラウドは70以上 •
Linuxライクな操作コマンド
アーキテクチャ 11
Rcloneコンテナ [google-drive] type = drive scope = drive token =
{アクセストークン情報} team_drive = root_folder_id = 12 [s3] type = s3 provider = AWS env_auth = true region = ap-northeast-1 location_constraint = ap-northeast-1 acl = private storage_class = STANDARD ~/.config/rclone/rclone.conf
アーキテクチャ 13 細かいDockerfileの中身については ブログを読んでね🐳
結果 • Googleドライブと同じ階層構造でS3に画像 配置 • 毎朝Fargateが起動してコピーしてくれるので 楽々自動コピー 14
15
まとめ • Rcloneは便利 • Fargateタスクは楽 16
ありがとうございま した より詳しい内容は以下のブ ログで↓ RcloneをECS Fargateで Googleドライブ-S3間のファイ ル同期を楽々定期実行 - CUEBiC
TEC BLOG 17