Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rcloneを使った定期的なストレージ同期
Search
YouYou
September 23, 2023
Programming
0
390
Rcloneを使った定期的なストレージ同期
詳細ブログ↓
https://cuebic.hatenablog.com/entry/rclone-gdrive-to-s3
YouYou
September 23, 2023
Tweet
Share
More Decks by YouYou
See All by YouYou
AWSに詳しくない人でも始められるコスト最適化ガイド
yuhta28
2
440
Datadog外形監視基盤をEC2から ECSへ移行してみた
yuhta28
0
1.3k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
yuhta28
1
780
小さなことから始めるAWSコスト最適入門
yuhta28
1
690
Datadogのコストも監視しよう
yuhta28
1
620
Pulumiを触ってみよう
yuhta28
1
1.6k
ログストレージコスパ最強!?OpenObserveを試してみた
yuhta28
0
2.5k
Pulumiで始めるIaC
yuhta28
1
82
RUMを始めよう
yuhta28
0
1.7k
Other Decks in Programming
See All in Programming
JRuby 10: Ruby 3.3 on the Modern JVM
headius
0
130
LTのやり方
yosuke_furukawa
PRO
7
930
Hi, have you met Kotlin Multiplatform? | Kotlin User Group Berlin
prof18
1
130
RubyKaigi参加歴をふりかえる / Looking Back on My RubyKaigi Participation History #kaigieffectLT
expajp
2
180
Rearchitect Ripper
yui_knk
2
270
The Final Frontier of Web Development: React Server Components vs Jakarta EE
ivargrimstad
0
290
Vanilla JavaScript はマルチプラットフォームの夢を見るか
mitsuharu
0
120
ERB, ancient and future
m_seki
3
190
Datadogのmonitorを Terraform管理に爆速で 移行する
kuro_kurorrr
2
280
RAGのretrievalの評価を “ranx”で行う / Evaluate retrival of RAG using "ranx"
kun432
1
190
The Hotwire Landscape After Turbo 8 @ Helvetic Ruby 2024, Zurich
marcoroth
0
180
Goでリフレクションする、その前に / Kansai.go #1
utgwkk
4
500
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
188
16k
GitHub's CSS Performance
jonrohan
1025
450k
Code Reviewing Like a Champion
maltzj
516
39k
Designing Experiences People Love
moore
136
23k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
242
1.2M
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
7k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
9
1.4k
Teambox: Starting and Learning
jrom
128
8.5k
How to train your dragon (web standard)
notwaldorf
76
5.3k
Fireside Chat
paigeccino
22
2.7k
Why Our Code Smells
bkeepers
PRO
331
56k
Transcript
Rcloneを使った定期的な ストレージ同期 1 以降のスライドにはAIを用いた箇所 があります
Name:ユータ Occupation:SRE X:@Y0u281 (オーでなくゼロです) ブログ:https://zenn.dev/yuta28 自己紹介 X QRコード 2
目次 • 対象聴講者 • 背景 • Rcloneについて • アーキテクチャ •
Rcloneコンテナ • 結果 • まとめ 3
対象聴講者 • ストレージ間の同期を楽にし たい • 定期実行できるように自動 化したい 4
背景 5 Gドライブにある画像ファイルをS3に複 製したいからバケット用意して Gドライブにある画像ファイルをS3に同 期したいからバケット用意して
背景 6 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり?
背景 7 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり? GASで何とかする👍
背景 8 S3は用意するけどどうやって送る つもり? ありがとう🥲 GASだと運用面倒なので私が代 わりに構築しますね
背景 • 同期はリアルタイムじゃなくてもいい ◦ 1日1回程度でOK • Googleドライブの階層構造のままコピー • コストはなるべくお安く💰 9
Rcloneについて 10 https://rclone.org/ • ローカル/クラウド間のファイルコピー • クラウド/クラウド間のファイルコピー • 対応クラウドは70以上 •
Linuxライクな操作コマンド
アーキテクチャ 11
Rcloneコンテナ [google-drive] type = drive scope = drive token =
{アクセストークン情報} team_drive = root_folder_id = 12 [s3] type = s3 provider = AWS env_auth = true region = ap-northeast-1 location_constraint = ap-northeast-1 acl = private storage_class = STANDARD ~/.config/rclone/rclone.conf
アーキテクチャ 13 細かいDockerfileの中身については ブログを読んでね🐳
結果 • Googleドライブと同じ階層構造でS3に画像 配置 • 毎朝Fargateが起動してコピーしてくれるので 楽々自動コピー 14
15
まとめ • Rcloneは便利 • Fargateタスクは楽 16
ありがとうございま した より詳しい内容は以下のブ ログで↓ RcloneをECS Fargateで Googleドライブ-S3間のファイ ル同期を楽々定期実行 - CUEBiC
TEC BLOG 17