Rcloneを使った定期的なストレージ同期

詳細ブログ↓
https://cuebic.hatenablog.com/entry/rclone-gdrive-to-s3

Transcript

1. Rcloneを使った定期的な ストレージ同期 1 以降のスライドにはAIを用いた箇所 があります
2. Name：ユータ Occupation：SRE X：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28 自己紹介 X QRコード 2
3. 目次 • 対象聴講者 • 背景 • Rcloneについて • アーキテクチャ • Rcloneコンテナ • 結果 • まとめ 3
4. 対象聴講者 • ストレージ間の同期を楽にし たい • 定期実行できるように自動 化したい 4
5. 背景 5 Gドライブにある画像ファイルをS3に複 製したいからバケット用意して Gドライブにある画像ファイルをS3に同 期したいからバケット用意して
6. 背景 6 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり？
7. 背景 7 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり？ GASで何とかする👍
8. 背景 8 S3は用意するけどどうやって送る つもり？ ありがとう🥲 GASだと運用面倒なので私が代 わりに構築しますね
9. 背景 • 同期はリアルタイムじゃなくてもいい ◦ 1日1回程度でOK • Googleドライブの階層構造のままコピー • コストはなるべくお安く💰 9
10. Rcloneについて 10 https://rclone.org/ • ローカル/クラウド間のファイルコピー • クラウド/クラウド間のファイルコピー • 対応クラウドは70以上 • Linuxライクな操作コマンド
11. アーキテクチャ 11
12. Rcloneコンテナ [google-drive] type = drive scope = drive token = {アクセストークン情報} team_drive = root_folder_id = 12 [s3] type = s3 provider = AWS env_auth = true region = ap-northeast-1 location_constraint = ap-northeast-1 acl = private storage_class = STANDARD ~/.config/rclone/rclone.conf
13. アーキテクチャ 13 細かいDockerfileの中身については ブログを読んでね🐳
14. 結果 • Googleドライブと同じ階層構造でS3に画像 配置 • 毎朝Fargateが起動してコピーしてくれるので 楽々自動コピー 14
16. まとめ • Rcloneは便利 • Fargateタスクは楽 16
17. ありがとうございま した より詳しい内容は以下のブ ログで↓ RcloneをECS Fargateで Googleドライブ-S3間のファイ ル同期を楽々定期実行 - CUEBiC TEC BLOG 17