Rcloneを使った定期的なストレージ同期

Slide 1

Slide 1 text

Rcloneを使った定期的なストレージ同期 1 以降のスライドにはAIを用いた箇所があります

Slide 2

Slide 2 text

Name：ユータ Occupation：SRE X：@Y0u281 （オーでなくゼロです）ブログ：https://zenn.dev/yuta28 自己紹介 X QRコード 2

Slide 3

Slide 3 text

目次 ● 対象聴講者 ● 背景 ● Rcloneについて ● アーキテクチャ ● Rcloneコンテナ ● 結果 ● まとめ 3

Slide 4

Slide 4 text

対象聴講者 ● ストレージ間の同期を楽にしたい ● 定期実行できるように自動化したい 4

Slide 5

Slide 5 text

背景 5 Gドライブにある画像ファイルをS3に複製したいからバケット用意して Gドライブにある画像ファイルをS3に同期したいからバケット用意して

Slide 6

Slide 6 text

背景 6 Gドライブにある画像ファイルをS3に同期したいからバケット用意して S3は用意するけどどうやって送るつもり？

Slide 7

Slide 7 text

背景 7 Gドライブにある画像ファイルをS3に同期したいからバケット用意して S3は用意するけどどうやって送るつもり？ GASで何とかする👍

Slide 8

Slide 8 text

背景 8 S3は用意するけどどうやって送るつもり？ありがとう🥲 GASだと運用面倒なので私が代わりに構築しますね

Slide 9

Slide 9 text

背景 ● 同期はリアルタイムじゃなくてもいい ○ 1日1回程度でOK ● Googleドライブの階層構造のままコピー ● コストはなるべくお安く💰 9

Slide 10

Slide 10 text

Rcloneについて 10 https://rclone.org/ ● ローカル/クラウド間のファイルコピー ● クラウド/クラウド間のファイルコピー ● 対応クラウドは70以上 ● Linuxライクな操作コマンド

Slide 11

Slide 11 text

アーキテクチャ 11

Slide 12

Slide 12 text

Rcloneコンテナ [google-drive] type = drive scope = drive token = {アクセストークン情報} team_drive = root_folder_id = 12 [s3] type = s3 provider = AWS env_auth = true region = ap-northeast-1 location_constraint = ap-northeast-1 acl = private storage_class = STANDARD ~/.conﬁg/rclone/rclone.conf

Slide 13

Slide 13 text

アーキテクチャ 13 細かいDockerﬁleの中身についてはブログを読んでね🐳

Slide 14

Slide 14 text

結果 ● Googleドライブと同じ階層構造でS3に画像配置 ● 毎朝Fargateが起動してコピーしてくれるので楽々自動コピー 14

Slide 15

Slide 15 text

Slide 16

Slide 16 text

まとめ ● Rcloneは便利 ● Fargateタスクは楽 16

Slide 17

Slide 17 text

ありがとうございましたより詳しい内容は以下のブログで↓ RcloneをECS Fargateで Googleドライブ-S3間のファイル同期を楽々定期実行 - CUEBiC TEC BLOG 17