Rcloneを使った定期的なストレージ同期

詳細ブログ↓
https://cuebic.hatenablog.com/entry/rclone-gdrive-to-s3

Transcript

1. Rcloneを使った定期的な
   ストレージ同期
   1
   以降のスライドにはAIを用いた箇所
   があります
   

   View Slide

2. Name：ユータ
   Occupation：SRE
   X：@Y0u281 （オーでなくゼロです）
   ブログ：https://zenn.dev/yuta28
   自己紹介
   X QRコード
   2
   

   View Slide

3. 目次 ● 対象聴講者
   ● 背景
   ● Rcloneについて
   ● アーキテクチャ
   ● Rcloneコンテナ
   ● 結果
   ● まとめ
   3
   

   View Slide

4. 対象聴講者
   ● ストレージ間の同期を楽にし
   たい
   ● 定期実行できるように自動
   化したい
   4
   

   View Slide

5. 背景
   5
   Gドライブにある画像ファイルをS3に複
   製したいからバケット用意して
   Gドライブにある画像ファイルをS3に同
   期したいからバケット用意して
   

   View Slide

6. 背景
   6
   Gドライブにある画像ファイルをS3に同
   期したいからバケット用意して
   S3は用意するけどどうやって送る
   つもり？
   

   View Slide

7. 背景
   7
   Gドライブにある画像ファイルをS3に同
   期したいからバケット用意して
   S3は用意するけどどうやって送る
   つもり？
   GASで何とかする👍
   

   View Slide

8. 背景
   8
   S3は用意するけどどうやって送る
   つもり？
   ありがとう🥲 GASだと運用面倒なので私が代
   わりに構築しますね
   

   View Slide

9. 背景
   ● 同期はリアルタイムじゃなくてもいい
   ○ 1日1回程度でOK
   ● Googleドライブの階層構造のままコピー
   ● コストはなるべくお安く💰
   9
   

   View Slide

10. Rcloneについて
    10
    https://rclone.org/
    ● ローカル/クラウド間のファイルコピー
    ● クラウド/クラウド間のファイルコピー
    ● 対応クラウドは70以上
    ● Linuxライクな操作コマンド
    

    View Slide

11. アーキテクチャ
    11
    

    View Slide

12. Rcloneコンテナ
    [google-drive]
    type = drive
    scope = drive
    token = {アクセストークン情報}
    team_drive =
    root_folder_id =
    12
    [s3]
    type = s3
    provider = AWS
    env_auth = true
    region = ap-northeast-1
    location_constraint = ap-northeast-1
    acl = private
    storage_class = STANDARD
    ~/.config/rclone/rclone.conf
    

    View Slide

13. アーキテクチャ
    13
    細かいDockerfileの中身については
    ブログを読んでね🐳
    

    View Slide

14. 結果
    ● Googleドライブと同じ階層構造でS3に画像
    配置
    ● 毎朝Fargateが起動してコピーしてくれるので
    楽々自動コピー
    14
    

    View Slide

15. View Slide

16. まとめ
    ● Rcloneは便利
    ● Fargateタスクは楽
    16
    

    View Slide

17. ありがとうございま
    した
    より詳しい内容は以下のブ
    ログで↓
    RcloneをECS Fargateで
    Googleドライブ-S3間のファイ
    ル同期を楽々定期実行 -
    CUEBiC TEC BLOG
    17
    

    View Slide