とっ散らかったログバケットを S3バッチオペレーションで整理整頓！ / Organizing Chaotic Log Buckets with S3 Batch Operations

Slide 1

Slide 1 text

とっ散らかったログバケットを S3バッチオペレーションで整理整頓！ 2024年10月23日株式会社コドモン田中知英 OpsJAWS Meetup31 泥臭いOPSのLT

Slide 2

Slide 2 text

2 経歴音響エンジニア(PA)からITエンジニアに転職。SIerや派遣でのインフラ業務を数社経験後、2020年10月にコドモンにSREとして入社。趣味は週末ランニングで、社内にランニングクラブを立ち上げたので、リレーマラソンに会社で出るのが直近の目標🏃󰝋 自己紹介田中知英たなかともひで dehio3

Slide 3

Slide 3 text

3 Mission

Slide 4

Slide 4 text

4 すべての先生に子どもと向き合う時間と心のゆとりをこんなプロダクトを開発していますメインプロダクトは、保育・教育施設向けWebアプリケーション。保護者と施設のやり取りを支えるモバイルアプリケーションや、施設職員向けモバイル版アプリケーション、外部サービスと連携するAPIなども開発しています。

Slide 5

Slide 5 text

5 導入施設数推移（ICT） 2021年4月 8,000 2020年4月 5,200 2019年4月 3,000 2018年4月 1,500 2017年4月 500 2016年4月 120 全国導入数 19,000 施設 2022年2月 11,000 17,000 2024年1月（2024年7月時点） 14,000 2023年4月

Slide 6

Slide 6 text

6 突然ですが、こんなこと起きてませんか？

Slide 7

Slide 7 text

7 「AWSアカウントの増加に伴い、AWS Control Towerによるログの統制を図ったものの、導入以前のログが各アカウントに散在している。」「ログの管理方針を明文化したものの、明文化前のログは命名規則がないまま整理されず、バラバラな状態が残っている。」

Slide 8

Slide 8 text

8 そんな状況を放置していませんか？

Slide 9

Slide 9 text

9 放置せずに泥臭く整理しているお話です🧹

Slide 10

Slide 10 text

10 今日話すこと AWSでS3オブジェクトを移動する方法 S3バッチオペレーションの利用方法 S3バッチオペレーションの活用とTIPS まとめ 1 2 3 4

Slide 11

Slide 11 text

11 AWSでS3オブジェクトを移動する方法

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

17 CONFIDENTIAL - © 2022 CoDMON Inc. 17 1. AWSでS3オブジェクトを移動する方法 AWSでS3オブジェクトを移動するにはいくつかの方法がある 1. AWSコンソールからの「移動」アクション ☔1回5GBの制限あり。コンソール閉じれない。 2. S3 CLIを使用したオブジェクトのコピーまたは移動 ☔スクリプトの作成や、動作基盤の準備が必要。 3. S3バッチオペレーションによるオブジェクトの操作

Slide 18

Slide 18 text

18 CONFIDENTIAL - © 2022 CoDMON Inc. 18 1. AWSでS3オブジェクトを移動する方法 AWSでS3オブジェクトを移動するにはいくつかの方法がある 1. AWSコンソールからの「移動」アクション ☔1回5GBの制限あり。コンソール閉じれない。 2. S3 CLIを使用したオブジェクトのコピーまたは移動 ☔スクリプトの作成や、動作基盤の準備が必要。 3. S3バッチオペレーションによるオブジェクトの操作 🌞動作基盤不要で、マネージドで大量処理可能。

Slide 19

Slide 19 text

19 CONFIDENTIAL - © 2022 CoDMON Inc. 19 1. AWSでS3オブジェクトを移動する方法 AWSでS3オブジェクトを移動するにはいくつかの方法がある 1. AWSコンソールからの「移動」アクション ☔1回5GBの制限あり。コンソール閉じれない。 2. S3 CLIを使用したオブジェクトのコピーまたは移動 ☔スクリプトの作成や、動作基盤の準備が必要。 3. S3バッチオペレーションによるオブジェクトの操作 🌞動作基盤不要で、マネージドで大量処理可能。

Slide 20

Slide 20 text

20 S3バッチオペレーションの利用方法

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

23 S3バッチオペレーションの活用とTIPS

Slide 24

Slide 24 text

24 CONFIDENTIAL - © 2022 CoDMON Inc. 24 3. S3バッチオペレーションの活用とTIPS コピーオペレーション ● オブジェクトの移動前後でパスの変更が不要な場合 amzn-s3-source-bucket /prefix_name/YYYY/MM/DD/ file_name.json.gz amzn-s3-dest-bucket /prefix_name/YYYY/MM/DD/ file_name.json.gz operation Copy

Slide 25

Slide 25 text

25 CONFIDENTIAL - © 2022 CoDMON Inc. 25 3. S3バッチオペレーションの活用とTIPS Lambda呼び出しオペレーション ● オブジェクトの移動前後でパスの変更が必要な場合 amzn-s3-source-bucket /prefix_A/YYYY/MM/DD/ file_name.json.gz amzn-s3-dest-bucket /prefix_B/YYYY/MM/DD/ file_name.json.gz operation Invoke AWS Lambda function

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

29 CONFIDENTIAL - © 2022 CoDMON Inc. 29 3. S3バッチオペレーションの活用とTIPS TIPS：CLIでジョブを作成しマニフェストファイルも自動生成 ● 「s3api list-objects-v2」などでリスト作るのは手間 ● 一応公式のツールがあるっぽい ○ aws-samples/amazon-s3-manifest-generator-for-batch-operations

Slide 30

Slide 30 text

30 CONFIDENTIAL - © 2022 CoDMON Inc. 30 3. S3バッチオペレーションの活用とTIPS TIPS：CLIでジョブを作成しマニフェストファイルも自動生成 ● 「s3control create-job」の「--manifest-generator」にてオブジェクトのリストを自動生成してくれる ● フィルタ条件を指定することで、特定のオブジェクトをリストとして自動生成も可能（作成時間、サイズ、キー名など）マニュアル：S3 バッチオペレーションジョブの作成/マニフェストの自動的生成

Slide 31

Slide 31 text

31 まとめ

Slide 32

Slide 32 text

Slide 33

Slide 33 text

33 コドモン採用ページ開発ブログコドモンでは一緒に働きたい仲間を募集しています！