Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
S3界の革命児!S3 Batchのご紹介
Search
RyousukeOomae
July 17, 2019
Technology
0
1.7k
S3界の革命児!S3 Batchのご紹介
RyousukeOomae
July 17, 2019
Tweet
Share
More Decks by RyousukeOomae
See All by RyousukeOomae
AWSでメディアファイル処理ワークロードを簡単に構築!「AWS Media Insights Engine」入門
ryousukeoomae
0
840
Amazon Interactive Video Service の一年を振り返る
ryousukeoomae
0
630
2021/01/27 ウェビナー「サイトやアプリへの動画埋め込みを簡単に!デバイスを選ばないプレイヤー:THEOplayer」
ryousukeoomae
0
710
外に出れないこんなご時世だからこそ、AWS MediaServices によるライブ配信入門
ryousukeoomae
0
1.4k
Other Decks in Technology
See All in Technology
敢えて生成AIを使わないマネジメント業務
kzkmaeda
2
450
生まれ変わった AWS Security Hub (Preview) を紹介 #reInforce_osaka / reInforce New Security Hub
masahirokawahara
0
470
関数型プログラミングで 「脳がバグる」を乗り越える
manabeai
1
190
面倒な作業はAIにおまかせ。Flutter開発をスマートに効率化
ruideengineer
0
260
AWS Organizations 新機能!マルチパーティ承認の紹介
yhana
1
280
Sansanのデータプロダクトマネジメントのアプローチ
sansantech
PRO
0
160
Should Our Project Join the CNCF? (Japanese Recap)
whywaita
PRO
0
340
MobileActOsaka_250704.pdf
akaitadaaki
0
130
KubeCon + CloudNativeCon Japan 2025 Recap
ren510dev
1
380
american aa airlines®️ USA Contact Numbers: Complete 2025 Support Guide
aaguide
0
150
Delta airlines Customer®️ USA Contact Numbers: Complete 2025 Support Guide
deltahelp
0
710
american airlines®️ USA Contact Numbers: Complete 2025 Support Guide
supportflight
1
110
Featured
See All Featured
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Balancing Empowerment & Direction
lara
1
430
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
740
Practical Orchestrator
shlominoach
189
11k
Adopting Sorbet at Scale
ufuk
77
9.5k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Side Projects
sachag
455
42k
Code Review Best Practice
trishagee
69
18k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
6
300
Designing for Performance
lara
610
69k
Transcript
S3界の⾰命児︕S3 Batchのご紹介 2019/7/17 AKIBA.AWS #14 番外編〜AWS Update LT⼤会〜 1
2 ⾃⼰紹介 ⼤前諒祐(oomae ryousuke) • クラスメソッド株式会社 • コンサルティング部 • 2019/05
⼊社 • 前職 • SIer(3年、主に Web アプリ開発) • 好きな AWS サービス • SQS, Sumerian
スライドは後で⼊⼿することが出来ますので 発表中の内容をメモする必要はありません。 写真撮影をする場合は フラッシュ・シャッター⾳が出ないようにご配慮ください Attention
S3 Batch 知ってますか・・・︖ 4
5 S3 Batch とは ① • 昨年の re:Invent 2018 にて発表
• 2019/04 に Generally Available(GA) • ⼤阪リージョンを除く全リージョンで利⽤可能 https://dev.classmethod.jp/cloud/aws/s3-batch-operations/ https://aws.amazon.com/jp/about-aws/whats-new/2019/04/Amazon-S3-Introduces-S3-Batch-Operations-for-Object-Management/
6 S3 Batch とは ② • S3 のコンソール画⾯にもメニュー追加済み
S3 復習 7
8 S3 復習 ① • Amazon Simple Storage Service(S3) •
AWS が提供するオブジェクトストレージ • 特徴 • 容量無制限 • スケーラブルで安定した性能 • 安価なストレージ • ⾼い耐久性 https://aws.amazon.com/jp/s3/ Amazon Simple Storage Service (S3)
9 S3 復習 ② • AWS を活⽤する場合、必ずどこかで使われている • オブジェクトデータの保存 •
バックアップの保管 • ログの格納 • etc... • 格納されるデータ量は⽇々増加 • 何百、何千、何万、、、
10 突然の依頼
11 「このバケット内のデータ全部違うバケットに移してくれない︖」
12 実現⽅法は︖ ⼿作業で移す︖ コーディング︖
13 S3 Batch の出番です 13
14 S3 Batch とは ① • S3 オブジェクトに対して⼤規模なバッチオペレーションを実⾏可能 • オブジェクトのコピー
• オブジェクトのタグ付け • ACL(アクセスコントロールリスト)の設定 • Amazon S3 Glacier からのオブジェクト復元 • AWS Lambda 関数の実⾏ ※「バッチ ≠ 定期的に実⾏される処理」ではなく「バッチ = ⼀括処理」
15 S3 Batch とは ② • ⽤語 • ジョブ •
S3 Batch の基本単位 • オペレーション • ジョブで実⾏する単⼀のコマンド(=オブジェクトに対する操作) • タスク • ジョブの実⾏単位
16 とりあえずやってみる
17 S3 Batch やってみる • やりたいこと • 10 個のテキストファイルを持つ「akibaaws-s3-batch-source」バケット •
空の「akibaaws-s3-batch-cptarget」バケット • S3 Batch を使って空のバケットに 10 ファイルをコピー akibaaws-s3-batch-source akibaaws-s3-batch-cptarget
18 S3 Batch やってみる 1. マニフェストの準備 2. ジョブの作成 3. 実⾏
19 S3 Batch やってみる 1. マニフェストの準備 2. ジョブの作成 3. 実⾏
20 S3 Batch やってみる – マニフェストの準備 • マニフェスト • S3
Batch の操作対象となるオブジェクトのリスト • 「Amazon S3 インベントリ」もしくは「独⾃の CSV ファイル」が使⽤可能 • Amazon S3 インベントリはバケットのインベントリレポートを有効にすることで作成される Amazon S3 インベントリ(例)
21 S3 Batch やってみる 1. マニフェストの準備 2. ジョブの作成 3. 実⾏
22 S3 Batch やってみる - ジョブの作成① • ジョブを作成するリージョン マニフェストが⽰す(オペレーションの実⾏対象) オブジェクトと同じリージョンであること
※今回は「東京リージョン」 • マニフェストの選択 S3 インベントリレポートもしくは CSV を指定 ※今回は 「S3 インベントリレポート」
23 S3 Batch やってみる - ジョブの作成② • オペレーションの選択 オブジェクトに対してどんな操作を⾏うかを指定 ※今回は「PUT
copy」 選択したオペレーションによって⼊⼒項⽬が変化 ex.「PUT copy」であれば「PUT コピー先バケット」
24 S3 Batch やってみる - ジョブの作成③ • 追加オプション 「説明・オプション」「ジョブの実⾏優先度」が指定可能 •
完了レポート 完了レポートを⽣成するかどうか、それに伴う設定を指定 • アクセス許可 ジョブに対してロールを割り当てる必要あり ※AWS 公式ドキュメントに各オペレーション毎に必要となるアク セス許可ポリシーが明記
25 S3 Batch やってみる 1. マニフェストの準備 2. ジョブの作成 3. 実⾏
26 S3 Batch やってみる - ジョブの実⾏① • 作成後は「確認待ち」 • 「確認して実⾏」で実⾏
→ 成功すると「完了」 ※AWS CLI、AWS SDK、REST API でジョブを作成した場合は確認なしで実⾏可能 (ジョブの準備が出来次第、実⾏される)
27 S3 Batch やってみる - ジョブの実⾏② • 実⾏結果の確認 テキストファイルがコピーされている︕
28 まとめ • S3 Batch を使うことで複数のオブジェクトに対する⼀括処理が可能 • 「マニフェストの準備 → ジョブの作成・実⾏」のシンプルな⼿順
• 今までに無い S3 のユースケースが⽣まれる かも
29