Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
S3界の革命児!S3 Batchのご紹介
Search
RyousukeOomae
July 17, 2019
Technology
0
1.7k
S3界の革命児!S3 Batchのご紹介
RyousukeOomae
July 17, 2019
Tweet
Share
More Decks by RyousukeOomae
See All by RyousukeOomae
AWSでメディアファイル処理ワークロードを簡単に構築!「AWS Media Insights Engine」入門
ryousukeoomae
0
870
Amazon Interactive Video Service の一年を振り返る
ryousukeoomae
0
630
2021/01/27 ウェビナー「サイトやアプリへの動画埋め込みを簡単に!デバイスを選ばないプレイヤー:THEOplayer」
ryousukeoomae
0
720
外に出れないこんなご時世だからこそ、AWS MediaServices によるライブ配信入門
ryousukeoomae
0
1.4k
Other Decks in Technology
See All in Technology
「全員プロダクトマネージャー」を実現する、Cursorによる仕様検討の自動運転
applism118
22
12k
CDK CLIで使ってたあの機能、CDK Toolkit Libraryではどうやるの?
smt7174
4
190
エンジニアが主導できる組織づくり ー 製品と事業を進化させる体制へのシフト
ueokande
1
100
はじめてのOSS開発からみえたGo言語の強み
shibukazu
3
990
20250913_JAWS_sysad_kobe
takuyay0ne
2
250
【NoMapsTECH 2025】AI Edge Computing Workshop
akit37
0
230
ブロックテーマ時代における、テーマの CSS について考える Toro_Unit / 2025.09.13 @ Shinshu WordPress Meetup
torounit
0
130
Android Audio: Beyond Winning On It
atsushieno
0
3.4k
スマートファクトリーの第一歩 〜AWSマネージドサービスで 実現する予知保全と生成AI活用まで
ganota
2
320
Unlocking the Power of AI Agents with LINE Bot MCP Server
linedevth
0
120
AIがコード書きすぎ問題にはAIで立ち向かえ
jyoshise
1
110
Create Ruby native extension gem with Go
sue445
0
130
Featured
See All Featured
Code Reviewing Like a Champion
maltzj
525
40k
How STYLIGHT went responsive
nonsquared
100
5.8k
Fireside Chat
paigeccino
39
3.6k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Git: the NoSQL Database
bkeepers
PRO
431
66k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
131
19k
Code Review Best Practice
trishagee
71
19k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
19k
Transcript
S3界の⾰命児︕S3 Batchのご紹介 2019/7/17 AKIBA.AWS #14 番外編〜AWS Update LT⼤会〜 1
2 ⾃⼰紹介 ⼤前諒祐(oomae ryousuke) • クラスメソッド株式会社 • コンサルティング部 • 2019/05
⼊社 • 前職 • SIer(3年、主に Web アプリ開発) • 好きな AWS サービス • SQS, Sumerian
スライドは後で⼊⼿することが出来ますので 発表中の内容をメモする必要はありません。 写真撮影をする場合は フラッシュ・シャッター⾳が出ないようにご配慮ください Attention
S3 Batch 知ってますか・・・︖ 4
5 S3 Batch とは ① • 昨年の re:Invent 2018 にて発表
• 2019/04 に Generally Available(GA) • ⼤阪リージョンを除く全リージョンで利⽤可能 https://dev.classmethod.jp/cloud/aws/s3-batch-operations/ https://aws.amazon.com/jp/about-aws/whats-new/2019/04/Amazon-S3-Introduces-S3-Batch-Operations-for-Object-Management/
6 S3 Batch とは ② • S3 のコンソール画⾯にもメニュー追加済み
S3 復習 7
8 S3 復習 ① • Amazon Simple Storage Service(S3) •
AWS が提供するオブジェクトストレージ • 特徴 • 容量無制限 • スケーラブルで安定した性能 • 安価なストレージ • ⾼い耐久性 https://aws.amazon.com/jp/s3/ Amazon Simple Storage Service (S3)
9 S3 復習 ② • AWS を活⽤する場合、必ずどこかで使われている • オブジェクトデータの保存 •
バックアップの保管 • ログの格納 • etc... • 格納されるデータ量は⽇々増加 • 何百、何千、何万、、、
10 突然の依頼
11 「このバケット内のデータ全部違うバケットに移してくれない︖」
12 実現⽅法は︖ ⼿作業で移す︖ コーディング︖
13 S3 Batch の出番です 13
14 S3 Batch とは ① • S3 オブジェクトに対して⼤規模なバッチオペレーションを実⾏可能 • オブジェクトのコピー
• オブジェクトのタグ付け • ACL(アクセスコントロールリスト)の設定 • Amazon S3 Glacier からのオブジェクト復元 • AWS Lambda 関数の実⾏ ※「バッチ ≠ 定期的に実⾏される処理」ではなく「バッチ = ⼀括処理」
15 S3 Batch とは ② • ⽤語 • ジョブ •
S3 Batch の基本単位 • オペレーション • ジョブで実⾏する単⼀のコマンド(=オブジェクトに対する操作) • タスク • ジョブの実⾏単位
16 とりあえずやってみる
17 S3 Batch やってみる • やりたいこと • 10 個のテキストファイルを持つ「akibaaws-s3-batch-source」バケット •
空の「akibaaws-s3-batch-cptarget」バケット • S3 Batch を使って空のバケットに 10 ファイルをコピー akibaaws-s3-batch-source akibaaws-s3-batch-cptarget
18 S3 Batch やってみる 1. マニフェストの準備 2. ジョブの作成 3. 実⾏
19 S3 Batch やってみる 1. マニフェストの準備 2. ジョブの作成 3. 実⾏
20 S3 Batch やってみる – マニフェストの準備 • マニフェスト • S3
Batch の操作対象となるオブジェクトのリスト • 「Amazon S3 インベントリ」もしくは「独⾃の CSV ファイル」が使⽤可能 • Amazon S3 インベントリはバケットのインベントリレポートを有効にすることで作成される Amazon S3 インベントリ(例)
21 S3 Batch やってみる 1. マニフェストの準備 2. ジョブの作成 3. 実⾏
22 S3 Batch やってみる - ジョブの作成① • ジョブを作成するリージョン マニフェストが⽰す(オペレーションの実⾏対象) オブジェクトと同じリージョンであること
※今回は「東京リージョン」 • マニフェストの選択 S3 インベントリレポートもしくは CSV を指定 ※今回は 「S3 インベントリレポート」
23 S3 Batch やってみる - ジョブの作成② • オペレーションの選択 オブジェクトに対してどんな操作を⾏うかを指定 ※今回は「PUT
copy」 選択したオペレーションによって⼊⼒項⽬が変化 ex.「PUT copy」であれば「PUT コピー先バケット」
24 S3 Batch やってみる - ジョブの作成③ • 追加オプション 「説明・オプション」「ジョブの実⾏優先度」が指定可能 •
完了レポート 完了レポートを⽣成するかどうか、それに伴う設定を指定 • アクセス許可 ジョブに対してロールを割り当てる必要あり ※AWS 公式ドキュメントに各オペレーション毎に必要となるアク セス許可ポリシーが明記
25 S3 Batch やってみる 1. マニフェストの準備 2. ジョブの作成 3. 実⾏
26 S3 Batch やってみる - ジョブの実⾏① • 作成後は「確認待ち」 • 「確認して実⾏」で実⾏
→ 成功すると「完了」 ※AWS CLI、AWS SDK、REST API でジョブを作成した場合は確認なしで実⾏可能 (ジョブの準備が出来次第、実⾏される)
27 S3 Batch やってみる - ジョブの実⾏② • 実⾏結果の確認 テキストファイルがコピーされている︕
28 まとめ • S3 Batch を使うことで複数のオブジェクトに対する⼀括処理が可能 • 「マニフェストの準備 → ジョブの作成・実⾏」のシンプルな⼿順
• 今までに無い S3 のユースケースが⽣まれる かも
29