Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
S3界の革命児!S3 Batchのご紹介
Search
RyousukeOomae
July 17, 2019
Technology
0
1.7k
S3界の革命児!S3 Batchのご紹介
RyousukeOomae
July 17, 2019
Tweet
Share
More Decks by RyousukeOomae
See All by RyousukeOomae
AWSでメディアファイル処理ワークロードを簡単に構築!「AWS Media Insights Engine」入門
ryousukeoomae
0
870
Amazon Interactive Video Service の一年を振り返る
ryousukeoomae
0
630
2021/01/27 ウェビナー「サイトやアプリへの動画埋め込みを簡単に!デバイスを選ばないプレイヤー:THEOplayer」
ryousukeoomae
0
720
外に出れないこんなご時世だからこそ、AWS MediaServices によるライブ配信入門
ryousukeoomae
0
1.4k
Other Decks in Technology
See All in Technology
実践アプリケーション設計 ②トランザクションスクリプトへの対応
recruitengineers
PRO
4
1.2k
事業価値と Engineering
recruitengineers
PRO
7
5.3k
PRDの正しい使い方 ~AI時代にも効く思考・対話・成長ツールとして~
techtekt
PRO
0
240
異業種出身エンジニアが気づいた、転向して十数年経っても変わらない自分の武器とは
macnekoayu
0
250
AI時代に非連続な成長を実現するエンジニアリング戦略
sansantech
PRO
3
890
【 LLMエンジニアがヒューマノイド開発に挑んでみた 】 - 第104回 Machine Learning 15minutes! Hybrid
soneo1127
0
230
VPC Latticeのサービスエンドポイント機能を使用した複数VPCアクセス
duelist2020jp
0
350
【Grafana Meetup Japan #6】Grafanaをリバプロ配下で動かすときにやること ~ Grafana Liveってなんだ ~
yoshitake945
0
210
まだ間に合う! StrandsとBedrock AgentCoreでAIエージェント構築に入門しよう
minorun365
PRO
10
680
オブザーバビリティが広げる AIOps の世界 / The World of AIOps Expanded by Observability
aoto
PRO
0
220
ヒューリスティック評価を用いたゲームQA実践事例
gree_tech
PRO
0
410
AI エージェントとはそもそも何か? - 技術背景から Amazon Bedrock AgentCore での実装まで- / AI Agent Unicorn Day 2025
hariby
1
300
Featured
See All Featured
A Modern Web Designer's Workflow
chriscoyier
696
190k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
570
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Agile that works and the tools we love
rasmusluckow
330
21k
A designer walks into a library…
pauljervisheath
207
24k
How to train your dragon (web standard)
notwaldorf
96
6.2k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
11
1.1k
Six Lessons from altMBA
skipperchong
28
4k
Typedesign – Prime Four
hannesfritz
42
2.8k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
51
5.6k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Transcript
S3界の⾰命児︕S3 Batchのご紹介 2019/7/17 AKIBA.AWS #14 番外編〜AWS Update LT⼤会〜 1
2 ⾃⼰紹介 ⼤前諒祐(oomae ryousuke) • クラスメソッド株式会社 • コンサルティング部 • 2019/05
⼊社 • 前職 • SIer(3年、主に Web アプリ開発) • 好きな AWS サービス • SQS, Sumerian
スライドは後で⼊⼿することが出来ますので 発表中の内容をメモする必要はありません。 写真撮影をする場合は フラッシュ・シャッター⾳が出ないようにご配慮ください Attention
S3 Batch 知ってますか・・・︖ 4
5 S3 Batch とは ① • 昨年の re:Invent 2018 にて発表
• 2019/04 に Generally Available(GA) • ⼤阪リージョンを除く全リージョンで利⽤可能 https://dev.classmethod.jp/cloud/aws/s3-batch-operations/ https://aws.amazon.com/jp/about-aws/whats-new/2019/04/Amazon-S3-Introduces-S3-Batch-Operations-for-Object-Management/
6 S3 Batch とは ② • S3 のコンソール画⾯にもメニュー追加済み
S3 復習 7
8 S3 復習 ① • Amazon Simple Storage Service(S3) •
AWS が提供するオブジェクトストレージ • 特徴 • 容量無制限 • スケーラブルで安定した性能 • 安価なストレージ • ⾼い耐久性 https://aws.amazon.com/jp/s3/ Amazon Simple Storage Service (S3)
9 S3 復習 ② • AWS を活⽤する場合、必ずどこかで使われている • オブジェクトデータの保存 •
バックアップの保管 • ログの格納 • etc... • 格納されるデータ量は⽇々増加 • 何百、何千、何万、、、
10 突然の依頼
11 「このバケット内のデータ全部違うバケットに移してくれない︖」
12 実現⽅法は︖ ⼿作業で移す︖ コーディング︖
13 S3 Batch の出番です 13
14 S3 Batch とは ① • S3 オブジェクトに対して⼤規模なバッチオペレーションを実⾏可能 • オブジェクトのコピー
• オブジェクトのタグ付け • ACL(アクセスコントロールリスト)の設定 • Amazon S3 Glacier からのオブジェクト復元 • AWS Lambda 関数の実⾏ ※「バッチ ≠ 定期的に実⾏される処理」ではなく「バッチ = ⼀括処理」
15 S3 Batch とは ② • ⽤語 • ジョブ •
S3 Batch の基本単位 • オペレーション • ジョブで実⾏する単⼀のコマンド(=オブジェクトに対する操作) • タスク • ジョブの実⾏単位
16 とりあえずやってみる
17 S3 Batch やってみる • やりたいこと • 10 個のテキストファイルを持つ「akibaaws-s3-batch-source」バケット •
空の「akibaaws-s3-batch-cptarget」バケット • S3 Batch を使って空のバケットに 10 ファイルをコピー akibaaws-s3-batch-source akibaaws-s3-batch-cptarget
18 S3 Batch やってみる 1. マニフェストの準備 2. ジョブの作成 3. 実⾏
19 S3 Batch やってみる 1. マニフェストの準備 2. ジョブの作成 3. 実⾏
20 S3 Batch やってみる – マニフェストの準備 • マニフェスト • S3
Batch の操作対象となるオブジェクトのリスト • 「Amazon S3 インベントリ」もしくは「独⾃の CSV ファイル」が使⽤可能 • Amazon S3 インベントリはバケットのインベントリレポートを有効にすることで作成される Amazon S3 インベントリ(例)
21 S3 Batch やってみる 1. マニフェストの準備 2. ジョブの作成 3. 実⾏
22 S3 Batch やってみる - ジョブの作成① • ジョブを作成するリージョン マニフェストが⽰す(オペレーションの実⾏対象) オブジェクトと同じリージョンであること
※今回は「東京リージョン」 • マニフェストの選択 S3 インベントリレポートもしくは CSV を指定 ※今回は 「S3 インベントリレポート」
23 S3 Batch やってみる - ジョブの作成② • オペレーションの選択 オブジェクトに対してどんな操作を⾏うかを指定 ※今回は「PUT
copy」 選択したオペレーションによって⼊⼒項⽬が変化 ex.「PUT copy」であれば「PUT コピー先バケット」
24 S3 Batch やってみる - ジョブの作成③ • 追加オプション 「説明・オプション」「ジョブの実⾏優先度」が指定可能 •
完了レポート 完了レポートを⽣成するかどうか、それに伴う設定を指定 • アクセス許可 ジョブに対してロールを割り当てる必要あり ※AWS 公式ドキュメントに各オペレーション毎に必要となるアク セス許可ポリシーが明記
25 S3 Batch やってみる 1. マニフェストの準備 2. ジョブの作成 3. 実⾏
26 S3 Batch やってみる - ジョブの実⾏① • 作成後は「確認待ち」 • 「確認して実⾏」で実⾏
→ 成功すると「完了」 ※AWS CLI、AWS SDK、REST API でジョブを作成した場合は確認なしで実⾏可能 (ジョブの準備が出来次第、実⾏される)
27 S3 Batch やってみる - ジョブの実⾏② • 実⾏結果の確認 テキストファイルがコピーされている︕
28 まとめ • S3 Batch を使うことで複数のオブジェクトに対する⼀括処理が可能 • 「マニフェストの準備 → ジョブの作成・実⾏」のシンプルな⼿順
• 今までに無い S3 のユースケースが⽣まれる かも
29