Tweet
Tweet

Slide 1

Slide 1 text

Patrick Wolf | cosee patrick.wolf@cosee.biz Erste Erfahrungen mit AWS Batch - Stapeldatenverarbeitung in der Cloud

Slide 2

Slide 2 text

Was ist AWS Batch? ● Ein paar Sätze aus der AWS-Beschreibung: – „AWS Batch enables you to run batch computing workloads on the AWS Cloud“ – „This service can efficiently provision resources in response to jobs submitted...“ – „As a fully managed service, AWS Batch enables developers ... to run batch computing workloads of any scale.“

Slide 3

Slide 3 text

Idee: Einsteigen und losfahren Docker Container Compute Environment Job Definition Entwickler AWS Job Queue

Slide 4

Slide 4 text

Beispiel: Container-Watermarking- Container s3://watermarking-todo s3://watermarking-completed

Slide 5

Slide 5 text

Wie baue ich alles zusammen? Docker Container Compute Environment Job Definition Job Queue

Slide 6

Slide 6 text

Wie baue ich alles zusammen? Job

Slide 7

Slide 7 text

Das können viele werden!

Slide 8

Slide 8 text

* Laser Pointer: https://what-if.xkcd.com/13/ *

Slide 9

Slide 9 text

Compute Environment aufrüsten

Slide 10

Slide 10 text

Achtung eilig!

Slide 11

Slide 11 text

Job Queues mit Priorität

Slide 12

Slide 12 text

Job Queues mit Priorität Prio 1 Prio 2

Slide 13

Slide 13 text

Job Queues mit Priorität Prio 1 Prio 2

Slide 14

Slide 14 text

Job Queues mit Priorität Prio 1 Prio 2

Slide 15

Slide 15 text

Job Queues mit Priorität Prio 1 Prio 2

Slide 16

Slide 16 text

Andere Arten Jobs in Auftrag zu geben pwolf@coseelap0: aws batch submit-job --job-name cliJob01 --job-queue batchdemo-job-queue --job-definition arn:aws:batch:us-east-1:833352892577:job- definition/batchdemoJob:1 --parameters videoFileName=example01_10s.mp4

Slide 17

Slide 17 text

Dependencies zwischen Jobs pwolf@coseelap0: aws batch submit-job --job-name cli-cleanupJob01 --job-queue batchdemo-cleanup-job-queue --job-definition batchdemo-cleaner:2 --parameters videoFileName=example_01_10s.mp4 --depends-on jobId=99cc80b7-3bff-468d-968a-2c7c750833d3

Slide 18

Slide 18 text

Misc ● Scheduler ● Spot Instances ● AWS Step Functions ● What‘s coming? – Weitere Regionen – Array Jobs – Lamba Jobs

Slide 19

Slide 19 text

Nächster Talk ... Continuous Delivery für Groß und Klein < Jonas Bechstein Jannis Schaefer /> 30. März 2017 > talks.cosee.biz > blog.cosee.biz