TechTalk Erste Erfahrungen mit AWS Batch - Stapeldatenverarbeitung in der Cloud

Auf der re:invent Ende letzten Novembers hat AWS einen neuen Service zur Ausführung von Batch-Datenverarbeitungsjobs vorgestellt: AWS Batch. Mit Batch definiert man Aufgaben (Jobs), die dann jeweils in einem Docker Container ausgeführt werden. Dabei macht der Nutzer nur Vorgaben (etwa „wie viele CPUs brauche ich?“) und Batch kümmert sich darum, dass der Container in einem entsprechenden Environment läuft. In diesem TechTalk schauen wir uns das einmal näher an und geben dabei Antworten auf Fragen: Wie definiere ich Jobs? Wie genau werden Jobs ausgeführt? Wie verkette ich Jobs? Und schließlich: Kann ich mit Lambda-Jobs sogar komplett serverless werden?

Transcript

1. Patrick Wolf | cosee patrick.wolf@cosee.biz Erste Erfahrungen mit AWS Batch - Stapeldatenverarbeitung in der Cloud
2. Was ist AWS Batch? • Ein paar Sätze aus der AWS-Beschreibung: – „AWS Batch enables you to run batch computing workloads on the AWS Cloud“ – „This service can efficiently provision resources in response to jobs submitted...“ – „As a fully managed service, AWS Batch enables developers ... to run batch computing workloads of any scale.“
3. Idee: Einsteigen und losfahren Docker Container Compute Environment Job Definition Entwickler AWS Job Queue
4. Beispiel: Container-Watermarking- Container s3://watermarking-todo s3://watermarking-completed
5. Wie baue ich alles zusammen? Docker Container Compute Environment Job Definition Job Queue
6. Wie baue ich alles zusammen? Job
7. Das können viele werden!
8. * Laser Pointer: https://what-if.xkcd.com/13/ *
9. Compute Environment aufrüsten
10. Achtung eilig!
11. Job Queues mit Priorität
12. Job Queues mit Priorität Prio 1 Prio 2
13. Job Queues mit Priorität Prio 1 Prio 2
14. Job Queues mit Priorität Prio 1 Prio 2
15. Job Queues mit Priorität Prio 1 Prio 2
16. Andere Arten Jobs in Auftrag zu geben pwolf@coseelap0: aws batch submit-job --job-name cliJob01 --job-queue batchdemo-job-queue --job-definition arn:aws:batch:us-east-1:833352892577:job- definition/batchdemoJob:1 --parameters videoFileName=example01_10s.mp4
17. Dependencies zwischen Jobs pwolf@coseelap0: aws batch submit-job --job-name cli-cleanupJob01 --job-queue batchdemo-cleanup-job-queue --job-definition batchdemo-cleaner:2 --parameters videoFileName=example_01_10s.mp4 --depends-on jobId=99cc80b7-3bff-468d-968a-2c7c750833d3
18. Misc • Scheduler • Spot Instances • AWS Step Functions • What‘s coming? – Weitere Regionen – Array Jobs – Lamba Jobs
19. Nächster Talk ... Continuous Delivery für Groß und Klein < Jonas Bechstein Jannis Schaefer /> 30. März 2017 > talks.cosee.biz > blog.cosee.biz