Slide 1

Slide 1 text

Wenn‘s mal wieder länger... dauern muss Medienverarbeitung mit AWS Batch Patrick Wolf | cosee GmbH [email protected] @wolkenarchitekt AWS Community Days Frankfurt, Sep 26+27

Slide 2

Slide 2 text

PATRICK WOLF CEO ● Geschäftsführer und Mitgründer von cosee ● Seit 2013 in der Cloud unterwegs ● Am liebsten zerlege ich Monolithen in schöne Microservices

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

Wenn es eigentlich serverless sein sollte... Wenn ich: ● Schlecht vorhersehbare Anfragen/Datenmengen habe – Volumen – Zeitliche Verteilung – ... Will ich: ● Serverless sein / Lambda benutzen

Slide 6

Slide 6 text

...es aber nicht geht Was spricht gegen Lambda? ● Langlaufende Verarbeitung (magische 5 min-Grenze) ● Compute-intensive Verarbeitung (wenig preisgünstig) ● Sprache/Runtime wird nicht unterstützt ( ¯\_(ツ)_/¯ )

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

AWS Batch ● Aufsatz auf ECS ● Ermöglicht „Batch-Verarbeitung“ in Containern – Definition der Aufgabe als Docker-Container – Beliebige Menge an Aufträgen („Jobs“) – Batch kümmert sich um Scheduling/Sizing/Scaling

Slide 9

Slide 9 text

AWS Batch

Slide 10

Slide 10 text

?

Slide 11

Slide 11 text

Event-driven Containers Wie werden Container serverless? 1) Abgeschlossene Einzelaufgaben in Container auslagern 2) Events als Auslöser 3) Queueing und Running (managed)

Slide 12

Slide 12 text

Aufgaben in Container auslagern Voraussetzungen wie bei Lambda auch: ● Abgeschlossene Aufgabe: Container fährt hoch, läuft und fährt wieder runter ● Einzelner Lauf unabhängig von anderen ● Wahl der Technologie deutlich breiter – Dafür wieder minimaler Managementaufwand

Slide 13

Slide 13 text

Events als Auslöser Irgendwie muss der Lauf eines Containers angestoßen werden. Beispiel: S3 File Event triggers Lambda Lambda creates Batch job

Slide 14

Slide 14 text

Queueing and running Benötigt: Komponente, die einzelne Läufe eines Containers verwaltet ● Built-in with Batch ● Selbst bauen? SQS + Fargate? StepFunctions?

Slide 15

Slide 15 text

Und im echten Leben?

Slide 16

Slide 16 text

Fazit ● Serverless + Container? Geht! ● AWS Batch ist eine gute Wahl

Slide 17

Slide 17 text

www.cosee.biz