Wenn‘s mal wieder länger... dauern muss Medienverarbeitung mit AWS Batch Patrick Wolf | cosee GmbH [email protected] @wolkenarchitekt AWS Community Days Frankfurt, Sep 26+27

PATRICK WOLF CEO ● Geschäftsführer und Mitgründer von cosee ● Seit 2013 in der Cloud unterwegs ● Am liebsten zerlege ich Monolithen in schöne Microservices

No content

No content

Wenn es eigentlich serverless sein sollte... Wenn ich: ● Schlecht vorhersehbare Anfragen/Datenmengen habe – Volumen – Zeitliche Verteilung – ... Will ich: ● Serverless sein / Lambda benutzen

...es aber nicht geht Was spricht gegen Lambda? ● Langlaufende Verarbeitung (magische 5 min-Grenze) ● Compute-intensive Verarbeitung (wenig preisgünstig) ● Sprache/Runtime wird nicht unterstützt ( ¯\_(ツ)_/¯ )

No content

AWS Batch ● Aufsatz auf ECS ● Ermöglicht „Batch-Verarbeitung“ in Containern – Definition der Aufgabe als Docker-Container – Beliebige Menge an Aufträgen („Jobs“) – Batch kümmert sich um Scheduling/Sizing/Scaling

AWS Batch

?

Event-driven Containers Wie werden Container serverless? 1) Abgeschlossene Einzelaufgaben in Container auslagern 2) Events als Auslöser 3) Queueing und Running (managed)

Aufgaben in Container auslagern Voraussetzungen wie bei Lambda auch: ● Abgeschlossene Aufgabe: Container fährt hoch, läuft und fährt wieder runter ● Einzelner Lauf unabhängig von anderen ● Wahl der Technologie deutlich breiter – Dafür wieder minimaler Managementaufwand

Events als Auslöser Irgendwie muss der Lauf eines Containers angestoßen werden. Beispiel: S3 File Event triggers Lambda Lambda creates Batch job

Queueing and running Benötigt: Komponente, die einzelne Läufe eines Containers verwaltet ● Built-in with Batch ● Selbst bauen? SQS + Fargate? StepFunctions?

Und im echten Leben?

Fazit ● Serverless + Container? Geht! ● AWS Batch ist eine gute Wahl

www.cosee.biz