BiBirra: Serverless Beer Recognition (ITA)

Slides of my talk about deploying machine learning models on the cloud using serverless technologies.
The project I describe is an app that can recognize a beer from a picture

Transcript

1. BiBirra Un’esperienza di serverless e machine learning
2. About Me Matteo Ronchetti Studente di Matematica Appassionato di AI e ML https://matteo.ronchetti.xyz
3. ViVino Riconoscimento vini da una foto dell’etichetta Tecnicamente si parla di Content Based Image Retrieval (CBIR)
4. BiBirra ➔ Scraping Raccogliere automaticamente foto e informazioni dal web ➔ Algoritmo Creare un algoritmo funzionante ➔ Deploy Creare una beta utilizzabile dell’applicazione
5. Scraping Python Raschietto ~ 2’300 birre
6. Algoritmo Python OpenCV SSD Annoy
7. Risultati Su piccolo test set di 25 immagini accuratezza del 100%
10. Prototipo Web App con interfaccia mobile e backend implementato con Flask
11. Deploy Prototipo ➔ Nessuna Manutenzione ➔ One-click Deploy ➔ Costi praticamente nulli
12. Firebase Utilizzato come host dei file statici Gratis Serverless Poteva bastare molto meno
13. AWS Lambda + API Gateway FaaS Supporta Python (anche con moduli compilati) Deploy non semplici quanto vorrei Massima dimensione del pacchetto 250mb
14. Zappa Software che permette di fare deploy di applicazioni Flask o Django verso Lambda e API gateway senza modificare il codice
17. $ zappa init $ zappa deploy
18. Vantaggi One-Click deploy Stages (ex. dev, prod) Versioning (updates e rollbacks) Nessun cambiamento al codice Keep-warm automatico
19. Limite di 250mb Ho un modello che occupa 700mb, come faccio?
20. Riduzione del modello Tramite tecniche di Dimensionality Reduction ho ridotto la dimensionalità del modello a circa 250mb senza ledere l’accuratezza E’ necessario? No, tuttavia ottenere un modello più leggero è in generale un risultato positivo
21. Lettura del modello da S3 Per superare il limite si può caricare il modello da S3. Esso verrà scaricato solo quando viene instanziato il micro-container dentro il quale viene eseguita la funzione Lambda.
23. Vantaggi Funziona! Versionamento Separazione codice/modello
24. Cold Starts “lenti” Il download del modello da S3 comporterà dei tempi di attesa. Questo problema è mitigabile tramite Keep-warm (implementato di default da Zappa) Può essere un ostacolo alla scalabilità
26. Versionamento e Staging di codice e modello One-click deploy Nessuna manutenzione Passaggio veloce da “prototipo in locale” a “prototipo online”
27. I costi
28. Tips ➔ S3 Transfer Acceleration Permette upload più rapidi verso S3 ad un costo trascurabile ➔ Usare Lambda di grossa taglia RAM e CPU scalano insieme nelle lambda. Se il numero di chiamate sarà ridotto il costo non cambia.
29. Demo
30. Domande?