Machine Learning y sus distintas aplicaciones - BA Tech Talk #3

Jonatan Zeph nos ilumina con las distintas aplicaciones concretas de Machine Learning.

Transcript

1. 1 / 17 MachineLearning Conceptos y aplicaciones
2. 2 / 17 MarchineLearning: Qué es? • Rama de la inteligencia artifcial • Permite aprender sin ser explícitamente programado • Aprendizaje supervisado – Se entrena con un input y un output esperado – Predice el output en base a lo aprendido • Aprendizaje no supervisado – Detecta patrones automaticamente
3. 3 / 17 Aprendizaje Supervisado • Se deduce una función en base a datos de entrenamiento • Requiere de un input y output para el entrnamiento • Ejemplos: – Predicción de bots (*) – Predicción de heladas (*) – Procesamiento de lenguaje natural (*) – Predicción de temperaturas – Predicción de valores – Clasifcación categórica
4. 4 / 17 Aprendizaje No Supervisado • Se deduce una función en base a datos de entrenamiento • Requiere de un input y output para el entrnamiento • Ejemplos: – Detección de anomalías • Monitoreo de IT • Alertas – Clustering • Detección de similaridades • Agrupamiento
5. 5 / 17 Qué hicimos? Terminating The Terminators Deteccion de robots crawlers scrappers , , .
6. 6 / 17 Arquitectura ZFC Preprocessor ZFC Listener CSV Amazon S3 Amazon Machine Learning
7. 7 / 17 ZFC • ZFC Listener para obtener logs en tiempo real. • Obtiene datos en el siguiente formato:
8. 8 / 17 Preprocessor • Procesa datos crudos del ZFC • Modela y calcula features para Machine Learning • Escribe en CSV • Puede enviar a SQS, Beanstalkd
9. 9 / 17 Preprocessor • Training Features – request_ratio (2xx, 3xx, 4xx, 5xx, others) – req_median_time – req_total – req_cookies – req_referrer – req_favicon – req_css – req_js – req_images – is_mobile – time_stdev – has_session_id – robot
10. 10 / 17 Machine Learning • Modelos disponibles – Binary Classifcation • Predice Si/No, 1/0, etc. – Multi-Class Classifcation • Predicción categórica – Ej: Negativo, Neutral, Positivo – Regression • Predicción Numérica – Ej: Cuántos mm de lluvia caerán el viernes? • Fácil integración con servicios de Amazon • Separación de dataset para entrenamiento y evaluación (70% - 30%) • Origen de datos: Redshift, S3 • Batch Predictions • Posibilidad de End-Point real-time
11. 11 / 17 Machine Learning • Modelo usado: Binary Classifer • Input: CSV con un listado de datos del preprocessor • Output: 1 ó 0 (si es robot o no) • Batch Predictions • Posibilidad de End-Point real-time
12. 12 / 17 Gephi: Qué es? • Visualización y análisis • Grafos • Redes • Algoritmos – Agrupamiento – Distribución • Exportar
13. 13 / 17 Gephi: Análisis Visualizar y comprobar resultados Detectar piezas del sistema más comprometidas
14. 14 / 17 Extras: NLP & Sent. A. • Procesamiento de Lenguaje Natural • Estructura texto • Interpreta para poder procesar • Ejemplos: – Bots que responden a texto humano (***) – Análisis de sentimiento (***)
15. 15 / 17 Extras: NLP & Sent. A. • Stemming (reduce palabras a su forma base) – saltando/saltó/salté => saltar – pinté/pintó/pintaron => pintar • Tokenizar • Distancia de strings • Clasifcadores • Fonetica (si al pronunciarse suenan similar o no) • Identifcar si una palabra/frase es positiva, negativa, neutra
16. 16 / 17 Preguntas?
17. 17 / 17 Gracias!! Jonatan Bravo jbravo@edrans.com