Azure Cognitive Services - Machine Learning aus der Dose

Transcript

1. JÖRG NEUMANN @JOERGNEUMANN AZURE COGNITIVE SERVICES MACHINE LEARNING AUS DER DOSE
2. JÖRG NEUMANN THEMEN ▪ Frontend Technologies ▪ Mobile Development ▪ Machine Learning ▪ Consulting, Coaching, Training KONTAKT ▪ Mail: neumann.joerg@outlook.de ▪ Twitter: @joergneumann ▪ GitHub: https://github.com/joergneumann ▪ Blog: http://www.headwriteline.blogspot.com
3. “AI is going to disrupt every single business app—whether an industry vertical like banking, retail and health care, or a horizontal business process like sales, marketing and customer support.“ —Harry Shum, Microsoft Executive VP, AI and Research
4. Neuronale Netzwerke sind die „Software 2.0“ —Andrej Karpathy, Director of Artificial Intelligence, Tesla
5. ImageNet DATASET ▪ Enthält ca. 14 Mio. Bilder ▪ http://www.image-net.org CHALLENGES ▪ ImageNet Large Scale Visual Recognition Challenge (ILSVRC) ▪ Jährlicher Wettbewerb ▪ Object Classification ▪ Object Localization ▪ Object Detection
6. ImageNet LSVRC 28,2% 25,7% 15,3% 14,8% 6,67% 3,57% 3% 2,3% ImageNet Classification top-5 error (%) NEC Xerox AlexNet ZFNet GoogleNet ResNet TSNet SENet 5-10% Human Performance 8 Layers 8 Layers 22 Layers 152 Layers Ensamble Ensamble
7. SPEECH RECOGNITION DATASET ▪ Switchboard Dataset ▪ Sammlung von Telefongesprächen ▪ 2016 wurde erstmals eine Fehlerrate von ~6% bei der Worterkennung erreicht ~6% Human Performance
8. NATURAL LANGUAGE PROCESSING (NLP) DATASET ▪ Stanford Question Answering Dataset (SQuAD) ▪ Fragen über Wikipedia-Artikel beantworten CHALLENGE ▪ Texte lesen und in Anschluss Fragen zu diesen beantworten ▪ 2018 wurde erstmals eine Rate von 82,6% erreicht (der Mensch schafft ~82,3%)
9. WANN MACHINE LEARNING? EINSATZSZENARIEN ▪ Komplexität: Man kann es nicht programmieren (z.B. Bilderkennung, Spracherkennung) ▪ Menge: Man kann es nicht skalieren (z.B. Spam & Betrugsaufdeckung, Medizin) ▪ Personalisierung: Personenbezogene Lösungen entwickeln (z.B. Amazon, Netflix) ▪ Selbstlernend: Computer soll selbstständig Entscheidungen treffen (z.B. autonom fahrende Autos)
10. EINSATZFÄLLE FÜR MACHINE LEARNING RECOMMENDATION SYSTEMS ▪ Personalisierte Vorschläge ▪ Was gefällt anderen Benutzern?
11. EINSATZFÄLLE FÜR MACHINE LEARNING BOTS ▪ Spracherkennung ▪ Verstehen der Intention ▪ Sentiment Analysis ROBOTER ▪ Bilderkennung ▪ Gesichter identifizieren ▪ Gestenerkennung ▪ Selbstständiges Bewegen
12. EINSATZFÄLLE FÜR MACHINE LEARNING FRAUD DETECTION ▪ Ist eine Kreditkartentransaktion illegal? ▪ Wurde der Amazon Account gehackt? ANOMALY DETECTION ▪ Wird die Maschine bald ausfallen?
13. findet Muster erkennt Muster stellt Daten bereit, prüft auf Muster WAS IST MACHINE LEARNING? DEFINITION ▪ Muster in Daten erkennen ▪ Vorhersagen treffen App Model Daten Algorithmus enthalten Muster
14. Entwickler ▪ Grundlegendes Verständnis von ML ▪ Verwendung von Tools & Libraries ▪ Nutzung von vorgefertigten Modellen ▪ Entwicklung mit Java, C# oder JavaScript Data Scientist ▪ Tiefes Verständnis von ML ▪ Aufbau neuronaler Netze ▪ Entwicklung und Optimierung von Modellen ▪ Entwicklung mit Python oder R
15. Microsoft Cognitive Services
16. DEMO Cognitive Services
17. COMPUTER VISION MASCHINELLES SEHEN ▪ Klassifizierung ▪ „Ist auf dem Bild ein Hund oder eine Katze?“ ▪ Objekterkennung ▪ „Wo ist der Hund auf diesem Bild?“ ▪ Objektbeschreibung ▪ „Was ist auf dem Bild zu sehen?“ ▪ „Welche Emotionen hat eine Person?“ ▪ Identifizierung ▪ „Wer ist diese Person?“
18. WOZU KANN DAS GUT SEIN? Quelle: https://www.catalysts.cc/en/projects/computer-vision-or-quality-assurance
19. COGNITIVE SERVICES – COMPUTER VISION Berühmte Personen/Orte erkennen Bilder analysieren Text in Bildern lesen Miniaturansichten generieren Handschriftlichen Text lesen Videos analysieren https://azure.microsoft.com/de-de/services/cognitive-services/face
20. COGNITIVE SERVICES – GESICHTSERKENNUNG Gesichtsvergleich Emotionserkennung Gesichtserkennung Gesichtsbestimmung ähnliche Gesichter suchen Gesichtsgruppierung https://azure.microsoft.com/de-de/services/cognitive-services/face
21. DEMO Gesichtserkennung mit Cognitive Services
22. CUSTOM VISION HINTERGRUND ▪ Benutzerdefinierte Bild-/Objekterkennung ▪ Konfiguration über Web Site ▪ Training in der Cloud ▪ Export des Models QUELLE ▪ https://customvision.ai
23. CUSTOM VISION EXPORT ▪ iOS (CoreML) ▪ Android (TensorFlow) ▪ Windows (ONNX) ▪ Azure (Docker File) VERWENDUNG ▪ iOS Sample ▪ Android Sample ▪ ONNX Sample ▪ Xamarin iOS Sample
24. DEMO Custom Vision
25. NATURAL LANGUAGE PROCESSING (NLP) DEFINITION ▪ Die Verarbeitung natürlicher Sprache ▪ Sentiment Analysis ▪ Text Summerization ▪ Intent Detection
26. NATURAL LANGUAGE PROCESSING (NLP) ANWENDUNGSBEISPIELE ▪ Bots ▪ Supportanfragen per Mail oder Telefon ▪ Social Media Analyse ▪ Content Filter
27. NATURAL LANGUAGE PROCESSING (NLP) HERAUSFORDERUNGEN ▪ Sprache kann gesprochen oder geschrieben werden ▪ Texte mit unterschiedlicher Länge ▪ Erfassen des Sinns eines Textes ▪ Domänenspezifische Sprache
28. TOOLS & LIBRARIES COGNITIVE SERVICES ▪ Text Analytics API ▪ Link LUIS ▪ Language Understanding Intelligent Service ▪ www.luis.ai
29. COGNITIVE SERVICES - TEXT ANALYTICS API ZIEL ▪ Analysiert Text in verschiedenen Sprachen FEATURES ▪ Spracherkennung ▪ Erkennung von Schlüsselphrasen ▪ Extraktion der Entitäten ▪ Interpretation der Gefühlslage
30. DEMO Textanalyse mit der Text Analytics API
31. LUIS L A N G U A G E U N D E R S T A N D I N G Create your own LU model Train by providing examples Deploy to an HTTP endpoint and activate on any device Maintain model with ease
32. LUIS ZIEL ▪ Den Sinn des Textes zu verstehen ▪ Was hat der Anwender vor? ▪ Ein wiederverwendbares Model für die Texterkennung entwickeln ▪ Domänenspezifische Sprache abbilden ENTWICKLUNG ▪ Auf www.luis.ai registrieren ▪ App erstellen ▪ Domänenmodell erstellen oder vorhandene nutzen ▪ Model trainieren ▪ Model veröffentlichen
33. MODELL ERSTELLEN INTENT ▪ Eine Aktion, die der Anwender durchführen möchte ▪ „Gerät einschalten" ENTITIES ▪ Elemente die im Zentrum der Aktion stehen ▪ "Rechner" UTTERANCE ▪ Die vollständige Aussage des Benutzers ▪ "Luis, schalte den Rechner ein!"
34. DEMO Natural Language Processing mit LUIS
35. SPEECH SERVICES SPEECH TO TEXT ▪ Sprache-zu-Text-Übersetzung in Echtzeit ▪ Anpassen von Sprachstil, Wortschatz, Akzente und Hintergrundgeräuschen TEXT TO SPEECH ▪ Ansprache des Anwenders in natürlicher Sprache ▪ Übersetzung von Text in Sprache in Echtzeit ▪ Geschwindigkeit, Lautstärke und Ausdruck können angepasst werden SPEECH TRANSLATION ▪ Übersetzungen zwischen verschiedene Sprachen ▪ Ergebnisse in Sprache oder Text
36. DEMO Microsoft Translator
37. FAZIT MÖGLICHKEITEN ▪ ML Bietet Möglichkeiten jenseits einfacher Logik ▪ Software kann echte Intelligenz enthalten TOOLS UND LIBRARIES ▪ Die Cognitive Services bieten vortrainierte Modelle und spezialisierte Dienste ▪ Mit Custom Vision können auch eigene Modelle entwickelt und in die eigene App eingebunden werden ▪ LUIS bietet eine einfache Möglichkeit Lösungen zu entwickeln, die mit natürlicher Sprache arbeiten
38. RESSOURCEN ▪ Cognitive Services REST API samples in 4 languages https://github.com/Azure-Samples/cognitive-services-REST-api-samples ▪ Sample code for the Microsoft Cognitive Services Speech SDK https://github.com/Azure-Samples/cognitive-services-speech-sdk ▪ Samples for the Language Understanding Intelligent Service (LUIS) https://github.com/Azure-Samples/cognitive-services-language-understanding ▪ Microsoft Cloud Workshop - Cognitive services and deep learning https://github.com/microsoft/MCW-Cognitive-services-and-deep-learning
39. SPEECH & LANGUAGE SAMPLES ▪ https://github.com/Azure-Samples/cognitive-services-language-understanding ▪ https://github.com/Azure-Samples/Cognitive-Speech-TTS ▪ https://github.com/Azure-Samples/cognitive-services-speech-sdk
40. CUSTOM VISION SAMPLES ▪ https://github.com/Azure-Samples/cognitive-services-vision-csharp-sdk-quickstarts ▪ https://docs.microsoft.com/en-us/azure/cognitive-services/custom-vision- service/csharp-tutorial ▪ https://github.com/Azure-Samples/Custom-Vision-ONNX-UWP ▪ https://www.jimbobbennett.io ▪ https://github.com/jimbobbennett/Xam.Plugins.OnDeviceCustomVision LABS ▪ Add a machine learning model to a UWP app so that it can run offline on a Windows device
41. COGNITIVE SERVICES ▪ Text Analytics API https://docs.microsoft.com/de-de/azure/cognitive-services/text-analytics/overview ▪ Text Analytics Quickstart https://docs.microsoft.com/de-de/azure/cognitive-services/text-analytics/quickstarts/csharp
42. BILDREFERENZEN ▪ IconS made by Freepic from www.flaticon.com