Azure Cognitive Services - Machine Learning aus der Dose

Slide 1

Slide 1 text

JÖRG NEUMANN @JOERGNEUMANN AZURE COGNITIVE SERVICES MACHINE LEARNING AUS DER DOSE

Slide 2

Slide 2 text

JÖRG NEUMANN THEMEN ▪ Frontend Technologies ▪ Mobile Development ▪ Machine Learning ▪ Consulting, Coaching, Training KONTAKT ▪ Mail: neumann.joerg@outlook.de ▪ Twitter: @joergneumann ▪ GitHub: https://github.com/joergneumann ▪ Blog: http://www.headwriteline.blogspot.com

Slide 3

Slide 3 text

“AI is going to disrupt every single business app—whether an industry vertical like banking, retail and health care, or a horizontal business process like sales, marketing and customer support.“ —Harry Shum, Microsoft Executive VP, AI and Research

Slide 4

Slide 4 text

Neuronale Netzwerke sind die „Software 2.0“ —Andrej Karpathy, Director of Artificial Intelligence, Tesla

Slide 5

Slide 5 text

ImageNet DATASET ▪ Enthält ca. 14 Mio. Bilder ▪ http://www.image-net.org CHALLENGES ▪ ImageNet Large Scale Visual Recognition Challenge (ILSVRC) ▪ Jährlicher Wettbewerb ▪ Object Classification ▪ Object Localization ▪ Object Detection

Slide 6

Slide 6 text

ImageNet LSVRC 28,2% 25,7% 15,3% 14,8% 6,67% 3,57% 3% 2,3% ImageNet Classification top-5 error (%) NEC Xerox AlexNet ZFNet GoogleNet ResNet TSNet SENet 5-10% Human Performance 8 Layers 8 Layers 22 Layers 152 Layers Ensamble Ensamble

Slide 7

Slide 7 text

SPEECH RECOGNITION DATASET ▪ Switchboard Dataset ▪ Sammlung von Telefongesprächen ▪ 2016 wurde erstmals eine Fehlerrate von ~6% bei der Worterkennung erreicht ~6% Human Performance

Slide 8

Slide 8 text

NATURAL LANGUAGE PROCESSING (NLP) DATASET ▪ Stanford Question Answering Dataset (SQuAD) ▪ Fragen über Wikipedia-Artikel beantworten CHALLENGE ▪ Texte lesen und in Anschluss Fragen zu diesen beantworten ▪ 2018 wurde erstmals eine Rate von 82,6% erreicht (der Mensch schafft ~82,3%)

Slide 9

Slide 9 text

WANN MACHINE LEARNING? EINSATZSZENARIEN ▪ Komplexität: Man kann es nicht programmieren (z.B. Bilderkennung, Spracherkennung) ▪ Menge: Man kann es nicht skalieren (z.B. Spam & Betrugsaufdeckung, Medizin) ▪ Personalisierung: Personenbezogene Lösungen entwickeln (z.B. Amazon, Netflix) ▪ Selbstlernend: Computer soll selbstständig Entscheidungen treffen (z.B. autonom fahrende Autos)

Slide 10

Slide 10 text

EINSATZFÄLLE FÜR MACHINE LEARNING RECOMMENDATION SYSTEMS ▪ Personalisierte Vorschläge ▪ Was gefällt anderen Benutzern?

Slide 11

Slide 11 text

EINSATZFÄLLE FÜR MACHINE LEARNING BOTS ▪ Spracherkennung ▪ Verstehen der Intention ▪ Sentiment Analysis ROBOTER ▪ Bilderkennung ▪ Gesichter identifizieren ▪ Gestenerkennung ▪ Selbstständiges Bewegen

Slide 12

Slide 12 text

EINSATZFÄLLE FÜR MACHINE LEARNING FRAUD DETECTION ▪ Ist eine Kreditkartentransaktion illegal? ▪ Wurde der Amazon Account gehackt? ANOMALY DETECTION ▪ Wird die Maschine bald ausfallen?

Slide 13

Slide 13 text

findet Muster erkennt Muster stellt Daten bereit, prüft auf Muster WAS IST MACHINE LEARNING? DEFINITION ▪ Muster in Daten erkennen ▪ Vorhersagen treffen App Model Daten Algorithmus enthalten Muster

Slide 14

Slide 14 text

Entwickler ▪ Grundlegendes Verständnis von ML ▪ Verwendung von Tools & Libraries ▪ Nutzung von vorgefertigten Modellen ▪ Entwicklung mit Java, C# oder JavaScript Data Scientist ▪ Tiefes Verständnis von ML ▪ Aufbau neuronaler Netze ▪ Entwicklung und Optimierung von Modellen ▪ Entwicklung mit Python oder R

Slide 15

Slide 15 text

Microsoft Cognitive Services

Slide 16

Slide 16 text

DEMO Cognitive Services

Slide 17

Slide 17 text

COMPUTER VISION MASCHINELLES SEHEN ▪ Klassifizierung ▪ „Ist auf dem Bild ein Hund oder eine Katze?“ ▪ Objekterkennung ▪ „Wo ist der Hund auf diesem Bild?“ ▪ Objektbeschreibung ▪ „Was ist auf dem Bild zu sehen?“ ▪ „Welche Emotionen hat eine Person?“ ▪ Identifizierung ▪ „Wer ist diese Person?“

Slide 18

Slide 18 text

WOZU KANN DAS GUT SEIN? Quelle: https://www.catalysts.cc/en/projects/computer-vision-or-quality-assurance

Slide 19

Slide 19 text

COGNITIVE SERVICES – COMPUTER VISION Berühmte Personen/Orte erkennen Bilder analysieren Text in Bildern lesen Miniaturansichten generieren Handschriftlichen Text lesen Videos analysieren https://azure.microsoft.com/de-de/services/cognitive-services/face

Slide 20

Slide 20 text

COGNITIVE SERVICES – GESICHTSERKENNUNG Gesichtsvergleich Emotionserkennung Gesichtserkennung Gesichtsbestimmung ähnliche Gesichter suchen Gesichtsgruppierung https://azure.microsoft.com/de-de/services/cognitive-services/face

Slide 21

Slide 21 text

DEMO Gesichtserkennung mit Cognitive Services

Slide 22

Slide 22 text

CUSTOM VISION HINTERGRUND ▪ Benutzerdefinierte Bild-/Objekterkennung ▪ Konfiguration über Web Site ▪ Training in der Cloud ▪ Export des Models QUELLE ▪ https://customvision.ai

Slide 23

Slide 23 text

CUSTOM VISION EXPORT ▪ iOS (CoreML) ▪ Android (TensorFlow) ▪ Windows (ONNX) ▪ Azure (Docker File) VERWENDUNG ▪ iOS Sample ▪ Android Sample ▪ ONNX Sample ▪ Xamarin iOS Sample

Slide 24

Slide 24 text

DEMO Custom Vision

Slide 25

Slide 25 text

NATURAL LANGUAGE PROCESSING (NLP) DEFINITION ▪ Die Verarbeitung natürlicher Sprache ▪ Sentiment Analysis ▪ Text Summerization ▪ Intent Detection

Slide 26

Slide 26 text

NATURAL LANGUAGE PROCESSING (NLP) ANWENDUNGSBEISPIELE ▪ Bots ▪ Supportanfragen per Mail oder Telefon ▪ Social Media Analyse ▪ Content Filter

Slide 27

Slide 27 text

NATURAL LANGUAGE PROCESSING (NLP) HERAUSFORDERUNGEN ▪ Sprache kann gesprochen oder geschrieben werden ▪ Texte mit unterschiedlicher Länge ▪ Erfassen des Sinns eines Textes ▪ Domänenspezifische Sprache

Slide 28

Slide 28 text

TOOLS & LIBRARIES COGNITIVE SERVICES ▪ Text Analytics API ▪ Link LUIS ▪ Language Understanding Intelligent Service ▪ www.luis.ai

Slide 29

Slide 29 text

COGNITIVE SERVICES - TEXT ANALYTICS API ZIEL ▪ Analysiert Text in verschiedenen Sprachen FEATURES ▪ Spracherkennung ▪ Erkennung von Schlüsselphrasen ▪ Extraktion der Entitäten ▪ Interpretation der Gefühlslage

Slide 30

Slide 30 text

DEMO Textanalyse mit der Text Analytics API

Slide 31

Slide 31 text

LUIS L A N G U A G E U N D E R S T A N D I N G Create your own LU model Train by providing examples Deploy to an HTTP endpoint and activate on any device Maintain model with ease

Slide 32

Slide 32 text

LUIS ZIEL ▪ Den Sinn des Textes zu verstehen ▪ Was hat der Anwender vor? ▪ Ein wiederverwendbares Model für die Texterkennung entwickeln ▪ Domänenspezifische Sprache abbilden ENTWICKLUNG ▪ Auf www.luis.ai registrieren ▪ App erstellen ▪ Domänenmodell erstellen oder vorhandene nutzen ▪ Model trainieren ▪ Model veröffentlichen

Slide 33

Slide 33 text

MODELL ERSTELLEN INTENT ▪ Eine Aktion, die der Anwender durchführen möchte ▪ „Gerät einschalten" ENTITIES ▪ Elemente die im Zentrum der Aktion stehen ▪ "Rechner" UTTERANCE ▪ Die vollständige Aussage des Benutzers ▪ "Luis, schalte den Rechner ein!"

Slide 34

Slide 34 text

DEMO Natural Language Processing mit LUIS

Slide 35

Slide 35 text

SPEECH SERVICES SPEECH TO TEXT ▪ Sprache-zu-Text-Übersetzung in Echtzeit ▪ Anpassen von Sprachstil, Wortschatz, Akzente und Hintergrundgeräuschen TEXT TO SPEECH ▪ Ansprache des Anwenders in natürlicher Sprache ▪ Übersetzung von Text in Sprache in Echtzeit ▪ Geschwindigkeit, Lautstärke und Ausdruck können angepasst werden SPEECH TRANSLATION ▪ Übersetzungen zwischen verschiedene Sprachen ▪ Ergebnisse in Sprache oder Text

Slide 36

Slide 36 text

DEMO Microsoft Translator

Slide 37

Slide 37 text

FAZIT MÖGLICHKEITEN ▪ ML Bietet Möglichkeiten jenseits einfacher Logik ▪ Software kann echte Intelligenz enthalten TOOLS UND LIBRARIES ▪ Die Cognitive Services bieten vortrainierte Modelle und spezialisierte Dienste ▪ Mit Custom Vision können auch eigene Modelle entwickelt und in die eigene App eingebunden werden ▪ LUIS bietet eine einfache Möglichkeit Lösungen zu entwickeln, die mit natürlicher Sprache arbeiten

Slide 38

Slide 38 text

RESSOURCEN ▪ Cognitive Services REST API samples in 4 languages https://github.com/Azure-Samples/cognitive-services-REST-api-samples ▪ Sample code for the Microsoft Cognitive Services Speech SDK https://github.com/Azure-Samples/cognitive-services-speech-sdk ▪ Samples for the Language Understanding Intelligent Service (LUIS) https://github.com/Azure-Samples/cognitive-services-language-understanding ▪ Microsoft Cloud Workshop - Cognitive services and deep learning https://github.com/microsoft/MCW-Cognitive-services-and-deep-learning

Slide 39

Slide 39 text

SPEECH & LANGUAGE SAMPLES ▪ https://github.com/Azure-Samples/cognitive-services-language-understanding ▪ https://github.com/Azure-Samples/Cognitive-Speech-TTS ▪ https://github.com/Azure-Samples/cognitive-services-speech-sdk

Slide 40

Slide 40 text

CUSTOM VISION SAMPLES ▪ https://github.com/Azure-Samples/cognitive-services-vision-csharp-sdk-quickstarts ▪ https://docs.microsoft.com/en-us/azure/cognitive-services/custom-vision- service/csharp-tutorial ▪ https://github.com/Azure-Samples/Custom-Vision-ONNX-UWP ▪ https://www.jimbobbennett.io ▪ https://github.com/jimbobbennett/Xam.Plugins.OnDeviceCustomVision LABS ▪ Add a machine learning model to a UWP app so that it can run offline on a Windows device

Slide 41

Slide 41 text

COGNITIVE SERVICES ▪ Text Analytics API https://docs.microsoft.com/de-de/azure/cognitive-services/text-analytics/overview ▪ Text Analytics Quickstart https://docs.microsoft.com/de-de/azure/cognitive-services/text-analytics/quickstarts/csharp

Slide 42

Slide 42 text

BILDREFERENZEN ▪ IconS made by Freepic from www.flaticon.com