Azure Cognitive Services - Machine Learning aus der Dose

Azure Cognitive Services - Machine Learning aus der Dose

32ae0ae04b5c4f1b29ee9e8826823fbc?s=128

Jörg Neumann

October 28, 2019
Tweet

Transcript

  1. JÖRG NEUMANN @JOERGNEUMANN AZURE COGNITIVE SERVICES MACHINE LEARNING AUS DER

    DOSE
  2. JÖRG NEUMANN THEMEN ▪ Frontend Technologies ▪ Mobile Development ▪

    Machine Learning ▪ Consulting, Coaching, Training KONTAKT ▪ Mail: neumann.joerg@outlook.de ▪ Twitter: @joergneumann ▪ GitHub: https://github.com/joergneumann ▪ Blog: http://www.headwriteline.blogspot.com
  3. “AI is going to disrupt every single business app—whether an

    industry vertical like banking, retail and health care, or a horizontal business process like sales, marketing and customer support.“ —Harry Shum, Microsoft Executive VP, AI and Research
  4. Neuronale Netzwerke sind die „Software 2.0“ —Andrej Karpathy, Director of

    Artificial Intelligence, Tesla
  5. ImageNet DATASET ▪ Enthält ca. 14 Mio. Bilder ▪ http://www.image-net.org

    CHALLENGES ▪ ImageNet Large Scale Visual Recognition Challenge (ILSVRC) ▪ Jährlicher Wettbewerb ▪ Object Classification ▪ Object Localization ▪ Object Detection
  6. ImageNet LSVRC 28,2% 25,7% 15,3% 14,8% 6,67% 3,57% 3% 2,3%

    ImageNet Classification top-5 error (%) NEC Xerox AlexNet ZFNet GoogleNet ResNet TSNet SENet 5-10% Human Performance 8 Layers 8 Layers 22 Layers 152 Layers Ensamble Ensamble
  7. SPEECH RECOGNITION DATASET ▪ Switchboard Dataset ▪ Sammlung von Telefongesprächen

    ▪ 2016 wurde erstmals eine Fehlerrate von ~6% bei der Worterkennung erreicht ~6% Human Performance
  8. NATURAL LANGUAGE PROCESSING (NLP) DATASET ▪ Stanford Question Answering Dataset

    (SQuAD) ▪ Fragen über Wikipedia-Artikel beantworten CHALLENGE ▪ Texte lesen und in Anschluss Fragen zu diesen beantworten ▪ 2018 wurde erstmals eine Rate von 82,6% erreicht (der Mensch schafft ~82,3%)
  9. WANN MACHINE LEARNING? EINSATZSZENARIEN ▪ Komplexität: Man kann es nicht

    programmieren (z.B. Bilderkennung, Spracherkennung) ▪ Menge: Man kann es nicht skalieren (z.B. Spam & Betrugsaufdeckung, Medizin) ▪ Personalisierung: Personenbezogene Lösungen entwickeln (z.B. Amazon, Netflix) ▪ Selbstlernend: Computer soll selbstständig Entscheidungen treffen (z.B. autonom fahrende Autos)
  10. EINSATZFÄLLE FÜR MACHINE LEARNING RECOMMENDATION SYSTEMS ▪ Personalisierte Vorschläge ▪

    Was gefällt anderen Benutzern?
  11. EINSATZFÄLLE FÜR MACHINE LEARNING BOTS ▪ Spracherkennung ▪ Verstehen der

    Intention ▪ Sentiment Analysis ROBOTER ▪ Bilderkennung ▪ Gesichter identifizieren ▪ Gestenerkennung ▪ Selbstständiges Bewegen
  12. EINSATZFÄLLE FÜR MACHINE LEARNING FRAUD DETECTION ▪ Ist eine Kreditkartentransaktion

    illegal? ▪ Wurde der Amazon Account gehackt? ANOMALY DETECTION ▪ Wird die Maschine bald ausfallen?
  13. findet Muster erkennt Muster stellt Daten bereit, prüft auf Muster

    WAS IST MACHINE LEARNING? DEFINITION ▪ Muster in Daten erkennen ▪ Vorhersagen treffen App Model Daten Algorithmus enthalten Muster
  14. Entwickler ▪ Grundlegendes Verständnis von ML ▪ Verwendung von Tools

    & Libraries ▪ Nutzung von vorgefertigten Modellen ▪ Entwicklung mit Java, C# oder JavaScript Data Scientist ▪ Tiefes Verständnis von ML ▪ Aufbau neuronaler Netze ▪ Entwicklung und Optimierung von Modellen ▪ Entwicklung mit Python oder R
  15. Microsoft Cognitive Services

  16. DEMO Cognitive Services

  17. COMPUTER VISION MASCHINELLES SEHEN ▪ Klassifizierung ▪ „Ist auf dem

    Bild ein Hund oder eine Katze?“ ▪ Objekterkennung ▪ „Wo ist der Hund auf diesem Bild?“ ▪ Objektbeschreibung ▪ „Was ist auf dem Bild zu sehen?“ ▪ „Welche Emotionen hat eine Person?“ ▪ Identifizierung ▪ „Wer ist diese Person?“
  18. WOZU KANN DAS GUT SEIN? Quelle: https://www.catalysts.cc/en/projects/computer-vision-or-quality-assurance

  19. COGNITIVE SERVICES – COMPUTER VISION Berühmte Personen/Orte erkennen Bilder analysieren

    Text in Bildern lesen Miniaturansichten generieren Handschriftlichen Text lesen Videos analysieren https://azure.microsoft.com/de-de/services/cognitive-services/face
  20. COGNITIVE SERVICES – GESICHTSERKENNUNG Gesichtsvergleich Emotionserkennung Gesichtserkennung Gesichtsbestimmung ähnliche Gesichter

    suchen Gesichtsgruppierung https://azure.microsoft.com/de-de/services/cognitive-services/face
  21. DEMO Gesichtserkennung mit Cognitive Services

  22. CUSTOM VISION HINTERGRUND ▪ Benutzerdefinierte Bild-/Objekterkennung ▪ Konfiguration über Web

    Site ▪ Training in der Cloud ▪ Export des Models QUELLE ▪ https://customvision.ai
  23. CUSTOM VISION EXPORT ▪ iOS (CoreML) ▪ Android (TensorFlow) ▪

    Windows (ONNX) ▪ Azure (Docker File) VERWENDUNG ▪ iOS Sample ▪ Android Sample ▪ ONNX Sample ▪ Xamarin iOS Sample
  24. DEMO Custom Vision

  25. NATURAL LANGUAGE PROCESSING (NLP) DEFINITION ▪ Die Verarbeitung natürlicher Sprache

    ▪ Sentiment Analysis ▪ Text Summerization ▪ Intent Detection
  26. NATURAL LANGUAGE PROCESSING (NLP) ANWENDUNGSBEISPIELE ▪ Bots ▪ Supportanfragen per

    Mail oder Telefon ▪ Social Media Analyse ▪ Content Filter
  27. NATURAL LANGUAGE PROCESSING (NLP) HERAUSFORDERUNGEN ▪ Sprache kann gesprochen oder

    geschrieben werden ▪ Texte mit unterschiedlicher Länge ▪ Erfassen des Sinns eines Textes ▪ Domänenspezifische Sprache
  28. TOOLS & LIBRARIES COGNITIVE SERVICES ▪ Text Analytics API ▪

    Link LUIS ▪ Language Understanding Intelligent Service ▪ www.luis.ai
  29. COGNITIVE SERVICES - TEXT ANALYTICS API ZIEL ▪ Analysiert Text

    in verschiedenen Sprachen FEATURES ▪ Spracherkennung ▪ Erkennung von Schlüsselphrasen ▪ Extraktion der Entitäten ▪ Interpretation der Gefühlslage
  30. DEMO Textanalyse mit der Text Analytics API

  31. LUIS L A N G U A G E U

    N D E R S T A N D I N G Create your own LU model Train by providing examples Deploy to an HTTP endpoint and activate on any device Maintain model with ease
  32. LUIS ZIEL ▪ Den Sinn des Textes zu verstehen ▪

    Was hat der Anwender vor? ▪ Ein wiederverwendbares Model für die Texterkennung entwickeln ▪ Domänenspezifische Sprache abbilden ENTWICKLUNG ▪ Auf www.luis.ai registrieren ▪ App erstellen ▪ Domänenmodell erstellen oder vorhandene nutzen ▪ Model trainieren ▪ Model veröffentlichen
  33. MODELL ERSTELLEN INTENT ▪ Eine Aktion, die der Anwender durchführen

    möchte ▪ „Gerät einschalten" ENTITIES ▪ Elemente die im Zentrum der Aktion stehen ▪ "Rechner" UTTERANCE ▪ Die vollständige Aussage des Benutzers ▪ "Luis, schalte den Rechner ein!"
  34. DEMO Natural Language Processing mit LUIS

  35. SPEECH SERVICES SPEECH TO TEXT ▪ Sprache-zu-Text-Übersetzung in Echtzeit ▪

    Anpassen von Sprachstil, Wortschatz, Akzente und Hintergrundgeräuschen TEXT TO SPEECH ▪ Ansprache des Anwenders in natürlicher Sprache ▪ Übersetzung von Text in Sprache in Echtzeit ▪ Geschwindigkeit, Lautstärke und Ausdruck können angepasst werden SPEECH TRANSLATION ▪ Übersetzungen zwischen verschiedene Sprachen ▪ Ergebnisse in Sprache oder Text
  36. DEMO Microsoft Translator

  37. FAZIT MÖGLICHKEITEN ▪ ML Bietet Möglichkeiten jenseits einfacher Logik ▪

    Software kann echte Intelligenz enthalten TOOLS UND LIBRARIES ▪ Die Cognitive Services bieten vortrainierte Modelle und spezialisierte Dienste ▪ Mit Custom Vision können auch eigene Modelle entwickelt und in die eigene App eingebunden werden ▪ LUIS bietet eine einfache Möglichkeit Lösungen zu entwickeln, die mit natürlicher Sprache arbeiten
  38. RESSOURCEN ▪ Cognitive Services REST API samples in 4 languages

    https://github.com/Azure-Samples/cognitive-services-REST-api-samples ▪ Sample code for the Microsoft Cognitive Services Speech SDK https://github.com/Azure-Samples/cognitive-services-speech-sdk ▪ Samples for the Language Understanding Intelligent Service (LUIS) https://github.com/Azure-Samples/cognitive-services-language-understanding ▪ Microsoft Cloud Workshop - Cognitive services and deep learning https://github.com/microsoft/MCW-Cognitive-services-and-deep-learning
  39. SPEECH & LANGUAGE SAMPLES ▪ https://github.com/Azure-Samples/cognitive-services-language-understanding ▪ https://github.com/Azure-Samples/Cognitive-Speech-TTS ▪ https://github.com/Azure-Samples/cognitive-services-speech-sdk

  40. CUSTOM VISION SAMPLES ▪ https://github.com/Azure-Samples/cognitive-services-vision-csharp-sdk-quickstarts ▪ https://docs.microsoft.com/en-us/azure/cognitive-services/custom-vision- service/csharp-tutorial ▪ https://github.com/Azure-Samples/Custom-Vision-ONNX-UWP

    ▪ https://www.jimbobbennett.io ▪ https://github.com/jimbobbennett/Xam.Plugins.OnDeviceCustomVision LABS ▪ Add a machine learning model to a UWP app so that it can run offline on a Windows device
  41. COGNITIVE SERVICES ▪ Text Analytics API https://docs.microsoft.com/de-de/azure/cognitive-services/text-analytics/overview ▪ Text Analytics

    Quickstart https://docs.microsoft.com/de-de/azure/cognitive-services/text-analytics/quickstarts/csharp
  42. BILDREFERENZEN ▪ IconS made by Freepic from www.flaticon.com