Azure Cognitive Services - Machine Learning aus der Dose

Azure Cognitive Services - Machine Learning aus der Dose

32ae0ae04b5c4f1b29ee9e8826823fbc?s=128

Jörg Neumann

October 28, 2019
Tweet

Transcript

  1. 2.

    JÖRG NEUMANN THEMEN ▪ Frontend Technologies ▪ Mobile Development ▪

    Machine Learning ▪ Consulting, Coaching, Training KONTAKT ▪ Mail: neumann.joerg@outlook.de ▪ Twitter: @joergneumann ▪ GitHub: https://github.com/joergneumann ▪ Blog: http://www.headwriteline.blogspot.com
  2. 3.

    “AI is going to disrupt every single business app—whether an

    industry vertical like banking, retail and health care, or a horizontal business process like sales, marketing and customer support.“ —Harry Shum, Microsoft Executive VP, AI and Research
  3. 5.

    ImageNet DATASET ▪ Enthält ca. 14 Mio. Bilder ▪ http://www.image-net.org

    CHALLENGES ▪ ImageNet Large Scale Visual Recognition Challenge (ILSVRC) ▪ Jährlicher Wettbewerb ▪ Object Classification ▪ Object Localization ▪ Object Detection
  4. 6.

    ImageNet LSVRC 28,2% 25,7% 15,3% 14,8% 6,67% 3,57% 3% 2,3%

    ImageNet Classification top-5 error (%) NEC Xerox AlexNet ZFNet GoogleNet ResNet TSNet SENet 5-10% Human Performance 8 Layers 8 Layers 22 Layers 152 Layers Ensamble Ensamble
  5. 7.

    SPEECH RECOGNITION DATASET ▪ Switchboard Dataset ▪ Sammlung von Telefongesprächen

    ▪ 2016 wurde erstmals eine Fehlerrate von ~6% bei der Worterkennung erreicht ~6% Human Performance
  6. 8.

    NATURAL LANGUAGE PROCESSING (NLP) DATASET ▪ Stanford Question Answering Dataset

    (SQuAD) ▪ Fragen über Wikipedia-Artikel beantworten CHALLENGE ▪ Texte lesen und in Anschluss Fragen zu diesen beantworten ▪ 2018 wurde erstmals eine Rate von 82,6% erreicht (der Mensch schafft ~82,3%)
  7. 9.

    WANN MACHINE LEARNING? EINSATZSZENARIEN ▪ Komplexität: Man kann es nicht

    programmieren (z.B. Bilderkennung, Spracherkennung) ▪ Menge: Man kann es nicht skalieren (z.B. Spam & Betrugsaufdeckung, Medizin) ▪ Personalisierung: Personenbezogene Lösungen entwickeln (z.B. Amazon, Netflix) ▪ Selbstlernend: Computer soll selbstständig Entscheidungen treffen (z.B. autonom fahrende Autos)
  8. 11.

    EINSATZFÄLLE FÜR MACHINE LEARNING BOTS ▪ Spracherkennung ▪ Verstehen der

    Intention ▪ Sentiment Analysis ROBOTER ▪ Bilderkennung ▪ Gesichter identifizieren ▪ Gestenerkennung ▪ Selbstständiges Bewegen
  9. 12.

    EINSATZFÄLLE FÜR MACHINE LEARNING FRAUD DETECTION ▪ Ist eine Kreditkartentransaktion

    illegal? ▪ Wurde der Amazon Account gehackt? ANOMALY DETECTION ▪ Wird die Maschine bald ausfallen?
  10. 13.

    findet Muster erkennt Muster stellt Daten bereit, prüft auf Muster

    WAS IST MACHINE LEARNING? DEFINITION ▪ Muster in Daten erkennen ▪ Vorhersagen treffen App Model Daten Algorithmus enthalten Muster
  11. 14.

    Entwickler ▪ Grundlegendes Verständnis von ML ▪ Verwendung von Tools

    & Libraries ▪ Nutzung von vorgefertigten Modellen ▪ Entwicklung mit Java, C# oder JavaScript Data Scientist ▪ Tiefes Verständnis von ML ▪ Aufbau neuronaler Netze ▪ Entwicklung und Optimierung von Modellen ▪ Entwicklung mit Python oder R
  12. 17.

    COMPUTER VISION MASCHINELLES SEHEN ▪ Klassifizierung ▪ „Ist auf dem

    Bild ein Hund oder eine Katze?“ ▪ Objekterkennung ▪ „Wo ist der Hund auf diesem Bild?“ ▪ Objektbeschreibung ▪ „Was ist auf dem Bild zu sehen?“ ▪ „Welche Emotionen hat eine Person?“ ▪ Identifizierung ▪ „Wer ist diese Person?“
  13. 19.

    COGNITIVE SERVICES – COMPUTER VISION Berühmte Personen/Orte erkennen Bilder analysieren

    Text in Bildern lesen Miniaturansichten generieren Handschriftlichen Text lesen Videos analysieren https://azure.microsoft.com/de-de/services/cognitive-services/face
  14. 20.

    COGNITIVE SERVICES – GESICHTSERKENNUNG Gesichtsvergleich Emotionserkennung Gesichtserkennung Gesichtsbestimmung ähnliche Gesichter

    suchen Gesichtsgruppierung https://azure.microsoft.com/de-de/services/cognitive-services/face
  15. 22.

    CUSTOM VISION HINTERGRUND ▪ Benutzerdefinierte Bild-/Objekterkennung ▪ Konfiguration über Web

    Site ▪ Training in der Cloud ▪ Export des Models QUELLE ▪ https://customvision.ai
  16. 23.

    CUSTOM VISION EXPORT ▪ iOS (CoreML) ▪ Android (TensorFlow) ▪

    Windows (ONNX) ▪ Azure (Docker File) VERWENDUNG ▪ iOS Sample ▪ Android Sample ▪ ONNX Sample ▪ Xamarin iOS Sample
  17. 25.

    NATURAL LANGUAGE PROCESSING (NLP) DEFINITION ▪ Die Verarbeitung natürlicher Sprache

    ▪ Sentiment Analysis ▪ Text Summerization ▪ Intent Detection
  18. 26.

    NATURAL LANGUAGE PROCESSING (NLP) ANWENDUNGSBEISPIELE ▪ Bots ▪ Supportanfragen per

    Mail oder Telefon ▪ Social Media Analyse ▪ Content Filter
  19. 27.

    NATURAL LANGUAGE PROCESSING (NLP) HERAUSFORDERUNGEN ▪ Sprache kann gesprochen oder

    geschrieben werden ▪ Texte mit unterschiedlicher Länge ▪ Erfassen des Sinns eines Textes ▪ Domänenspezifische Sprache
  20. 28.

    TOOLS & LIBRARIES COGNITIVE SERVICES ▪ Text Analytics API ▪

    Link LUIS ▪ Language Understanding Intelligent Service ▪ www.luis.ai
  21. 29.

    COGNITIVE SERVICES - TEXT ANALYTICS API ZIEL ▪ Analysiert Text

    in verschiedenen Sprachen FEATURES ▪ Spracherkennung ▪ Erkennung von Schlüsselphrasen ▪ Extraktion der Entitäten ▪ Interpretation der Gefühlslage
  22. 31.

    LUIS L A N G U A G E U

    N D E R S T A N D I N G Create your own LU model Train by providing examples Deploy to an HTTP endpoint and activate on any device Maintain model with ease
  23. 32.

    LUIS ZIEL ▪ Den Sinn des Textes zu verstehen ▪

    Was hat der Anwender vor? ▪ Ein wiederverwendbares Model für die Texterkennung entwickeln ▪ Domänenspezifische Sprache abbilden ENTWICKLUNG ▪ Auf www.luis.ai registrieren ▪ App erstellen ▪ Domänenmodell erstellen oder vorhandene nutzen ▪ Model trainieren ▪ Model veröffentlichen
  24. 33.

    MODELL ERSTELLEN INTENT ▪ Eine Aktion, die der Anwender durchführen

    möchte ▪ „Gerät einschalten" ENTITIES ▪ Elemente die im Zentrum der Aktion stehen ▪ "Rechner" UTTERANCE ▪ Die vollständige Aussage des Benutzers ▪ "Luis, schalte den Rechner ein!"
  25. 35.

    SPEECH SERVICES SPEECH TO TEXT ▪ Sprache-zu-Text-Übersetzung in Echtzeit ▪

    Anpassen von Sprachstil, Wortschatz, Akzente und Hintergrundgeräuschen TEXT TO SPEECH ▪ Ansprache des Anwenders in natürlicher Sprache ▪ Übersetzung von Text in Sprache in Echtzeit ▪ Geschwindigkeit, Lautstärke und Ausdruck können angepasst werden SPEECH TRANSLATION ▪ Übersetzungen zwischen verschiedene Sprachen ▪ Ergebnisse in Sprache oder Text
  26. 37.

    FAZIT MÖGLICHKEITEN ▪ ML Bietet Möglichkeiten jenseits einfacher Logik ▪

    Software kann echte Intelligenz enthalten TOOLS UND LIBRARIES ▪ Die Cognitive Services bieten vortrainierte Modelle und spezialisierte Dienste ▪ Mit Custom Vision können auch eigene Modelle entwickelt und in die eigene App eingebunden werden ▪ LUIS bietet eine einfache Möglichkeit Lösungen zu entwickeln, die mit natürlicher Sprache arbeiten
  27. 38.

    RESSOURCEN ▪ Cognitive Services REST API samples in 4 languages

    https://github.com/Azure-Samples/cognitive-services-REST-api-samples ▪ Sample code for the Microsoft Cognitive Services Speech SDK https://github.com/Azure-Samples/cognitive-services-speech-sdk ▪ Samples for the Language Understanding Intelligent Service (LUIS) https://github.com/Azure-Samples/cognitive-services-language-understanding ▪ Microsoft Cloud Workshop - Cognitive services and deep learning https://github.com/microsoft/MCW-Cognitive-services-and-deep-learning
  28. 40.

    CUSTOM VISION SAMPLES ▪ https://github.com/Azure-Samples/cognitive-services-vision-csharp-sdk-quickstarts ▪ https://docs.microsoft.com/en-us/azure/cognitive-services/custom-vision- service/csharp-tutorial ▪ https://github.com/Azure-Samples/Custom-Vision-ONNX-UWP

    ▪ https://www.jimbobbennett.io ▪ https://github.com/jimbobbennett/Xam.Plugins.OnDeviceCustomVision LABS ▪ Add a machine learning model to a UWP app so that it can run offline on a Windows device
  29. 41.

    COGNITIVE SERVICES ▪ Text Analytics API https://docs.microsoft.com/de-de/azure/cognitive-services/text-analytics/overview ▪ Text Analytics

    Quickstart https://docs.microsoft.com/de-de/azure/cognitive-services/text-analytics/quickstarts/csharp