Share
Embed
Transcript
42 slides
-
JÖRG NEUMANN THEMEN ▪ Frontend Technologies ▪ Mobile Development ▪
Machine Learning ▪ Consulting, Coaching, Training KONTAKT ▪ Mail: [email protected] ▪ Twitter: @joergneumann ▪ GitHub: https://github.com/joergneumann ▪ Blog: http://www.headwriteline.blogspot.com -
“AI is going to disrupt every single business app—whether an
industry vertical like banking, retail and health care, or a horizontal business process like sales, marketing and customer support.“ —Harry Shum, Microsoft Executive VP, AI and Research -
Neuronale Netzwerke sind die „Software 2.0“ —Andrej Karpathy, Director of
Artificial Intelligence, Tesla -
ImageNet DATASET ▪ Enthält ca. 14 Mio. Bilder ▪ http://www.image-net.org
CHALLENGES ▪ ImageNet Large Scale Visual Recognition Challenge (ILSVRC) ▪ Jährlicher Wettbewerb ▪ Object Classification ▪ Object Localization ▪ Object Detection -
ImageNet LSVRC 28,2% 25,7% 15,3% 14,8% 6,67% 3,57% 3% 2,3%
ImageNet Classification top-5 error (%) NEC Xerox AlexNet ZFNet GoogleNet ResNet TSNet SENet 5-10% Human Performance 8 Layers 8 Layers 22 Layers 152 Layers Ensamble Ensamble -
SPEECH RECOGNITION DATASET ▪ Switchboard Dataset ▪ Sammlung von Telefongesprächen
▪ 2016 wurde erstmals eine Fehlerrate von ~6% bei der Worterkennung erreicht ~6% Human Performance -
NATURAL LANGUAGE PROCESSING (NLP) DATASET ▪ Stanford Question Answering Dataset
(SQuAD) ▪ Fragen über Wikipedia-Artikel beantworten CHALLENGE ▪ Texte lesen und in Anschluss Fragen zu diesen beantworten ▪ 2018 wurde erstmals eine Rate von 82,6% erreicht (der Mensch schafft ~82,3%) -
WANN MACHINE LEARNING? EINSATZSZENARIEN ▪ Komplexität: Man kann es nicht
programmieren (z.B. Bilderkennung, Spracherkennung) ▪ Menge: Man kann es nicht skalieren (z.B. Spam & Betrugsaufdeckung, Medizin) ▪ Personalisierung: Personenbezogene Lösungen entwickeln (z.B. Amazon, Netflix) ▪ Selbstlernend: Computer soll selbstständig Entscheidungen treffen (z.B. autonom fahrende Autos) -
EINSATZFÄLLE FÜR MACHINE LEARNING RECOMMENDATION SYSTEMS ▪ Personalisierte Vorschläge ▪
Was gefällt anderen Benutzern? -
EINSATZFÄLLE FÜR MACHINE LEARNING BOTS ▪ Spracherkennung ▪ Verstehen der
Intention ▪ Sentiment Analysis ROBOTER ▪ Bilderkennung ▪ Gesichter identifizieren ▪ Gestenerkennung ▪ Selbstständiges Bewegen -
EINSATZFÄLLE FÜR MACHINE LEARNING FRAUD DETECTION ▪ Ist eine Kreditkartentransaktion
illegal? ▪ Wurde der Amazon Account gehackt? ANOMALY DETECTION ▪ Wird die Maschine bald ausfallen? -
findet Muster erkennt Muster stellt Daten bereit, prüft auf Muster
WAS IST MACHINE LEARNING? DEFINITION ▪ Muster in Daten erkennen ▪ Vorhersagen treffen App Model Daten Algorithmus enthalten Muster -
Entwickler ▪ Grundlegendes Verständnis von ML ▪ Verwendung von Tools
& Libraries ▪ Nutzung von vorgefertigten Modellen ▪ Entwicklung mit Java, C# oder JavaScript Data Scientist ▪ Tiefes Verständnis von ML ▪ Aufbau neuronaler Netze ▪ Entwicklung und Optimierung von Modellen ▪ Entwicklung mit Python oder R -
COMPUTER VISION MASCHINELLES SEHEN ▪ Klassifizierung ▪ „Ist auf dem
Bild ein Hund oder eine Katze?“ ▪ Objekterkennung ▪ „Wo ist der Hund auf diesem Bild?“ ▪ Objektbeschreibung ▪ „Was ist auf dem Bild zu sehen?“ ▪ „Welche Emotionen hat eine Person?“ ▪ Identifizierung ▪ „Wer ist diese Person?“ -
COGNITIVE SERVICES – COMPUTER VISION Berühmte Personen/Orte erkennen Bilder analysieren
Text in Bildern lesen Miniaturansichten generieren Handschriftlichen Text lesen Videos analysieren https://azure.microsoft.com/de-de/services/cognitive-services/face -
COGNITIVE SERVICES – GESICHTSERKENNUNG Gesichtsvergleich Emotionserkennung Gesichtserkennung Gesichtsbestimmung ähnliche Gesichter
suchen Gesichtsgruppierung https://azure.microsoft.com/de-de/services/cognitive-services/face -
CUSTOM VISION HINTERGRUND ▪ Benutzerdefinierte Bild-/Objekterkennung ▪ Konfiguration über Web
Site ▪ Training in der Cloud ▪ Export des Models QUELLE ▪ https://customvision.ai -
CUSTOM VISION EXPORT ▪ iOS (CoreML) ▪ Android (TensorFlow) ▪
Windows (ONNX) ▪ Azure (Docker File) VERWENDUNG ▪ iOS Sample ▪ Android Sample ▪ ONNX Sample ▪ Xamarin iOS Sample -
NATURAL LANGUAGE PROCESSING (NLP) DEFINITION ▪ Die Verarbeitung natürlicher Sprache
▪ Sentiment Analysis ▪ Text Summerization ▪ Intent Detection -
NATURAL LANGUAGE PROCESSING (NLP) ANWENDUNGSBEISPIELE ▪ Bots ▪ Supportanfragen per
Mail oder Telefon ▪ Social Media Analyse ▪ Content Filter -
NATURAL LANGUAGE PROCESSING (NLP) HERAUSFORDERUNGEN ▪ Sprache kann gesprochen oder
geschrieben werden ▪ Texte mit unterschiedlicher Länge ▪ Erfassen des Sinns eines Textes ▪ Domänenspezifische Sprache -
TOOLS & LIBRARIES COGNITIVE SERVICES ▪ Text Analytics API ▪
Link LUIS ▪ Language Understanding Intelligent Service ▪ www.luis.ai -
COGNITIVE SERVICES - TEXT ANALYTICS API ZIEL ▪ Analysiert Text
in verschiedenen Sprachen FEATURES ▪ Spracherkennung ▪ Erkennung von Schlüsselphrasen ▪ Extraktion der Entitäten ▪ Interpretation der Gefühlslage -
LUIS L A N G U A G E U
N D E R S T A N D I N G Create your own LU model Train by providing examples Deploy to an HTTP endpoint and activate on any device Maintain model with ease -
LUIS ZIEL ▪ Den Sinn des Textes zu verstehen ▪
Was hat der Anwender vor? ▪ Ein wiederverwendbares Model für die Texterkennung entwickeln ▪ Domänenspezifische Sprache abbilden ENTWICKLUNG ▪ Auf www.luis.ai registrieren ▪ App erstellen ▪ Domänenmodell erstellen oder vorhandene nutzen ▪ Model trainieren ▪ Model veröffentlichen -
MODELL ERSTELLEN INTENT ▪ Eine Aktion, die der Anwender durchführen
möchte ▪ „Gerät einschalten" ENTITIES ▪ Elemente die im Zentrum der Aktion stehen ▪ "Rechner" UTTERANCE ▪ Die vollständige Aussage des Benutzers ▪ "Luis, schalte den Rechner ein!" -
SPEECH SERVICES SPEECH TO TEXT ▪ Sprache-zu-Text-Übersetzung in Echtzeit ▪
Anpassen von Sprachstil, Wortschatz, Akzente und Hintergrundgeräuschen TEXT TO SPEECH ▪ Ansprache des Anwenders in natürlicher Sprache ▪ Übersetzung von Text in Sprache in Echtzeit ▪ Geschwindigkeit, Lautstärke und Ausdruck können angepasst werden SPEECH TRANSLATION ▪ Übersetzungen zwischen verschiedene Sprachen ▪ Ergebnisse in Sprache oder Text -
FAZIT MÖGLICHKEITEN ▪ ML Bietet Möglichkeiten jenseits einfacher Logik ▪
Software kann echte Intelligenz enthalten TOOLS UND LIBRARIES ▪ Die Cognitive Services bieten vortrainierte Modelle und spezialisierte Dienste ▪ Mit Custom Vision können auch eigene Modelle entwickelt und in die eigene App eingebunden werden ▪ LUIS bietet eine einfache Möglichkeit Lösungen zu entwickeln, die mit natürlicher Sprache arbeiten -
RESSOURCEN ▪ Cognitive Services REST API samples in 4 languages
https://github.com/Azure-Samples/cognitive-services-REST-api-samples ▪ Sample code for the Microsoft Cognitive Services Speech SDK https://github.com/Azure-Samples/cognitive-services-speech-sdk ▪ Samples for the Language Understanding Intelligent Service (LUIS) https://github.com/Azure-Samples/cognitive-services-language-understanding ▪ Microsoft Cloud Workshop - Cognitive services and deep learning https://github.com/microsoft/MCW-Cognitive-services-and-deep-learning -
CUSTOM VISION SAMPLES ▪ https://github.com/Azure-Samples/cognitive-services-vision-csharp-sdk-quickstarts ▪ https://docs.microsoft.com/en-us/azure/cognitive-services/custom-vision- service/csharp-tutorial ▪ https://github.com/Azure-Samples/Custom-Vision-ONNX-UWP
▪ https://www.jimbobbennett.io ▪ https://github.com/jimbobbennett/Xam.Plugins.OnDeviceCustomVision LABS ▪ Add a machine learning model to a UWP app so that it can run offline on a Windows device -
COGNITIVE SERVICES ▪ Text Analytics API https://docs.microsoft.com/de-de/azure/cognitive-services/text-analytics/overview ▪ Text Analytics
Quickstart https://docs.microsoft.com/de-de/azure/cognitive-services/text-analytics/quickstarts/csharp