6. September 2017 Was leisten Siri, Alexa, Cortana & Co.? Thomas Künneth, MATHEMA Software GmbH

Bei „Digitalen Assistenten“ denkt man an… Smartphone / Tablet Desktop Smartwatch

Demo

OK, dann eben auf Folie Siri (urspr. eigene Firma Siri Inc.; gegr. 2007) 2010 Kauf durch Apple Vorstellung Ende 2011 (iPhone 4s) Google Assistant (Vorgänger: Google Now) erstmals 2012 in Android-Geräten Z. B. auch im Messenger Allo und in der Google Lens Cortana erstmals präsentiert auf Microsoft-Konferenz Build 2014 Alexa Echo seit Juni 2015 in den USA, in Deutschland ca. 1 Jahr später

Gab‘s das nicht schon...? – Vorläufer und Wegbereiter Sprachsynthese (Text to speech) Spracherkennung (speech recognition) Sprachsteuerung während Telefonanrufen „Sagen Sie 1, um...“ „Was läuft heute Abend im Kino?“ (FränKi am IMMD5) Sprachsteuerung am Computer Diktieren von Dokumenten Steuern des Computers

Was ist neu? Oder... warum jetzt wieder? Rechner so leistungsfähig wie nie zuvor Größe und Masse so klein wie nie Systeme sind vernetzt – kabelgebunden und drahtlos Das Web bietet riesige Datenbasis und viele Dienste Das Web hat das Verknüpfen von Diensten vorgemacht (Mashups)

Kann in unterschiedlichsten Geräten verwendet werden Im Auto In TV-Geräten Im Web / in Messaging Apps

Neuester Schrei: Intelligente Lautsprecher Apple HomePod (Siri) Google Home (Google Assistant) Amazon Echo / Echo Dot (Alexa) Harman Kardon Invoke (Cortana) ...und es werden mehr...

Einsatzgebiete Auskünfte Medienwiedergabe Smart Home

Demo

Wie funktionieren Assistenten? Mikrofone nehmen Datenstrom auf (in sprachgesteuerten Lautsprechern mehrere Richtmikrofone) wird idealerweise durch Hardware komprimiert einen Server geschickt und dort verarbeitet Ausgabe der Information erfolgt je nach Medium... als gesprochene Sprache als multimedial angereicherter Text Dienstintegration weitgehend über Backend Ausnahme: direktes Ansprechen lokaler Geräte z. B. über Bluetooth

Konsequenzen Ausschl. offline funktionierende Assistenten wird es nicht geben Assistenten funktionieren am besten, wenn sie immer mithören Der Datenstrom wird „irgendwo“ verarbeitet Durch Integration weiterer Dienste werden „noch mehr“ Daten ausgetauscht

Demo

Wieviel Intelligenz ist „drin“? Hersteller werben mit den typischen Buzzwords… Deep learning Machine learning Künstliche Intelligenz Innenleben nur bedingt einsehbar, z. B. durch Blick auf Programmierschnittstellen Deshalb kann man spekulieren: eigentliche Spracherkennung so wenig wie möglich Intelligenz am ehesten in der Aggregation der Informationen (Stichwort: Google Knowledge Graph)

Assistenten erweitern Assistenten leben von der Integration bestehender Dienste Google beispielsweise kennt App-basierte Aktionen Alexa Skills werden „serverless“ implementiert Laufen also sehr wohl in der Cloud Sind aber als kleine Einheiten konzipiert Vor allem Amazon wirbt derzeit sehr intensiv um Entwickler, z. B. durch Giveaways

Interaktion mit dem Assistenten funktioniert… … nicht durch echtes Gewöhnen des Assistenten an den User, sondern … Lernen der verstandenen Kommandos durch den Nutzer Amazon und Google verschicken Mails mit den neuesten Kommandos …apropos E-Mail…

Demo

Dienstintegration und Interaktionsfluss Arbeit mit Assistenten macht Spaß, wenn ein Interaktionsfluss entsteht Dazu müssen sich die Assistenten den Aktionsverlauf merken Zudem müssen möglichst viele Dienste integriert sein

Alexa Companion App Hilft bei der Konfiguration Stellt Funktionen bereit, die Echo nicht direkt ausführen kann

Samsung Bixby Auf S8 „Push to talk“ Oder „Hi Bixby“ Einführung mit großer Verspätung Kann nur Koreanisch und englisch

Walkthrough Setup

Demo

Kurioses Burger King kapert Google Home Microsoft und Amazon wollen kooperieren, um ihre beiden Assistenten zu koppeln Können/dürfen Sprachmitschnitte in Gerichtsverfahren verwendet werden?

Fazit Für Hersteller sichert die Hardware idealerweise die Nutzerbindung an eigene Dienste Hardware: für Musik leistungsfähig genug, um bestehende Komponenten zu ersetzen? Welche Assistenten integrieren welche Fremddienste (zum Beispiel Smart Home-Protokolle)? Alle Assistenten sind an ein Ökosystem gebunden Die Wahl des Assistenten dürfte letztlich von den genutzten Diensten abhängen ...und die Vielfalt der Fragen, die er beantworten kann

In Zukunft mehr Intelligenz der Assistenten durch Machine Learning? Wo sind die Grenzen? "Hey Siri, wie heißt das Gebäude vor mir?„ "Wo befinde ich mich?„ Welche Fragen gestellt werden, hängt von der Ausprägung des Assistenten ab. Steht er in der Wohnung, wird er zur Steuerung von Smart Home Komponenten, Entertainment Systemen und ähnliches eingesetzt Bei dem Echo Dot kann man die Mikrofone abschalten. Die Frage ist aber, wie weit man seine Paranoia treiben will - sind sie wirklich aus?

Vielen Dank thomas.kuenneth@mathema.de @tkuenneth