5 Freunde - Was leisten Siri, Alexa, Cortana & Co.?

Die Computerindustrie sieht in digitalen Assistenten das “next big thing”. In die Schlagzeilen schaffen es Siri, Alexa und Co. aber vor allem dann, wenn sie etwas nicht oder falsch verstanden haben. Woran liegt das? Was sind Chancen und Grenzen dieser Techniken? Wofür lassen sich digitale Assistenten einsetzen? Und gibt es Bereiche, die ihnen immer verschlossen bleiben werden? In diesem Vortrag kommen die fünf Freunde natürlich auch selbst zu Wort. Es soll gezeigt werden, wie sich “no ui” derzeit anfühlt.
Herbstcampus 2017, Mi. 6. September 2017 20:00 bis 21:00

Transcript

1. 6. September 2017 Was leisten Siri, Alexa, Cortana & Co.? Thomas Künneth, MATHEMA Software GmbH
2. Bei „Digitalen Assistenten“ denkt man an… Smartphone / Tablet Desktop Smartwatch
3. Demo
4. OK, dann eben auf Folie Siri (urspr. eigene Firma Siri Inc.; gegr. 2007) 2010 Kauf durch Apple Vorstellung Ende 2011 (iPhone 4s) Google Assistant (Vorgänger: Google Now) erstmals 2012 in Android-Geräten Z. B. auch im Messenger Allo und in der Google Lens Cortana erstmals präsentiert auf Microsoft-Konferenz Build 2014 Alexa Echo seit Juni 2015 in den USA, in Deutschland ca. 1 Jahr später
5. Gab‘s das nicht schon...? – Vorläufer und Wegbereiter Sprachsynthese (Text to speech) Spracherkennung (speech recognition) Sprachsteuerung während Telefonanrufen „Sagen Sie 1, um...“ „Was läuft heute Abend im Kino?“ (FränKi am IMMD5) Sprachsteuerung am Computer Diktieren von Dokumenten Steuern des Computers
6. Was ist neu? Oder... warum jetzt wieder? Rechner so leistungsfähig wie nie zuvor Größe und Masse so klein wie nie Systeme sind vernetzt – kabelgebunden und drahtlos Das Web bietet riesige Datenbasis und viele Dienste Das Web hat das Verknüpfen von Diensten vorgemacht (Mashups)
7. Kann in unterschiedlichsten Geräten verwendet werden Im Auto In TV-Geräten Im Web / in Messaging Apps
8. Neuester Schrei: Intelligente Lautsprecher Apple HomePod (Siri) Google Home (Google Assistant) Amazon Echo / Echo Dot (Alexa) Harman Kardon Invoke (Cortana) ...und es werden mehr...
9. Einsatzgebiete Auskünfte Medienwiedergabe Smart Home
10. Demo
11. Wie funktionieren Assistenten? Mikrofone nehmen Datenstrom auf (in sprachgesteuerten Lautsprechern mehrere Richtmikrofone) wird idealerweise durch Hardware komprimiert einen Server geschickt und dort verarbeitet Ausgabe der Information erfolgt je nach Medium... als gesprochene Sprache als multimedial angereicherter Text Dienstintegration weitgehend über Backend Ausnahme: direktes Ansprechen lokaler Geräte z. B. über Bluetooth
12. Konsequenzen Ausschl. offline funktionierende Assistenten wird es nicht geben Assistenten funktionieren am besten, wenn sie immer mithören Der Datenstrom wird „irgendwo“ verarbeitet Durch Integration weiterer Dienste werden „noch mehr“ Daten ausgetauscht
13. Demo
14. Wieviel Intelligenz ist „drin“? Hersteller werben mit den typischen Buzzwords… Deep learning Machine learning Künstliche Intelligenz Innenleben nur bedingt einsehbar, z. B. durch Blick auf Programmierschnittstellen Deshalb kann man spekulieren: eigentliche Spracherkennung so wenig wie möglich Intelligenz am ehesten in der Aggregation der Informationen (Stichwort: Google Knowledge Graph)
15. Assistenten erweitern Assistenten leben von der Integration bestehender Dienste Google beispielsweise kennt App-basierte Aktionen Alexa Skills werden „serverless“ implementiert Laufen also sehr wohl in der Cloud Sind aber als kleine Einheiten konzipiert Vor allem Amazon wirbt derzeit sehr intensiv um Entwickler, z. B. durch Giveaways
16. Interaktion mit dem Assistenten funktioniert… … nicht durch echtes Gewöhnen des Assistenten an den User, sondern … Lernen der verstandenen Kommandos durch den Nutzer Amazon und Google verschicken Mails mit den neuesten Kommandos …apropos E-Mail…
17. Demo
18. Dienstintegration und Interaktionsfluss Arbeit mit Assistenten macht Spaß, wenn ein Interaktionsfluss entsteht Dazu müssen sich die Assistenten den Aktionsverlauf merken Zudem müssen möglichst viele Dienste integriert sein
19. Alexa Companion App Hilft bei der Konfiguration Stellt Funktionen bereit, die Echo nicht direkt ausführen kann
20. Samsung Bixby Auf S8 „Push to talk“ Oder „Hi Bixby“ Einführung mit großer Verspätung Kann nur Koreanisch und englisch
21. Walkthrough Setup
22. Demo
23. Kurioses Burger King kapert Google Home Microsoft und Amazon wollen kooperieren, um ihre beiden Assistenten zu koppeln Können/dürfen Sprachmitschnitte in Gerichtsverfahren verwendet werden?
24. Fazit Für Hersteller sichert die Hardware idealerweise die Nutzerbindung an eigene Dienste Hardware: für Musik leistungsfähig genug, um bestehende Komponenten zu ersetzen? Welche Assistenten integrieren welche Fremddienste (zum Beispiel Smart Home-Protokolle)? Alle Assistenten sind an ein Ökosystem gebunden Die Wahl des Assistenten dürfte letztlich von den genutzten Diensten abhängen ...und die Vielfalt der Fragen, die er beantworten kann
25. In Zukunft mehr Intelligenz der Assistenten durch Machine Learning? Wo sind die Grenzen? "Hey Siri, wie heißt das Gebäude vor mir?„ "Wo befinde ich mich?„ Welche Fragen gestellt werden, hängt von der Ausprägung des Assistenten ab. Steht er in der Wohnung, wird er zur Steuerung von Smart Home Komponenten, Entertainment Systemen und ähnliches eingesetzt Bei dem Echo Dot kann man die Mikrofone abschalten. Die Frage ist aber, wie weit man seine Paranoia treiben will - sind sie wirklich aus?
26. Vielen Dank thomas.kuenneth@mathema.de @tkuenneth