5 Freunde - Was leisten Siri, Alexa, Cortana & Co.?

Die Computerindustrie sieht in digitalen Assistenten das “next big thing”. In die Schlagzeilen schaffen es Siri, Alexa und Co. aber vor allem dann, wenn sie etwas nicht oder falsch verstanden haben. Woran liegt das? Was sind Chancen und Grenzen dieser Techniken? Wofür lassen sich digitale Assistenten einsetzen? Und gibt es Bereiche, die ihnen immer verschlossen bleiben werden? In diesem Vortrag kommen die fünf Freunde natürlich auch selbst zu Wort. Es soll gezeigt werden, wie sich “no ui” derzeit anfühlt.
Herbstcampus 2017, Mi. 6. September 2017 20:00 bis 21:00

Transcript

1. 6. September 2017
   Was leisten Siri, Alexa, Cortana & Co.?
   Thomas Künneth, MATHEMA Software GmbH
   

   View Slide

2. Bei „Digitalen Assistenten“ denkt man an…
   Smartphone / Tablet
   Desktop
   Smartwatch
   

   View Slide

3. Demo
   

   View Slide

4. OK, dann eben auf Folie
   Siri (urspr. eigene Firma Siri Inc.; gegr. 2007)
   2010 Kauf durch Apple
   Vorstellung Ende 2011 (iPhone 4s)
   Google Assistant (Vorgänger: Google Now)
   erstmals 2012 in Android-Geräten
   Z. B. auch im Messenger Allo und in der Google Lens
   Cortana
   erstmals präsentiert auf Microsoft-Konferenz Build 2014
   Alexa
   Echo seit Juni 2015 in den USA, in Deutschland ca. 1 Jahr später
   

   View Slide

5. Gab‘s das nicht schon...? – Vorläufer und Wegbereiter
   Sprachsynthese (Text to speech)
   Spracherkennung (speech recognition)
   Sprachsteuerung während Telefonanrufen
   „Sagen Sie 1, um...“
   „Was läuft heute Abend im Kino?“ (FränKi am IMMD5)
   Sprachsteuerung am Computer
   Diktieren von Dokumenten
   Steuern des Computers
   

   View Slide

6. Was ist neu? Oder... warum jetzt wieder?
   Rechner so leistungsfähig wie nie zuvor
   Größe und Masse so klein wie nie
   Systeme sind vernetzt – kabelgebunden und drahtlos
   Das Web bietet riesige Datenbasis und viele Dienste
   Das Web hat das Verknüpfen von Diensten vorgemacht
   (Mashups)
   

   View Slide

7. Kann in unterschiedlichsten Geräten verwendet werden
   Im Auto
   In TV-Geräten
   Im Web / in Messaging Apps
   

   View Slide

8. Neuester Schrei: Intelligente Lautsprecher
   Apple HomePod (Siri)
   Google Home (Google Assistant)
   Amazon Echo / Echo Dot (Alexa)
   Harman Kardon Invoke (Cortana)
   ...und es werden mehr...
   

   View Slide

9. Einsatzgebiete
   Auskünfte
   Medienwiedergabe
   Smart Home
   

   View Slide

10. Demo
    

    View Slide

11. Wie funktionieren Assistenten?
    Mikrofone nehmen Datenstrom auf (in sprachgesteuerten
    Lautsprechern mehrere Richtmikrofone)
    wird idealerweise durch Hardware komprimiert
    einen Server geschickt und dort verarbeitet
    Ausgabe der Information erfolgt je nach Medium...
    als gesprochene Sprache
    als multimedial angereicherter Text
    Dienstintegration weitgehend über Backend
    Ausnahme: direktes Ansprechen lokaler Geräte z. B. über
    Bluetooth
    

    View Slide

12. Konsequenzen
    Ausschl. offline funktionierende Assistenten wird es nicht
    geben
    Assistenten funktionieren am besten, wenn sie immer
    mithören
    Der Datenstrom wird „irgendwo“ verarbeitet
    Durch Integration weiterer Dienste werden „noch mehr“
    Daten ausgetauscht
    

    View Slide

13. Demo
    

    View Slide

14. Wieviel Intelligenz ist „drin“?
    Hersteller werben mit den typischen Buzzwords…
    Deep learning
    Machine learning
    Künstliche Intelligenz
    Innenleben nur bedingt einsehbar, z. B. durch Blick auf
    Programmierschnittstellen
    Deshalb kann man spekulieren: eigentliche
    Spracherkennung so wenig wie möglich
    Intelligenz am ehesten in der Aggregation der
    Informationen (Stichwort: Google Knowledge Graph)
    

    View Slide

15. Assistenten erweitern
    Assistenten leben von der Integration bestehender
    Dienste
    Google beispielsweise kennt App-basierte Aktionen
    Alexa Skills werden „serverless“ implementiert
    Laufen also sehr wohl in der Cloud
    Sind aber als kleine Einheiten konzipiert
    Vor allem Amazon wirbt derzeit sehr intensiv um
    Entwickler, z. B. durch Giveaways
    

    View Slide

16. Interaktion mit dem Assistenten funktioniert…
    … nicht durch echtes Gewöhnen des Assistenten an den
    User, sondern …
    Lernen der verstandenen Kommandos durch den Nutzer
    Amazon und Google verschicken Mails mit den neuesten
    Kommandos
    …apropos E-Mail…
    

    View Slide

17. Demo
    

    View Slide

18. Dienstintegration und Interaktionsfluss
    Arbeit mit Assistenten macht Spaß, wenn ein
    Interaktionsfluss entsteht
    Dazu müssen sich die Assistenten den Aktionsverlauf
    merken
    Zudem müssen möglichst viele Dienste integriert sein
    

    View Slide

19. Alexa Companion App
    Hilft bei der Konfiguration
    Stellt Funktionen bereit, die Echo nicht
    direkt ausführen kann
    

    View Slide

20. Samsung Bixby
    Auf S8 „Push to talk“
    Oder „Hi Bixby“
    Einführung mit großer Verspätung
    Kann nur Koreanisch und englisch
    

    View Slide

21. Walkthrough
    Setup
    

    View Slide

22. Demo
    

    View Slide

23. Kurioses
    Burger King kapert Google Home
    Microsoft und Amazon wollen kooperieren, um ihre beiden
    Assistenten zu koppeln
    Können/dürfen Sprachmitschnitte in Gerichtsverfahren
    verwendet werden?
    

    View Slide

24. Fazit
    Für Hersteller sichert die Hardware idealerweise die
    Nutzerbindung an eigene Dienste
    Hardware: für Musik leistungsfähig genug, um
    bestehende Komponenten zu ersetzen?
    Welche Assistenten integrieren welche Fremddienste
    (zum Beispiel Smart Home-Protokolle)?
    Alle Assistenten sind an ein Ökosystem gebunden
    Die Wahl des Assistenten dürfte letztlich von den
    genutzten Diensten abhängen
    ...und die Vielfalt der Fragen, die er beantworten kann
    

    View Slide

25. In Zukunft mehr Intelligenz der Assistenten durch Machine
    Learning?
    Wo sind die Grenzen?
    "Hey Siri, wie heißt das Gebäude vor mir?„
    "Wo befinde ich mich?„
    Welche Fragen gestellt werden, hängt von der
    Ausprägung des Assistenten ab.
    Steht er in der Wohnung, wird er zur Steuerung von Smart Home
    Komponenten, Entertainment Systemen und ähnliches eingesetzt
    Bei dem Echo Dot kann man die Mikrofone abschalten. Die Frage
    ist aber, wie weit man seine Paranoia treiben will - sind sie wirklich
    aus?
    

    View Slide

26. Vielen Dank
    thomas.kuenneth@mathema.de
    @tkuenneth
    

    View Slide