Upgrade to Pro — share decks privately, control downloads, hide ads and more …

5 Freunde - Was leisten Siri, Alexa, Cortana & Co.?

5 Freunde - Was leisten Siri, Alexa, Cortana & Co.?

Die Computerindustrie sieht in digitalen Assistenten das “next big thing”. In die Schlagzeilen schaffen es Siri, Alexa und Co. aber vor allem dann, wenn sie etwas nicht oder falsch verstanden haben. Woran liegt das? Was sind Chancen und Grenzen dieser Techniken? Wofür lassen sich digitale Assistenten einsetzen? Und gibt es Bereiche, die ihnen immer verschlossen bleiben werden? In diesem Vortrag kommen die fünf Freunde natürlich auch selbst zu Wort. Es soll gezeigt werden, wie sich “no ui” derzeit anfühlt.
Herbstcampus 2017, Mi. 6. September 2017 20:00 bis 21:00

Thomas Künneth

September 06, 2017
Tweet

More Decks by Thomas Künneth

Other Decks in Technology

Transcript

  1. 6. September 2017
    Was leisten Siri, Alexa, Cortana & Co.?
    Thomas Künneth, MATHEMA Software GmbH

    View full-size slide

  2. Bei „Digitalen Assistenten“ denkt man an…
    Smartphone / Tablet
    Desktop
    Smartwatch

    View full-size slide

  3. OK, dann eben auf Folie
    Siri (urspr. eigene Firma Siri Inc.; gegr. 2007)
    2010 Kauf durch Apple
    Vorstellung Ende 2011 (iPhone 4s)
    Google Assistant (Vorgänger: Google Now)
    erstmals 2012 in Android-Geräten
    Z. B. auch im Messenger Allo und in der Google Lens
    Cortana
    erstmals präsentiert auf Microsoft-Konferenz Build 2014
    Alexa
    Echo seit Juni 2015 in den USA, in Deutschland ca. 1 Jahr später

    View full-size slide

  4. Gab‘s das nicht schon...? – Vorläufer und Wegbereiter
    Sprachsynthese (Text to speech)
    Spracherkennung (speech recognition)
    Sprachsteuerung während Telefonanrufen
    „Sagen Sie 1, um...“
    „Was läuft heute Abend im Kino?“ (FränKi am IMMD5)
    Sprachsteuerung am Computer
    Diktieren von Dokumenten
    Steuern des Computers

    View full-size slide

  5. Was ist neu? Oder... warum jetzt wieder?
    Rechner so leistungsfähig wie nie zuvor
    Größe und Masse so klein wie nie
    Systeme sind vernetzt – kabelgebunden und drahtlos
    Das Web bietet riesige Datenbasis und viele Dienste
    Das Web hat das Verknüpfen von Diensten vorgemacht
    (Mashups)

    View full-size slide

  6. Kann in unterschiedlichsten Geräten verwendet werden
    Im Auto
    In TV-Geräten
    Im Web / in Messaging Apps

    View full-size slide

  7. Neuester Schrei: Intelligente Lautsprecher
    Apple HomePod (Siri)
    Google Home (Google Assistant)
    Amazon Echo / Echo Dot (Alexa)
    Harman Kardon Invoke (Cortana)
    ...und es werden mehr...

    View full-size slide

  8. Einsatzgebiete
    Auskünfte
    Medienwiedergabe
    Smart Home

    View full-size slide

  9. Wie funktionieren Assistenten?
    Mikrofone nehmen Datenstrom auf (in sprachgesteuerten
    Lautsprechern mehrere Richtmikrofone)
    wird idealerweise durch Hardware komprimiert
    einen Server geschickt und dort verarbeitet
    Ausgabe der Information erfolgt je nach Medium...
    als gesprochene Sprache
    als multimedial angereicherter Text
    Dienstintegration weitgehend über Backend
    Ausnahme: direktes Ansprechen lokaler Geräte z. B. über
    Bluetooth

    View full-size slide

  10. Konsequenzen
    Ausschl. offline funktionierende Assistenten wird es nicht
    geben
    Assistenten funktionieren am besten, wenn sie immer
    mithören
    Der Datenstrom wird „irgendwo“ verarbeitet
    Durch Integration weiterer Dienste werden „noch mehr“
    Daten ausgetauscht

    View full-size slide

  11. Wieviel Intelligenz ist „drin“?
    Hersteller werben mit den typischen Buzzwords…
    Deep learning
    Machine learning
    Künstliche Intelligenz
    Innenleben nur bedingt einsehbar, z. B. durch Blick auf
    Programmierschnittstellen
    Deshalb kann man spekulieren: eigentliche
    Spracherkennung so wenig wie möglich
    Intelligenz am ehesten in der Aggregation der
    Informationen (Stichwort: Google Knowledge Graph)

    View full-size slide

  12. Assistenten erweitern
    Assistenten leben von der Integration bestehender
    Dienste
    Google beispielsweise kennt App-basierte Aktionen
    Alexa Skills werden „serverless“ implementiert
    Laufen also sehr wohl in der Cloud
    Sind aber als kleine Einheiten konzipiert
    Vor allem Amazon wirbt derzeit sehr intensiv um
    Entwickler, z. B. durch Giveaways

    View full-size slide

  13. Interaktion mit dem Assistenten funktioniert…
    … nicht durch echtes Gewöhnen des Assistenten an den
    User, sondern …
    Lernen der verstandenen Kommandos durch den Nutzer
    Amazon und Google verschicken Mails mit den neuesten
    Kommandos
    …apropos E-Mail…

    View full-size slide

  14. Dienstintegration und Interaktionsfluss
    Arbeit mit Assistenten macht Spaß, wenn ein
    Interaktionsfluss entsteht
    Dazu müssen sich die Assistenten den Aktionsverlauf
    merken
    Zudem müssen möglichst viele Dienste integriert sein

    View full-size slide

  15. Alexa Companion App
    Hilft bei der Konfiguration
    Stellt Funktionen bereit, die Echo nicht
    direkt ausführen kann

    View full-size slide

  16. Samsung Bixby
    Auf S8 „Push to talk“
    Oder „Hi Bixby“
    Einführung mit großer Verspätung
    Kann nur Koreanisch und englisch

    View full-size slide

  17. Walkthrough
    Setup

    View full-size slide

  18. Kurioses
    Burger King kapert Google Home
    Microsoft und Amazon wollen kooperieren, um ihre beiden
    Assistenten zu koppeln
    Können/dürfen Sprachmitschnitte in Gerichtsverfahren
    verwendet werden?

    View full-size slide

  19. Fazit
    Für Hersteller sichert die Hardware idealerweise die
    Nutzerbindung an eigene Dienste
    Hardware: für Musik leistungsfähig genug, um
    bestehende Komponenten zu ersetzen?
    Welche Assistenten integrieren welche Fremddienste
    (zum Beispiel Smart Home-Protokolle)?
    Alle Assistenten sind an ein Ökosystem gebunden
    Die Wahl des Assistenten dürfte letztlich von den
    genutzten Diensten abhängen
    ...und die Vielfalt der Fragen, die er beantworten kann

    View full-size slide

  20. In Zukunft mehr Intelligenz der Assistenten durch Machine
    Learning?
    Wo sind die Grenzen?
    "Hey Siri, wie heißt das Gebäude vor mir?„
    "Wo befinde ich mich?„
    Welche Fragen gestellt werden, hängt von der
    Ausprägung des Assistenten ab.
    Steht er in der Wohnung, wird er zur Steuerung von Smart Home
    Komponenten, Entertainment Systemen und ähnliches eingesetzt
    Bei dem Echo Dot kann man die Mikrofone abschalten. Die Frage
    ist aber, wie weit man seine Paranoia treiben will - sind sie wirklich
    aus?

    View full-size slide