Making Fun mit Alexa, Mindstorms & Minecraft - und Action!

Sprachsteuerung in den eigenen vier Wänden verbreitet sich immer mehr. Ob es Amazon Echo, Google Home oder Apple HomePod ist: wir reden mit diesen Geräten, um Nachrichten zu erfahren oder um Dinge zu steuern. In diesem Vortrag wollen Valentin & Christian zeigen, wie man eigene Devices und Umgebungen mit Amazon Echos Alexa Cloud-Dienst verbinden und anprogrammieren kann.
Wie cool wäre es, wenn man bspw. einen selbst gebauten LEGO Mindstorms EV3 Roboter über Alexa fernsteuert? Oder wenn man mit seiner eigenen Stimme die geliebte Minecraft-Welt kontrollieren könnte? Kommt vorbei und seht all dies in Action.

Transcript

1. #Making Fun mit Alexa, Mindstorms & Minecraft - und Action! VALENTIN & CHRISTIAN WEYER MAKERFAIRE BERGSTRASSE, 16.9.2017
2. Die beiden Geeks Valentin Weyer ! https://www.valentinweyer.com " @valentinweyer valentin.weyer@gmail.com Christian Weyer ! https://www.thinktecture.com " @christianweyer christian.weyer@thinktecture.com 2
3. HINWEIS Wir haben nichts mit Amazon, LEGO oder Mojang zu tun. Es fließt kein Geld – oder so... 3 V
4. Inhalt Voice User Interfaces & Digitale Assistenten Amazon Echo & Amazon Alexa Vorführung: EV3 Vorführung: Minecraft Fragen & Antworten 4 C
5. Entwicklung zum Voice User Interface (VUI) Lochkarten ➡ Texteingabe & Tastatur ➡ Maus & GUI ➡ Touch ➡ Gesten ➡ Stimme & Sprache VUI = Sprachgesteuerte Bedienschnittstelle eines Systems 5 C
6. Sprachsteuerbare digitale Assistenten Werden immer beliebter Viele große Hersteller möchten mitspielen 6 V Google Home Apple HomePod
7. Amazon Echo Echo & Echo Dot 7 V
8. Amazon Alexa Software-Dienste für intelligente persönliche Assistenten Alexa Voice Services in der Amazon Cloud (AWS) Offen für Drittanbieter ◦ Programmierschnittstelle (API) verfügbar ◦ https://github.com/alexa/alexa-avs-sample-app/wiki/Raspberry-Pi Siehe auch Microsoft Cognitive Services oder Google Speech API 8 C
9. Vorführung AMAZON ECHO & ALEXA – VERFÜGBARE SKILLS 9 V
10. Eigene Skills entwickeln Unterschiedliche Programmiersprachen werden unterstützt Zwei Entwicklerkonten nötig ◦ https://aws.amazon.com ◦ https://developer.amazon.com Bereitstellung der Skills-Logik ◦ AWS Lambda Function ◦ Externes Web API ◦ Kann überall gehostet werden Alexa Skill Konfiguration & Interaction Building ◦ Intent (== Vorhaben) ◦ Utterance (== Äußerungsform) ◦ Slots (== Verfügbare Werte) 10 C
11. LEGO Mindstorms EV3 Jeder ❤ LEGO Jeder muss Mindstorms ❤ - oder? 11 V
12. Architektur der Demo-Anwendung 12 C
13. ev3dev Debian Linux-basiertes Betriebssystem ◦ Volle Entwicklungsumgebung vorhanden ◦ http://www.ev3dev.org Python ist derzeit am besten als Programmierplattform geeignet ◦ https://github.com/rhempel/ev3dev-lang-python Anbindung an Azure Web API über SocketIO / WebSockets mit socketIO-Client ◦ https://pypi.python.org/pypi/socketIO-client 13 C
14. Vorführung AMAZON ECHO – STEUERT EV3 14 V
15. Minecraft Minecraft gehört immer dazu, gell? J Was wäre wenn... ... wir Minecraft mit dem Echo steuern könnten? Programmierung / Fernsteuerung mit Python ◦ Eigener lokaler Spigot Server ◦ Minecraft Python API ◦ Grundarchitektur wie bei EV3-Demo ◦ SocketIO / WebSockets mit socketIO-Client Siehe auch „Learn to Program with Minecraft“ ◦ https://www.nostarch.com/programwithminecraft 15 V
16. Vorführung AMAZON ECHO – STEUERT MINECRAFT ... ODER VERSUCHT ES J 16 C
17. Fragen? 17
18. #Making Fun mit Alexa, Mindstorms & Minecraft - und Action! Vielen Dank für die Aufmerksamkeit. Demo Code: https://github.com/ChristianWeyer/ alexa-ev3-minecraft Valentin Weyer valentin.weyer@gmail.com Christian Weyer christian.weyer@thinktecture.com 18 Danke!
19. Externe Bildquellen Lochkarte ◦ http://datentraeger-museum.de/Media/Shop/lochkarte_01.jpg C64 ◦ https://upload.wikimedia.org/wikipedia/commons/8/84/C64c_system.jpg Apple Macintosh ◦ http://www.oldcomputr.com/wp-content/uploads/2014/09/apple_macintosh_plus-front.jpg iPad ◦ https://cdn.cultofmac.com/wp-content/uploads/2012/03/ipad2110322125540.jpg Gestensteuerung ◦ http://cdn.ndtv.com/tech/project_soli_gesture_watch_generic.jpg Minecraft Welt ◦ https://static.planetminecraft.com/files/resource_media/screenshot/1245/Minecraft-2_4091491_lrg.jpg Roboter auf Schlussfolie ◦ http://img07.deviantart.net/224e/i/2011/311/e/1/eset_robot_logon_by_safuddin-d4ff8eg.jpg 19