Desarrollo de aplicaciones con Kinect

Tech MeetUp UY

Transcript

1. Ventajas y limitaciones. Rodrigo Rivera – UruIT Tech meetup UY – Noviembre 2012
2.  Controlador desarrollado por Microsoft para la consola Xbox 360.  Permite interacción sin controles. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 2
3.  Interfaz natural de usuario (NUI).  Reconocimiento de gestos.  Reconocimiento de comandos de voz.  Detección y seguimiento completo de hasta 2 personas en simultáneo. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 3
4.  Emisor y receptor de infrarrojos para obtener una imagen de profundidad.  Cámara RGB y 4 micrófonos.  Motor de ajuste de la inclinación. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 4
5.  El emisor y receptor IR son los encargados de generar la llamada imagen de profundidad.  Estos valores pueden ser interpretados en escala de grises, donde el color mas oscuro representa mayor profundidad. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 5
6.  Con la información de profundidad es posible obtener los puntos 3D de la escena. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 6
7.  Implementado en software.  2 personas en simultáneo.  20 articulaciones en modo normal.  10 articulaciones en modo sentado. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 7
8.  El dispositivo fue lanzado por Microsoft el 4/11/2010 en Norteamérica.  Industrias Adafruit ofreció una recompensa por un controlador de código abierto para Kinect.  El 10/11/2010, se anunció al español Héctor Martín como ganador.  Controlador para GNU/Linux que permitía el uso de parte de las funcionalidades. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 8
9.  Este controlador, denominado libfreenect, continúa en desarrollo por la comunidad OpenKinect.  Soporta: ▪ Imagen RGB y de profundidad. ▪ Ajuste de ángulo de tilt. ▪ Lectura de los acelerómetros. ▪ Estado de los LEDs. ▪ Audio. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 9
10.  Multiplataforma.  Wrappers existentes para: ▪ C++, Python, Java, C#, ActionScript, entre otros.  OpenKinect Analysis Library  Funcionalidades de alto nivel. ▪ Hand tracking, 3D audio isolation, cancelación de ruido, reconstrucción 3D, optimización por GPU.  En desarrollo. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 10
11.  OpenNI  Framework de código abierto.  Integrado por PrimeSense, hardware base de Microsoft Kinect.  Multiplataforma. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 11
12.  Integra dispositivos de bajo nivel -cámaras de video, sensores de profundidad y audio- con middleware de alto nivel. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 12
13.  NITE - Middleware que agrega:  Detección y seguimiento de hasta 2 personas.  Reconocimiento de gestos.  Reconocimiento de manos.  PrimeSense y Smart TV  Programación en función del público.  Programación a medida del espectador. ▪ Basada en comportamiento pasado. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 13
14.  Controlador oficial de Kinect.  Lanzado en Junio de 2011.  Sólo Windows. ▪ Desarrollo de aplicaciones para Xbox y PC.  C#, VB.net. ▪ Eventos.  C++. ▪ Polling. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 14
15.  API que agrega:  Reconocimiento de comandos de voz.  Skeleton tracking sentado.  Mayor control de la información proveniente del controlador.  Face tracking.  Kinect for Windows Toolkit 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 15
16.  Videojuegos.  Acción, gimnasia, baile, deportes  Aplicaciones en áreas como:  Medicina ▪ Minnesota University Team Adapts Kinect for Medical Use ▪ Medical practice finds use for Kinect hack ▪ Xbox Kinect-based radiology & medical image exploration ▪ Doctors use Xbox Kinect in cancer surgery 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 16
17.  Aplicaciones en áreas como:  Educación ▪ 10 Future Developments with Kinect in Education ▪ 10 Excellent Resources for Kinect in Education  Robótica ▪ Kinect and the Mobile Robot Programming Toolkit  Seguridad ▪ Sistema de vigilancia usando múltiples dispositivos Kinect 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 17
18.  KinectFusion - Reconstrucción 3D e interacción. Procesamiento en GPU. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 18
19.  Superficies touch en todos lados.  Presentaciones con gestos.  Videoconferencias 3D.  ¿Más ideas?  http://www.kinecthacks.net/ 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 19
20.  Theremax  Artus, Carbajal.  Instrumento musical.  Basado en el theremin.  Animus project  Berazategui, Gallo, Nassi.  Reconocimiento de gestos en superficies. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 20
21.  TiPiCa  Jorcín, Perri, Saavedra.  Tipificación automática en un canal de la industria frigorífica.  Múltiples sensores Kinect.  Ukinui  Donzet, Leira.  Técnicas aplicadas a videojuegos.  Head tracking, NVIDIA 3D Vision, Unity 3D. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 21
22.  Mapinect  Hoffman, Manduca, Pérez, Rivera.  Framework para desarrollo de aplicaciones de realidad aumentada.  Kinect, proyector, brazo robótico.  Libfreenect , C++, OpenFrameworks, Point Cloud Library. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 22
23.  Mapinect  Detección y seguimiento de objetos.  Detección y seguimiento de puntos de contacto.  Botones virtuales. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 23
24.  Un día en UruIT  Primer prototipo con Kinect.  Kinect for Windows SDK. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 24
25.  Libfreenect  ofxKinect – Wrapper C++ para OpenFrameworks.  OpenNI  ofxOpenNI – Wrapper C++ para OpenFrameworks.  Kinect for Windows SDK  Kinect SDK 1.6 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 25
26.  Distancia mínima (0,4m) y máxima (4,0m) para cámara IR.  No funciona con luz solar…  ¿Problema?  Imagen RGB (640x480) de baja calidad.  Delay en skeleton tracking.  Procesamiento de la imagen por software. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 26
27.  Reconocimiento de gestos.  Gestos con el cuerpo ▪ Swipe, zoom, wave, etc.  No soporta gestos con las manos ▪ Agarrar, drag & drop. ▪ En desarrollo por NITE. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 27
28.  “No hay donde tocar”  Solucionar problemas de interacción.  No forzar interfaces que no se adaptan a este modelo.  Comandos por voz limitados.  Soporta español: es-es, es-mx. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 28
29.  ¿Interfaz natural?  Curva de aprendizaje.  Desafíos de diseño.  Juego ≠ aplicación de uso profesional.  Human Interface Guidelines 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 29
30.  Kinect for Windows  Enfocado al desarrollo de aplicaciones Kinect para PC.  http://www.microsoft.com/en-us/kinectforwindows/  ASUS Xtion, Xtion PRO y Xtion PRO Live  Diseñado para OpenNI.  http://www.asus.com/Multimedia/Motion_Sensor/Xtion_PRO_LIVE/ 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 30
31.  Gran expansión a 2 años de su lanzamiento.  Dispositivo multiuso.  Cambio en la forma de juego tradicional.  Retos en el diseño de interacción.  Esto recién empieza… 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 31
32. 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 32
33.  ¿Más consultas?  rodrigo.rivera@uruit.com  rrivem@gmail.com  Sitios de interés  http://www.kinecthacks.net/  http://www.xbox.com/en-US/Kinect/Kinect-Effect 3/11/2012 Rodrigo Rivera - Desarrollo de aplicaciones con Kinect. 33