Орлов П.А. Ай-трекинговые эксперименты лаборатории человеко-компьютерного взаимодействия ИГД ИММиТ СПбПУ

Выступление П.А. Орлова на семинаре Cogito ergo...
Видео и анонс выступления: http://cogitoergo.ru/event/lekciya-eye-tracking-v-immit-spbpu/

Transcript

1. Ай-трекинговые эксперименты лаборатории человеко- компьютерного взаимодействия ИГД ИММиТ СПбПУ “ и не только
2. Павел А. Орлов Лаборатория человеко-компьютерного взаимодействия и юзабилити СПбПУ CogLab University of Eastern Finland ______________________ paul.a.orlov@gmail.com channelkit.com/paul.orlov.7/me/
3. ______________________ Кадры фильма из архива ИП РАН “Движения глаз в процессе зрения”
4. Саккада Фиксация Как мы рассматриваем изображения?
5. Что мы можем извлечь из этого?
6. 1. Визуализация ай-трекинговых данных (VETool) 2. Оценка субъективной сложности при решении задач программирования. 3. Взор-содержащие компьютерные системы. 4. Восприятие стимула представленного в моно и в стерео режиме. 6 из 58 ______________________
7. 1. Визуализация ай-трекинговых данных (VETool) Существуют стандартные приемы визуализации, однако они не всегда хороши. Например, при чтении. 7 из 58 (видео) ______________________
8. 1. Визуализация ай-трекинговых данных (VETool) А если задачу чтения усложнить? Паттерн движений глаза при чтении текста на естественном языке отличается от паттерна чтения исходного текста на языке программирования. 8 из 58 ______________________
9. 1. Визуализация ай-трекинговых данных (VETool) Паттерн ??? 9 из 58 ______________________
10. 1. Визуализация ай-трекинговых данных (VETool) Паттерн ??? 10 из 58 (видео) ______________________
11. 1. Визуализация ай-трекинговых данных (VETool) 11 из 58 (pics by Teresa Busjahn. Freie Universität Berlin) ______________________
12. 1. Визуализация ай-трекинговых данных (VETool) Паттерн при рассматривании исходного кода – последовательность просмотра определенных семантических единиц кода. 12 из 58 ______________________
13. 1. Визуализация ай-трекинговых данных (VETool) Семантические единицы кода часто определяются вручную. In International Workshop at the 13th KOLI CALLING INTERNATIONAL CONFERENCE ON COMPUTING EDUCATION RESEARCH 13 из 58 ______________________
14. 1. Визуализация ай-трекинговых данных (VETool) Для аннотирования видео использовали ELAN и для визуального сравнения 2х испытуемых мы разработали VETool 14 из 58 ______________________ Orlov, P. A. (2013). Visual evaluation of two eye-tracking renders of source code reading. In International Workshop at the 13th KOLI CALLING INTERNATIONAL CONFERENCE ON COMPUTING EDUCATION RESEARCH (pp. 33–36). Joensuu: UEF. Busjahn, T., Begel, A., Orlov, P., Sharif, B., Hansen, M., Bednarik, R., & Shchekotova, G. (2014). Eye Tracking in Computing Education Categories and Subject Descriptors. In ICER ’14 Proceedings of the tenth annual conference on International computing education research (pp. 3–10). Glasgow, Scotland, United Kingdom: ACM New York, NY, USA ©2014.
15. 1. Визуализация ай-трекинговых данных (VETool) 15 из 58 ______________________
16. 1. Визуализация ай-трекинговых данных (VETool) 16 из 58 ______________________
17. 1. Визуализация ай-трекинговых данных (VETool) 17 из 58 ______________________
18. 1. Визуализация ай-трекинговых данных (VETool) 18 из 58 ______________________
19. 2. Оценка субъективной сложности при решении задач программирования. 19 из 58 ______________________
20. 2. Оценка субъективной сложности при решении задач программирования. Метрики исходного кода. Halstead, McCabe’s cyclomatic complexity, Klemola’s KLCID Complexity Metric, Wang’s cognitive functional complexity и ряд других. 20 из 58 ______________________ McCabe, T. J. (1976). A Complexity Maesure. IEEE Transactions of software engineering, SE-2(4):308–320. Kushwaha, D. S. and Misra, A. K. (2006). A Complexity Measure Based on Information Contained in the Software. In Proceedings of the 5th WSEAS Int. Conf. on Software Engineering, Parallel and Distributed Systems, 2006, pages 187–195, Madrid.
21. 2. Оценка субъективной сложности при решении задач программирования. Уровень когнитивной(умственной) нагрузки. Диаметр зрачка, частота моргания, длительность моргания, частота фиксации, длительность фиксации, частота саккад, длительность саккад, пиковая скорость саккады. 21 из 58 ______________________ Исследований много, начиная с Канемана 1973г
22. 2. Оценка субъективной сложности при решении задач программирования. Нам стало интересно, на сколько резонны метрики исходного кода? Есть ли корреляция между уровнем когнитивной сложности и метриками исходного кода? 22 из 58 ______________________
23. 2. Оценка субъективной сложности при решении задач программирования. Основной метрикой стал МСИ 23 из 58 ______________________ Голиков, Ю. Я., & Костин, А. Н. (1999). Теория и методы анализа проблемностей в сложной операторской деятельности. In Л. Дикая (Ed.), Проблемность в профессиональной деятельности: теория и методы психологического анализа (pp. 358). Москва: Институт психологии РАН.
24. 2. Оценка субъективной сложности при решении задач программирования. Приготовили 20 стимулов. Каждый стимул – законченный исходный код программы на Java, с различным расчетным McCabe фактором. 13 испытуемых. Инструкция испытуемым - “Что будет результатом работы программы?” 24 из 58 ______________________
25. 2. Оценка субъективной сложности при решении задач программирования. Correlation between McCabe complexity and problematicity level without answer factor. p.value < 2.05E-10 and estimate = 0.42. 25 из 58 ______________________
26. 2. Оценка субъективной сложности при решении задач программирования. Correlation between McCabe complexity and problematicity level with answer factor. There is no correlation between sets with wrong answers and probl. level: p.value < 0.58 and estimate = 0.071. 26 из 58 ______________________
27. 2. Оценка субъективной сложности при решении задач программирования. Correlation between McCabe complexity and problematicity level with answer factor. There is a correlation between sets with correct answers and probl. level: p.value < 2.52E-8 and estimate = 0.44. 27 из 58 ______________________
28. 3. Взор-содержащие компьютерные системы. Вернемся к вопросам визуализации данных ай-трекера. 28 из 58 (2 видео) ______________________
29. 3. Взор-содержащие компьютерные системы. Предмет исследования: операционное поле зрения. Инструмент: ScreenMasker – взор-содержащая система визуальных симуляций. 29 из 58 ______________________ Gippenreiter, Y. B. (1978). Движения человеческого глаза [Movements of the human eye] (p. 256). Moscow: Изд-во Московского государственного университета. Bednarik, R., & Orlov, P. A. (2012). Investigating the role of programmers ’ peripheral vision : a gaze-contingent tool and an experiment proposal. In Psychology of Programming Interest Group PPIG 2012.
30. 3. Взор-содержащие компьютерные системы. 30 из 58 ______________________
31. 3. Взор-содержащие компьютерные системы. 31 из 58 ______________________
32. 3. Взор-содержащие компьютерные системы. 32 из 58 ______________________
33. 3. Взор-содержащие компьютерные системы. 33 из 58 ______________________
34. 3. Взор-содержащие компьютерные системы. ScreenMasker – взор содержащая система визуальных симуляций https://github.com/gima/screenMasker Система измерения задержки рендеринга будет представлена на NordiCHI 2014, the 8th Nordic Conference on Human-Computer Interaction ( http://nordichi2014.org/) и опубликована в ACM Interactions. 34 из 58 (видео) ______________________
35. 3. Взор-содержащие компьютерные системы. Игры. Вопрос исследования – эффективен ли взор- содержащий интерфейс по сравнению с интерфейсом “мышь”? Инструмент исследования – реальная компьютерная игра жанра стратегия. Пришлось разработать компьютерную игру! Да еще и с взор-содержащим интерфейсом. Использовали Unity3D и SDK SMI. 35 из 58 ______________________
36. 3. Взор-содержащие... Игры. 36 из 58 ______________________
37. 3. Взор-содержащие... Игры. 37 из 58 ______________________
38. 3. Взор-содержащие... Игры. 38 из 58 ______________________
39. 3. Взор-содержащие... Игры. 39 из 58 ______________________
40. 3. Взор-содержащие... Игры. 40 из 58 ______________________
41. 3. Взор-содержащие... Игры. 41 из 58 ______________________
42. 3. Взор-содержащие... Игры. 42 из 58 ______________________
43. 3. Взор-содержащие... Игры. 43 из 58 ______________________
44. 3. Взор-содержащие... Игры. Условия проведения – испытуемый должен был пройти 5 уровней. Каждый уровень отличался количеством юнитов (объектов, танков) – 5, 10, 15, 20, 25. Уровни предъявлялись в случайном порядке. 44 из 58 ______________________
45. 44 из 58 ______________________ 3. Взор-содержащие... Игры.
46. 45 из 58 ______________________ 3. Взор-содержащие... Игры. Время распознавания объекта при использовании взор-содержащего интерфейса меньше, чем при использовании мыши. Можно говорить приблизительно о 1,5 – 2-х кратном преимуществе по времени у взор- содержащешго интерфейса
47. 46 из 58 ______________________ 3. Взор-содержащие... Игры.
48. 47 из 58 ______________________ Orlov, P. A. & Apraksin, N.A. (2014) Gaze contingent computer games – effectiveness.Yarbus-100. International Symposium on the Role of Eye Movements in Vision. Russian Academy of Sciences (Kharkevich Institute). 3. Взор-содержащие... Игры. Второй вывод: мышь, как фактор, не влияет на длительность решения нашей задачи (в наших условиях). Это при том, что функцию глаза мы поменяли с input на output. Или думали, что поменяли. Испытуемым не требовалось время на обучение.
49. 48 из 58 ______________________ 4. Восприятие стимула представленного в моно и в стерео режиме. Гипотеза: Паттерны рассматривания стерео и моно видеокадра различаются между собой.
50. 49 из 58 ______________________ 4. Восприятие стимула представленного в моно и в стерео режиме. Гипотеза: Паттерны рассматривания стерео и моно видеокадра различаются между собой. Вопросы исследования: - каким образом совместить ай-трекинговое оборудование и стерео систему? - возможно ли создать компьютерную модель для стерео и моно достаточную для отнесения к ним испытуемого? (сказать на какую картинку смотрел испытуемый)
51. 50 из 58 ______________________ 4. Восприятие стимула представленного в моно и в стерео режиме. Каким образом совместить ай-трекинговое оборудование и стерео систему? Стерео оборудование: Christie hd3 с затворными очками Mirage HD3 Ай-трекер: SMI RED (с HED не получилось)
52. 51 из 58 ______________________ 4. Восприятие стимула представленного в моно и в стерео режиме. Не сложилось
53. 2. Восприятие стимула представленного в моно и в стерео режиме. ______________________ 6 из 4. Восприятие стимула представленного в моно и в стерео режиме. 51 из 58 ______________________
54. 2. Восприятие стимула представленного в моно и в стерео режиме. ______________________ 6 из 4. Восприятие стимула представленного в моно и в стерео режиме. 52 из 58 ______________________
55. 2. Восприятие стимула представленного в моно и в стерео режиме. ______________________ 6 из 4. Восприятие стимула представленного в моно и в стерео режиме. 53 из 58 ______________________
56. 2. Восприятие стимула представленного в моно и в стерео режиме. ______________________ 6 из 4. Восприятие стимула представленного в моно и в стерео режиме. 54 из 58 ______________________
57. 2. Восприятие стимула представленного в моно и в стерео режиме. ______________________ 6 из 4. Восприятие стимула представленного в моно и в стерео режиме. 55 из 58 ______________________
58. 2. Восприятие стимула представленного в моно и в стерео режиме. ______________________ 6 из 4. Восприятие стимула представленного в моно и в стерео режиме. 56 из 58 ______________________
59. 2. Восприятие стимула представленного в моно и в стерео режиме. ______________________ 6 из 4. Восприятие стимула представленного в моно и в стерео режиме. 57 из 58 ______________________
60. 1. Визуализация ай-трекинговых данных (VETool) 2. Оценка субъективной сложности при решении задач программирования. 3. Взор-содержащие компьютерные системы. 4. Восприятие стимула представленного в моно и в стерео режиме. 58 из 58 ______________________