Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Орлов П.А. Ай-трекинговые эксперименты лаборатории человеко-компьютерного взаимодействия ИГД ИММиТ СПбПУ

Cogito ergo ...
September 26, 2014

Орлов П.А. Ай-трекинговые эксперименты лаборатории человеко-компьютерного взаимодействия ИГД ИММиТ СПбПУ

Выступление П.А. Орлова на семинаре Cogito ergo...
Видео и анонс выступления: http://cogitoergo.ru/event/lekciya-eye-tracking-v-immit-spbpu/

Cogito ergo ...

September 26, 2014
Tweet

More Decks by Cogito ergo ...

Other Decks in Science

Transcript

  1. Ай-трекинговые
    эксперименты
    лаборатории человеко-
    компьютерного
    взаимодействия ИГД
    ИММиТ СПбПУ
    “ и не только

    View Slide

  2. Павел А. Орлов
    Лаборатория человеко-компьютерного
    взаимодействия и юзабилити СПбПУ
    CogLab University of Eastern Finland
    ______________________
    [email protected]
    channelkit.com/paul.orlov.7/me/

    View Slide

  3. ______________________
    Кадры фильма из архива ИП РАН “Движения глаз в процессе зрения”

    View Slide

  4. Саккада
    Фиксация
    Как мы рассматриваем изображения?

    View Slide

  5. Что мы
    можем
    извлечь
    из этого?

    View Slide

  6. 1. Визуализация ай-трекинговых данных
    (VETool)
    2. Оценка субъективной сложности при
    решении задач программирования.
    3. Взор-содержащие компьютерные
    системы.
    4. Восприятие стимула представленного
    в моно и в стерео режиме.
    6 из 58
    ______________________

    View Slide

  7. 1. Визуализация ай-трекинговых данных
    (VETool)
    Существуют стандартные приемы визуализации,
    однако они не всегда хороши.
    Например, при чтении.
    7 из 58 (видео)
    ______________________

    View Slide

  8. 1. Визуализация ай-трекинговых данных
    (VETool)
    А если задачу чтения усложнить?
    Паттерн движений глаза при чтении текста на
    естественном языке отличается от паттерна чтения
    исходного текста на языке программирования.
    8 из 58
    ______________________

    View Slide

  9. 1. Визуализация ай-трекинговых данных
    (VETool)
    Паттерн ???
    9 из 58
    ______________________

    View Slide

  10. 1. Визуализация ай-трекинговых данных
    (VETool)
    Паттерн ???
    10 из 58 (видео)
    ______________________

    View Slide

  11. 1. Визуализация ай-трекинговых данных
    (VETool)
    11 из 58 (pics by Teresa Busjahn. Freie Universität Berlin)
    ______________________

    View Slide

  12. 1. Визуализация ай-трекинговых данных
    (VETool)
    Паттерн при рассматривании исходного кода –
    последовательность просмотра определенных
    семантических единиц кода.
    12 из 58
    ______________________

    View Slide

  13. 1. Визуализация ай-трекинговых данных
    (VETool)
    Семантические единицы кода часто
    определяются вручную.
    In International Workshop at the 13th KOLI CALLING
    INTERNATIONAL CONFERENCE ON COMPUTING
    EDUCATION RESEARCH
    13 из 58
    ______________________

    View Slide

  14. 1. Визуализация ай-трекинговых данных
    (VETool)
    Для аннотирования видео использовали ELAN и
    для визуального сравнения 2х испытуемых мы
    разработали VETool
    14 из 58
    ______________________
    Orlov, P. A. (2013). Visual evaluation of two eye-tracking
    renders of source code reading. In International Workshop at
    the 13th KOLI CALLING INTERNATIONAL CONFERENCE ON
    COMPUTING EDUCATION RESEARCH (pp. 33–36). Joensuu: UEF.
    Busjahn, T., Begel, A., Orlov, P., Sharif, B., Hansen, M., Bednarik,
    R., & Shchekotova, G. (2014). Eye Tracking in Computing
    Education Categories and Subject Descriptors. In ICER ’14
    Proceedings of the tenth annual conference on International
    computing education research (pp. 3–10). Glasgow, Scotland,
    United Kingdom: ACM New York, NY, USA ©2014.

    View Slide

  15. 1. Визуализация ай-трекинговых данных
    (VETool)
    15 из 58
    ______________________

    View Slide

  16. 1. Визуализация ай-трекинговых данных
    (VETool)
    16 из 58
    ______________________

    View Slide

  17. 1. Визуализация ай-трекинговых данных
    (VETool)
    17 из 58
    ______________________

    View Slide

  18. 1. Визуализация ай-трекинговых данных
    (VETool)
    18 из 58
    ______________________

    View Slide

  19. 2. Оценка субъективной сложности при
    решении задач программирования.
    19 из 58
    ______________________

    View Slide

  20. 2. Оценка субъективной сложности при
    решении задач программирования.
    Метрики исходного кода.
    Halstead, McCabe’s cyclomatic complexity, Klemola’s
    KLCID Complexity Metric, Wang’s cognitive functional
    complexity и ряд других.
    20 из 58
    ______________________
    McCabe, T. J. (1976). A Complexity Maesure. IEEE Transactions
    of software engineering, SE-2(4):308–320.
    Kushwaha, D. S. and Misra, A. K. (2006). A Complexity Measure
    Based on Information Contained in the Software. In
    Proceedings of the 5th WSEAS Int. Conf. on Software
    Engineering, Parallel and Distributed Systems, 2006, pages
    187–195, Madrid.

    View Slide

  21. 2. Оценка субъективной сложности при
    решении задач программирования.
    Уровень когнитивной(умственной) нагрузки.
    Диаметр зрачка, частота моргания, длительность моргания,
    частота фиксации, длительность фиксации, частота саккад,
    длительность саккад, пиковая скорость саккады.
    21 из 58
    ______________________
    Исследований много, начиная с Канемана 1973г

    View Slide

  22. 2. Оценка субъективной сложности при
    решении задач программирования.
    Нам стало интересно, на сколько резонны метрики
    исходного кода? Есть ли корреляция между
    уровнем когнитивной сложности и метриками
    исходного кода?
    22 из 58
    ______________________

    View Slide

  23. 2. Оценка субъективной сложности при
    решении задач программирования.
    Основной метрикой стал МСИ
    23 из 58
    ______________________
    Голиков, Ю. Я., & Костин, А. Н. (1999). Теория и методы
    анализа проблемностей в сложной операторской
    деятельности. In Л. Дикая (Ed.), Проблемность в
    профессиональной деятельности: теория и методы
    психологического анализа (pp. 358). Москва: Институт
    психологии РАН.

    View Slide

  24. 2. Оценка субъективной сложности при
    решении задач программирования.
    Приготовили 20 стимулов. Каждый стимул –
    законченный исходный код программы на Java, с
    различным расчетным McCabe фактором.
    13 испытуемых.
    Инструкция испытуемым - “Что будет результатом
    работы программы?”
    24 из 58
    ______________________

    View Slide

  25. 2. Оценка субъективной сложности при
    решении задач программирования.
    Correlation between McCabe complexity and problematicity
    level without answer factor.
    p.value < 2.05E-10 and estimate = 0.42.
    25 из 58
    ______________________

    View Slide

  26. 2. Оценка субъективной сложности при
    решении задач программирования.
    Correlation between McCabe complexity and problematicity
    level with answer factor. There is no correlation between sets
    with wrong answers and probl. level: p.value < 0.58 and estimate
    = 0.071.
    26 из 58
    ______________________

    View Slide

  27. 2. Оценка субъективной сложности при
    решении задач программирования.
    Correlation between McCabe complexity and problematicity
    level with answer factor. There is a correlation between sets
    with correct answers and probl. level: p.value < 2.52E-8 and
    estimate = 0.44.
    27 из 58
    ______________________

    View Slide

  28. 3. Взор-содержащие компьютерные
    системы.
    Вернемся к вопросам визуализации
    данных ай-трекера.
    28 из 58 (2 видео)
    ______________________

    View Slide

  29. 3. Взор-содержащие компьютерные
    системы.
    Предмет исследования:
    операционное поле зрения.
    Инструмент: ScreenMasker – взор-содержащая
    система визуальных симуляций.
    29 из 58
    ______________________
    Gippenreiter, Y. B. (1978). Движения человеческого глаза [Movements of the
    human eye] (p. 256). Moscow: Изд-во Московского государственного
    университета.
    Bednarik, R., & Orlov, P. A. (2012). Investigating the role of programmers ’ peripheral
    vision : a gaze-contingent tool and an experiment proposal. In Psychology of
    Programming Interest Group PPIG 2012.

    View Slide

  30. 3. Взор-содержащие компьютерные
    системы.
    30 из 58
    ______________________

    View Slide

  31. 3. Взор-содержащие компьютерные
    системы.
    31 из 58
    ______________________

    View Slide

  32. 3. Взор-содержащие компьютерные
    системы.
    32 из 58
    ______________________

    View Slide

  33. 3. Взор-содержащие компьютерные
    системы.
    33 из 58
    ______________________

    View Slide

  34. 3. Взор-содержащие компьютерные
    системы.
    ScreenMasker – взор содержащая система
    визуальных симуляций
    https://github.com/gima/screenMasker
    Система измерения задержки рендеринга будет
    представлена на NordiCHI 2014, the 8th Nordic
    Conference on Human-Computer Interaction (
    http://nordichi2014.org/) и опубликована в ACM
    Interactions.
    34 из 58 (видео)
    ______________________

    View Slide

  35. 3. Взор-содержащие компьютерные
    системы. Игры.
    Вопрос исследования – эффективен ли взор-
    содержащий интерфейс по сравнению с
    интерфейсом “мышь”?
    Инструмент исследования – реальная
    компьютерная игра жанра стратегия.
    Пришлось разработать компьютерную игру! Да еще
    и с взор-содержащим интерфейсом. Использовали
    Unity3D и SDK SMI.
    35 из 58
    ______________________

    View Slide

  36. 3. Взор-содержащие... Игры.
    36 из 58
    ______________________

    View Slide

  37. 3. Взор-содержащие... Игры.
    37 из 58
    ______________________

    View Slide

  38. 3. Взор-содержащие... Игры.
    38 из 58
    ______________________

    View Slide

  39. 3. Взор-содержащие... Игры.
    39 из 58
    ______________________

    View Slide

  40. 3. Взор-содержащие... Игры.
    40 из 58
    ______________________

    View Slide

  41. 3. Взор-содержащие... Игры.
    41 из 58
    ______________________

    View Slide

  42. 3. Взор-содержащие... Игры.
    42 из 58
    ______________________

    View Slide

  43. 3. Взор-содержащие... Игры.
    43 из 58
    ______________________

    View Slide

  44. 3. Взор-содержащие... Игры.
    Условия проведения – испытуемый
    должен был пройти 5 уровней. Каждый
    уровень отличался количеством юнитов
    (объектов, танков) – 5, 10, 15, 20, 25.
    Уровни предъявлялись в случайном
    порядке.
    44 из 58
    ______________________

    View Slide

  45. 44 из 58
    ______________________
    3. Взор-содержащие... Игры.

    View Slide

  46. 45 из 58
    ______________________
    3. Взор-содержащие... Игры.
    Время распознавания объекта при использовании
    взор-содержащего интерфейса меньше, чем при
    использовании мыши.
    Можно говорить приблизительно о 1,5 – 2-х
    кратном преимуществе по времени у взор-
    содержащешго интерфейса

    View Slide

  47. 46 из 58
    ______________________
    3. Взор-содержащие... Игры.

    View Slide

  48. 47 из 58
    ______________________
    Orlov, P. A. & Apraksin, N.A. (2014) Gaze contingent computer
    games – effectiveness.Yarbus-100. International Symposium on
    the Role of Eye Movements in Vision. Russian Academy of
    Sciences (Kharkevich Institute).
    3. Взор-содержащие... Игры.
    Второй вывод: мышь, как фактор, не влияет на
    длительность решения нашей задачи (в наших
    условиях).
    Это при том, что функцию глаза мы поменяли с
    input на output. Или думали, что поменяли.
    Испытуемым не требовалось время на обучение.

    View Slide

  49. 48 из 58
    ______________________
    4. Восприятие стимула представленного
    в моно и в стерео режиме.
    Гипотеза: Паттерны рассматривания стерео и моно
    видеокадра различаются между собой.

    View Slide

  50. 49 из 58
    ______________________
    4. Восприятие стимула представленного
    в моно и в стерео режиме.
    Гипотеза: Паттерны рассматривания стерео и моно
    видеокадра различаются между собой.
    Вопросы исследования:
    - каким образом совместить ай-трекинговое
    оборудование и стерео систему?
    - возможно ли создать компьютерную модель для
    стерео и моно достаточную для отнесения к ним
    испытуемого? (сказать на какую картинку смотрел
    испытуемый)

    View Slide

  51. 50 из 58
    ______________________
    4. Восприятие стимула представленного
    в моно и в стерео режиме.
    Каким образом совместить ай-трекинговое
    оборудование и стерео систему?
    Стерео оборудование: Christie hd3 с затворными
    очками Mirage HD3
    Ай-трекер: SMI RED (с HED не получилось)

    View Slide

  52. 51 из 58
    ______________________
    4. Восприятие стимула представленного
    в моно и в стерео режиме.
    Не сложилось

    View Slide

  53. 2. Восприятие стимула представленного в моно и в
    стерео режиме.
    ______________________
    6 из
    4. Восприятие стимула представленного
    в моно и в стерео режиме.
    51 из 58
    ______________________

    View Slide

  54. 2. Восприятие стимула представленного в моно и в
    стерео режиме.
    ______________________
    6 из
    4. Восприятие стимула представленного
    в моно и в стерео режиме.
    52 из 58
    ______________________

    View Slide

  55. 2. Восприятие стимула представленного в моно и в
    стерео режиме.
    ______________________
    6 из
    4. Восприятие стимула представленного
    в моно и в стерео режиме.
    53 из 58
    ______________________

    View Slide

  56. 2. Восприятие стимула представленного в моно и в
    стерео режиме.
    ______________________
    6 из
    4. Восприятие стимула представленного
    в моно и в стерео режиме.
    54 из 58
    ______________________

    View Slide

  57. 2. Восприятие стимула представленного в моно и в
    стерео режиме.
    ______________________
    6 из
    4. Восприятие стимула представленного
    в моно и в стерео режиме.
    55 из 58
    ______________________

    View Slide

  58. 2. Восприятие стимула представленного в моно и в
    стерео режиме.
    ______________________
    6 из
    4. Восприятие стимула представленного
    в моно и в стерео режиме.
    56 из 58
    ______________________

    View Slide

  59. 2. Восприятие стимула представленного в моно и в
    стерео режиме.
    ______________________
    6 из
    4. Восприятие стимула представленного
    в моно и в стерео режиме.
    57 из 58
    ______________________

    View Slide

  60. 1. Визуализация ай-трекинговых данных
    (VETool)
    2. Оценка субъективной сложности при
    решении задач программирования.
    3. Взор-содержащие компьютерные
    системы.
    4. Восприятие стимула представленного
    в моно и в стерео режиме.
    58 из 58
    ______________________

    View Slide