Теории мета-оценки: прямой доступ, частичный доступ, косвенные оценки

Презентация доклада А.А. Четверикова "Теории мета-оценки: прямой доступ, частичный доступ, косвенные оценки" на семинаре "Автоматизм инсайта, или Почему удивляются роботы". Тезисы доклада опубликованы на сайте Cogito ergo ... : http://cogitoergo.ru/2012/11/meta-knowledge/

Transcript

1. Теории мета-оценки: прямой доступ, частичный доступ, косвенные оценки Андрей Четвериков, СПбГУ Семинар "Автоматизм инсайта ..." СПб, 09.11.2012
2. Мета-оценки Мета-оценки - субъективная оценка эффективности решения когнитивных задач: • чувство знания — «знаю ли я нечто?» или «смогу ли я это вспомнить»? • суждения о легкости изучения — «насколько легко мне будет изучить этот материал?» • уверенность в ответе — «правильно ли я ответил?» • чувство близости решения — «насколько я близок к решению задачи?» • переживание беглости переработки информации — «насколько легко и плавно протекает процесс?»
3. Инсайт и мета-оценки • Инсайт субъективен и неожиданен (Aha-Erlebnis). • Metcalfe: задачи на инсайт отличаются от обычных резким переходом от ситуации незнания к ситуации знания. • Почему человек не осознает приближения к ответу? • Как он понимает, что ответ верный? Артур Фрай, изобретатель стикеров
4. Ложные инсайты... ‘‘How you,’’ began Mackey, ‘‘how could you, a mathematician, a man devoted to reason and logical proof . . . how could you believe that extraterrestrials are sending you messages? How could you believe that you are being recruited by aliens from outer space to save the world? How could you ...?’’ Sylvia Nasar. A Beautiful Mind: A Biography of John Forbes Nash, Jr., Winner of the Nobel Prize in Economics Simon & Schuster, 1994, p. 11.
5. Ложные инсайты... Nash looked up at last and fixed Mackey with an unblinking stare as cool and dispassionate as that of any bird or snake. ‘‘Because,’’ Nash said slowly in his softly, reasonable southern drawl, as if talking to himself, ‘‘the ideas I had about supernatural beings came to me in the same way that my mathematical ideas did. So I took them seriously.’’ Sylvia Nasar. A Beautiful Mind: A Biography of John Forbes Nash, Jr., Winner of the Nobel Prize in Economics Simon & Schuster, 1994, p. 11.
6. ... и проблемы мета-оценок • Проблема несоответствия мета-оценок и ответов: ◦ знание в отсутствие знания (чувство на кончике языка) ◦ отсутствие знания в присутствии знания (mere exposure, имплицитное научение) • Проблема несоответствия мета-оценок и объективной эффективности (сверх/недоуверенность, ложные инсайты)
7. ... и еще проблемы мета-оценок • Соответствие мета-оценок и ответов • Сответствие мета-оценок и объективной эффективности (уверенность в ответе в отсутствие перепроверки)
8. Три класса теорий мета-оценок • Теории прямого доступа • Теории частичного доступа • Теории косвенной оценки
9. Теории прямого доступа Мета-оценки обладают доступом к той же информации, что и сами решения, но отличаются от них тем, что: 1) используют разные критерии 2) используют разные "пути доступа" 3) используют разные параметры информации
10. Разные критерии ТОС (Tanner & Swets, 1954; Macmillan & Creelman, 2005)
11. Разные критерии ТОС (Tanner & Swets, 1954; Macmillan & Creelman, 2005)
12. Разные "пути" доступа Классический вариант - чувство знания как монитор уровня активности (Hart, 1967) Двухпроцессные теории - диссоциация процессов может объснять диссоциацию ответов (Tulving, 1985; Yonilenas, 2001)
13. Разные параметры информации • Модель серий Audley (1960): уверенность = число переходов при накоплении информации о решении • Модель аккумулятора Vickers (2001): уверенность = разнице в количестве свидетельств в пользу вариантов. • Теория вероятностных ментальных моделей (Gigerenzer et al, 1991): уверенность = оценка валидности использованного ключа
14. Теории прямого доступа: общее Они предполагают, что для мета-оценки используется та же информация, что и для самого ответа.
15. Теории прямого доступа: общее Общие проблемы: • Диссоциация ответов и мета-оценок: ◦ имплицитное научение, ◦ исчезновение чувства узнавания при сохранности обычной памяти (Struss, 1991), ◦ особые случаи аномии (Funnell et al, 1996), ◦ диссоциация предикторов • возможность несоответствия мета-оценок и объективной точности ответов: уверенно неправильные ответы
16. Теории частичного доступа Решение проблемы диссоциации. Мета-оценки обладают доступом только к результатам решения задачи, но сам результат может быть неполным. Информация "графическая" обработка "фонетическая" обработка "семантическая" обработка "эмоциональная" обработка Ответ Мета-оценка }
17. Теории частичного доступа Brown & McNeill (1966) - чувство "на кончике языка" как частичное воспроизведение СЕКСТАНТ С__Т__НТ МОРЕ, ЗВЕЗДЫ Графические черты Семантические связи СЕКСТЕТ, СЕКТАНТ, СЕКСОТ АСТРОЛЯБИЯ, КОМПАС
18. Теории частичного доступа Kouider, S., De Gardelle, V. (2010) How rich is consciousness ? The partial awareness hypothesis. Trends in Cognitive Sciences 14 (7) p. 301-307
19. Теории частичного доступа Основная проблема: • соответствие объективной эффективности и мета- оценок • влияние иррелевантных параметров на мета- оценку Мета-оценка Решение
20. Теории косвенной оценки Теории косвенной оценки: • основанные на информации • основанные на переживании (cf. Koriat, 2007)
21. Теории косвенной оценки No-Magic Hypothesis (Nelson & Narens, 1990): • Воспроизводимые свойства материала. • Правила вывода мета-оценок. В будущем все будет также как в прошлом Я вот-вот вспомню (чувство на кончике языка) Я много раз вспоминал это раньше
22. Теории косвенной оценки • Влияние общих схем (Erlinger & Dunning, 2003) • Проклятье знания (Camerer et al, 1989) и сверхуверенность экспертов (Zaleskiewicz, 2011; Torngren & Montgomery, 2004) • Внешние оценки степени заученности не отличаются от самооценок (Matvey et al, 2001) Мета-оценки определяются представлениями испытуемых о мета-оценках
23. Теории косвенной оценки Мета-оценки, основанные на переживании: • теория "доступности информации" (Koriat, 1993) • теория "согласованности ответа" (Koriat, 2008, 2011) • теория "беглости переработки информации" Отсутствуют эксплицитные (или эксплицируемые) правила вывода.
24. Теории косвенной оценки Основные проблемы: • Соответствие мета-оценок и объективной точности A. Koriat: "Мета-знания точны, поскольку точны знания" • Зачем так сложно? Использование косвенных параметров вместо прямых оценок.
25. Итого Использование ключей для решения - валидных и не очень. Ответы и мета-оценки используют частично разные, а частично одни и те же данные. Схожие теории существуют для всех классов мета-оценок, они различаются скорее материалом.
26. Итого Схожесть развитых теорий прямого доступа (разные свойства информации) и теорий косвенной оценки (разные свойства итогов работы эвристик). Есть прогресс, это хорошо.
27. Назад к инсайту Инсайт как субъективное переживание - прямой доступ? Маловероятно. Скорее речь идет об использовании набора эвристик, включая те, которые относятся к решению и те, которые к нему не относятся. Proneness to insight? Экспериментальная индукция инсайта?
28. Uniting metacognitive tribes... Uniting the Tribes of Fluency to Form a Metacognitive Nation (Alter & Oppenheimer, 2009) Uniting metacognitive tribes to form an affective nation? Or whatever nation you like.
29. Do you?