О достоверности научных результатов

Доклад с конференции skepticon.ru.

Transcript

1. О достоверности научных результатов Вячеслав Матюхин
2. Шоколад приводит к снижению веса “Сочетание шоколада и низкоуглеводной диеты позволяет добиться больших результатов в снижении веса.” http://www.dni.ru/culture/2015/4/2/299620.html
3. Йоханнес Боханнон
 (Johannes Bohannon) Институт питания и здравоохранения
 (Institute of Diet and Health) Международные архивы медицины
 (International Archives of Medicine) Шоколад приводит к снижению веса
4. Йоханнес Боханнон
 (Johannes Bohannon) …Джон Боханнон, биолог и научный журналист. Шоколад приводит к снижению веса
5. Джон Боханнон
 (John Bohannon) “I Fooled Millions Into Thinking Chocolate Helps Weight Loss. Here's How.” Шоколад приводит к снижению веса http://io9.com/i-fooled-millions-into-thinking-chocolate-helps-weight-1707251800
6. Институт питания и здравоохранения
 (Institute of Diet and Health) …не существует. Шоколад приводит к снижению веса
7. Международные архивы медицины
 (International Archives of Medicine) …медицинский журнал с открытым доступом. Шоколад приводит к снижению веса
8. Собственно исследование,
 “Chocolate with high Cocoa content as a weight-loss accelerator”? В самом деле было проведено. Шоколад приводит к снижению веса
9. Шоколад приводит к снижению веса “Исследователи разделили всех добровольцев, чей возраст составляет от 19 до 67, на три группы. В первой группе диета составляла низкое содержание углеводов. Вторая следовала низкоуглеводной диете, а также ежедневно съедала по 42 грамма темного шоколада, в составе которого 81% какао. Представители третьей группы, являющейся контрольной, вели обычный рацион питания.” http://www.dni.ru/culture/2015/4/2/299620.html
10. Шоколад приводит к снижению веса
11. Шоколад приводит к снижению веса • 16 участников • 18 измерений: вес, холестирин, натрий, качество сна, самочувствие, … • P-значение: 0.04
12. P-value • Нулевая гипотеза: отсутствие эффекта • Ошибка первого рода (ложноположительный результат):
 отвергнуть нулевую гипотезу, когда она на самом деле верна
13. P-value • P-значение: вероятность ошибки первого рода при отклонении нулевой гипотезы Насколько вероятно, что мы бы получили такие (или более сильные) данные случайно, если бы на самом деле эффекта не было?
14. P-value • Уровень значимости:
 максимальное p-значение,
 при котором можно публиковаться :)
15. P-value https://xkcd.com/1478/
16. P-value Basic and Applied Social Psychology
 Editorial (2015) “[…] 2014 Editorial emphasized that the null hypothesis significance testing procedure (NHSTP) is invalid […]” “From now on, BASP is banning the NHSTP.”
17. P-value • Вероятность получения данных при нулевой гипотезе • P(Data|H0) • Как насчет P(H0|Data)?
18. P-value Теорема Байеса!
19. P-value Если априорная P(Halt) имеет меньший порядок, чем p-значение, то апостериорная P(Halt) все еще достаточно мала. Другими словами: “Экстраординарное утверждение требует экстраординарных доказательств”.
 — Марчелло Труцци
20. P-hacking Где обман? https://xkcd.com/882/
21. P-hacking
22. P-hacking
23. P-hacking
24. P-hacking
25. P-hacking
26. P-hacking
27. Publication bias • P-hacking обычно не является намеренным подлогом • Но ненулевые результаты чаще издаются
28. Publication bias http://www.jasnh.com/ Welcome to the Journal of Articles in Support of the Null Hypothesis. In the past other journals and reviewers have exhibited a bias against articles that did not reject the null hypothesis. We seek to change that by offering an outlet for experiments that do not reach the traditional significance levels (p < .05).
29. HARKing • HARKing — Hypothesizing After the Results are Known • сначала собираем данные, потом придумываем под них теорию
30. Garden of forking paths 1. придумываем научную гипотезу 2. собираем данные 3. выбираем статистическую гипотезу Особенно удобно, когда данные многомерны.
31. Другое исследование: “Новый ключ к снижению веса - шоколад и прочие сладости. Правда, с некоторой оговоркой диетологи оговариваются: сладкое необходимо есть только утром.” http://medvesti.com/zdorovie/pitanie/1308-novyy-klyuch-k-snizheniyu-vesa-shokolad-i- prochie-sladosti.html Снова шоколад
32. Hierarchy of evidence Кому верить? 7. Case reports 6. Cross sectional surveys 5. Case-control studies 4. Cohort studies 3. RCTs with non-definitive results 2. RCTs with definitive results 1. Systematic reviews and meta-analyses
33. Что делать (продвинутым) обывателям? • Не верить единичным исследованиям • Искать мета-аналитические исследования • Вообще не мыслить категориями “доказано”
34. Что делать ученым? • Учить статистику • Пре-регистрировать исследования
35. Что делать ученым? “We report how we determined our sample size, all data exclusions (if any), all manipulations, and all measures in the study.” A 21 Word Solution
 By Joe Simmons, Leif Nelson and Uri Simonsohn
36. Что делать науке? • Повысить формальные требования по методологии и применению статистики • Требовать пререгистрации исследований • Поощрять replication studies
37. Гора ссылок • Andrew Gelman, http://andrewgelman.com/ • “False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant”
 Joseph P. Simmons Leif D. Nelson and Uri Simonsohn • “Why Most Published Research Findings Are False”
 John P. A. Ioannidis • “Science is’t broken”
 Christie Aschwanden, FiveThirtyEight
38. Credentials Вячеслав Матюхин
 me@berekuk.ru Сообщество Lesswrong
 lesswrong.ru Антикафе “Кочерга”
 kocherga-club.ru