Save 37% off PRO during our Black Friday Sale! »

О достоверности научных результатов

О достоверности научных результатов

Доклад с конференции skepticon.ru.

C4b6aeeac2ce08e88cc81c7443a3ef55?s=128

Vyacheslav Matyukhin

November 28, 2015
Tweet

Transcript

  1. О достоверности научных результатов Вячеслав Матюхин

  2. Шоколад приводит к снижению веса “Сочетание шоколада и низкоуглеводной диеты

    позволяет добиться больших результатов в снижении веса.” http://www.dni.ru/culture/2015/4/2/299620.html
  3. Йоханнес Боханнон
 (Johannes Bohannon) Институт питания и здравоохранения
 (Institute of

    Diet and Health) Международные архивы медицины
 (International Archives of Medicine) Шоколад приводит к снижению веса
  4. Йоханнес Боханнон
 (Johannes Bohannon) …Джон Боханнон, биолог и научный журналист.

    Шоколад приводит к снижению веса
  5. Джон Боханнон
 (John Bohannon) “I Fooled Millions Into Thinking Chocolate

    Helps Weight Loss. Here's How.” Шоколад приводит к снижению веса http://io9.com/i-fooled-millions-into-thinking-chocolate-helps-weight-1707251800
  6. Институт питания и здравоохранения
 (Institute of Diet and Health) …не

    существует. Шоколад приводит к снижению веса
  7. Международные архивы медицины
 (International Archives of Medicine) …медицинский журнал с

    открытым доступом. Шоколад приводит к снижению веса
  8. Собственно исследование,
 “Chocolate with high Cocoa content as a weight-loss

    accelerator”? В самом деле было проведено. Шоколад приводит к снижению веса
  9. Шоколад приводит к снижению веса “Исследователи разделили всех добровольцев, чей

    возраст составляет от 19 до 67, на три группы. В первой группе диета составляла низкое содержание углеводов. Вторая следовала низкоуглеводной диете, а также ежедневно съедала по 42 грамма темного шоколада, в составе которого 81% какао. Представители третьей группы, являющейся контрольной, вели обычный рацион питания.” http://www.dni.ru/culture/2015/4/2/299620.html
  10. Шоколад приводит к снижению веса

  11. Шоколад приводит к снижению веса • 16 участников • 18

    измерений: вес, холестирин, натрий, качество сна, самочувствие, … • P-значение: 0.04
  12. P-value • Нулевая гипотеза: отсутствие эффекта • Ошибка первого рода

    (ложноположительный результат):
 отвергнуть нулевую гипотезу, когда она на самом деле верна
  13. P-value • P-значение: вероятность ошибки первого рода при отклонении нулевой

    гипотезы Насколько вероятно, что мы бы получили такие (или более сильные) данные случайно, если бы на самом деле эффекта не было?
  14. P-value • Уровень значимости:
 максимальное p-значение,
 при котором можно публиковаться

    :)
  15. P-value https://xkcd.com/1478/

  16. P-value Basic and Applied Social Psychology
 Editorial (2015) “[…] 2014

    Editorial emphasized that the null hypothesis significance testing procedure (NHSTP) is invalid […]” “From now on, BASP is banning the NHSTP.”
  17. P-value • Вероятность получения данных при нулевой гипотезе • P(Data|H0)

    • Как насчет P(H0|Data)?
  18. P-value Теорема Байеса!

  19. P-value Если априорная P(Halt) имеет меньший порядок, чем p-значение, то

    апостериорная P(Halt) все еще достаточно мала. Другими словами: “Экстраординарное утверждение требует экстраординарных доказательств”.
 — Марчелло Труцци
  20. P-hacking Где обман? https://xkcd.com/882/

  21. P-hacking

  22. P-hacking

  23. P-hacking

  24. P-hacking

  25. P-hacking

  26. P-hacking

  27. Publication bias • P-hacking обычно не является намеренным подлогом •

    Но ненулевые результаты чаще издаются
  28. Publication bias http://www.jasnh.com/ Welcome to the Journal of Articles in

    Support of the Null Hypothesis. In the past other journals and reviewers have exhibited a bias against articles that did not reject the null hypothesis. We seek to change that by offering an outlet for experiments that do not reach the traditional significance levels (p < .05).
  29. HARKing • HARKing — Hypothesizing After the Results are Known

    • сначала собираем данные, потом придумываем под них теорию
  30. Garden of forking paths 1. придумываем научную гипотезу 2. собираем

    данные 3. выбираем статистическую гипотезу Особенно удобно, когда данные многомерны.
  31. Другое исследование: “Новый ключ к снижению веса - шоколад и

    прочие сладости. Правда, с некоторой оговоркой диетологи оговариваются: сладкое необходимо есть только утром.” http://medvesti.com/zdorovie/pitanie/1308-novyy-klyuch-k-snizheniyu-vesa-shokolad-i- prochie-sladosti.html Снова шоколад
  32. Hierarchy of evidence Кому верить? 7. Case reports 6. Cross

    sectional surveys 5. Case-control studies 4. Cohort studies 3. RCTs with non-definitive results 2. RCTs with definitive results 1. Systematic reviews and meta-analyses
  33. Что делать (продвинутым) обывателям? • Не верить единичным исследованиям •

    Искать мета-аналитические исследования • Вообще не мыслить категориями “доказано”
  34. Что делать ученым? • Учить статистику • Пре-регистрировать исследования

  35. Что делать ученым? “We report how we determined our sample

    size, all data exclusions (if any), all manipulations, and all measures in the study.” A 21 Word Solution
 By Joe Simmons, Leif Nelson and Uri Simonsohn
  36. Что делать науке? • Повысить формальные требования по методологии и

    применению статистики • Требовать пререгистрации исследований • Поощрять replication studies
  37. Гора ссылок • Andrew Gelman, http://andrewgelman.com/ • “False-Positive Psychology: Undisclosed

    Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant”
 Joseph P. Simmons Leif D. Nelson and Uri Simonsohn • “Why Most Published Research Findings Are False”
 John P. A. Ioannidis • “Science is’t broken”
 Christie Aschwanden, FiveThirtyEight
  38. Credentials Вячеслав Матюхин
 me@berekuk.ru Сообщество Lesswrong
 lesswrong.ru Антикафе “Кочерга”
 kocherga-club.ru