Трудно спорить с силой науки. От исследований, которые оценивают последние диетические тенденции, до экспериментов, которые освещают предикторы счастья, люди стали все чаще рассматривать научные результаты как конкретные, надежные факты, которые могут определять наше мышление и действия.
Связанный контент
- Ученые повторили 100 исследований по психологии, и менее половины получили те же результаты
Но за последние несколько лет растущий контингент ученых начал подвергать сомнению достоверность опубликованных исследований - даже после того, как они преодолели препятствия рецензирования и появились в широко уважаемых журналах. Проблема заключается в распространенной неспособности воспроизвести значительную долю результатов в многочисленных дисциплинах.
Например, в 2005 году Джон Иоаннидис, профессор медицины в Стэнфордском университете, использовал несколько симуляций, чтобы показать, что научные утверждения скорее ложны, чем верны. А этим летом Брайан Носек, профессор психологии в Университете Вирджинии, попытался повторить результаты 100 исследований по психологии и обнаружил, что только 39 процентов результатов были выдержаны при строгом повторном тестировании.
«Существует множество доказательств, как теоретических, так и эмпирических, которые начали ставить под сомнение воспроизводимость значительного сегмента научной литературы», - говорит Иоаннидис. «Мы получаем миллионы бумаг, которые никуда не денутся».
Эти предварительные результаты породили создание совершенно новой области, называемой метаисследованием - научное исследование науки.
На этой неделе отдел биологии Публичной научной библиотеки (PLOS), некоммерческой организации, занимающейся публикацией и пропагандой, открыл новый раздел, посвященный исключительно метаисследованиям. В этом разделе будут рассмотрены такие вопросы, как прозрачность в исследованиях, методологические стандарты, источники предвзятости, обмен данными, структуры финансирования и стимулирования.
Для начала Иоаннидис и его коллеги оценили случайную выборку из 441 биомедицинских статей, опубликованных в период между 2000 и 2014 годами. Они проверили, предоставляют ли эти документы открытый доступ к необработанным данным и экспериментальным протоколам, были ли они воспроизведены в последующих исследованиях, интегрированы ли их результаты в систематические обзоры предметной области и включенная документация источников финансирования и других потенциальных конфликтов интересов.
Их результаты были по меньшей мере тревожными. Например, только одно исследование предоставило полные экспериментальные протоколы, а нулевое исследование предоставило непосредственно доступные исходные данные.
«Это два основных столпа воспроизводимости», - говорит Иоаннидис. «Если нет данных и полного протокола, никто не сможет ничего воспроизвести». В конце концов, без этой ключевой информации, как другая команда может точно знать, что делать, и как ее результаты отличаются от результатов исходного эксперимента?
Команда также обнаружила, что утверждения только восьми из опрошенных статей были позже подтверждены последующими исследованиями. И хотя во многих исследованиях утверждается, что они имеют новые результаты, результаты только 16 статей были включены в последующие обзорные статьи, которые служат лакмусовой бумажкой для определения истинного влияния исследования на конкретный предмет.
«Числа, которые мы получаем, довольно страшны, - говорит Иоаннидис. - Но вы можете видеть это как исходную точку того, где мы находимся сейчас, и есть много возможностей для улучшения».
Однако не все результаты были обескураживающими. Доля статей без заявления о конфликте интересов снизилась с 94, 4 процента в 2000 году до 34, 6 процента в 2014 году - вероятно, в результате растущей осведомленности о пагубном влиянии предвзятости на результаты исследований.
Во втором мета-исследовательском исследовании немецкая команда проанализировала, как потеря животных на доклинических испытаниях может способствовать распространенной неспособности перевести результаты лабораторных исследований в полезные клинические препараты.
Исследуемые животные могут исчезать из исследования случайным образом, например, из-за того, что животное умерло, или из-за незначительных предвзятых действий, таких как удаление из испытания для устранения данных, которые подрывают ожидаемые результаты. Команда продемонстрировала, что необъективное удаление животных может исказить результаты и значительно увеличить вероятность ложноположительного результата - когда считается, что новое лекарство работает, но на самом деле это не так.
В отдельном анализе доклинических исследований инсульта и рака те же исследователи обнаружили, что в большинстве работ недостаточно сообщается о потере животных, и что положительные эффекты многих тестируемых препаратов могут быть значительно переоценены.
Так почему же этот кризис прозрачности и воспроизводимости происходит в первую очередь?
Хотя некоторые проблемы могут заключаться в сознательных или неосознанных предубеждениях в отношении исследований, вполне вероятно, что большинство исследований, которые достигают публикации, являются единственными в своем роде из-за существующей структуры стимулов в науке.
В беспощадном научном мире основной мерой успеха является количество исследований, которые исследователь получает в престижных журналах. В результате ученые вынуждены тратить большую часть своего времени на получение прорывных результатов, которые с наибольшей вероятностью будут опубликованы.
«Хотя мы ценим воспроизводимость в концепции, мы на самом деле не ценим ее на практике», - говорит Носек, который также является со-директором Центра открытых наук, некоммерческого технологического стартапа, который способствует прозрачности и воспроизводимости научных исследований.
«Истинными стимулами, побуждающими меня вести себя как ученого, являются инновации, новые открытия и новые возможности, а не повторение того, что сделали другие. Это скучная часть науки ».
Ученые также видят мало стимулов для предоставления информации, необходимой для того, чтобы другие копировали их работу, что является одной из основных причин, почему требования столь многих исследований остаются непроверенными.
«Я не вознагражден за то, что сделал мои данные доступными или изложил мою методологию более глубоко, чем то, что требуется для публикации», - говорит Носек.
Многие журналы просят ученых предоставить подробное объяснение их методов и обмениваться данными, но эти правила применяются редко и универсальных стандартов публикации не существует.
«Если бы я знал, что на дорогах никогда не будет копов, буду ли я всегда придерживаться ограничения скорости? Нет, это человеческая природа », - говорит Иван Оранский, соучредитель Retraction Watch, организации, которая продвигает ответственность и прозрачность, отслеживая опровержения в научной литературе. «Если вы знаете, что никто не собирается налагать на вас санкции, то вы не собираетесь делиться данными».
Те ученые, которые хотят проводить репликационную работу и могут получить экспериментальные данные, вряд ли найдут финансирование у государственных учреждений, таких как NIH, которые в основном оценивают заявки на гранты на основе новизны и инноваций.
«Шансы явно не зависят от репликации», - говорит Иоаннидис.
Вот где может появиться новая область мета-исследований. Такие организации, как Центр открытой науки и Инновационный центр мета-исследований в Стэнфорде (METRICS), работают над тем, чтобы помочь перестроить систему вознаграждений и установить строгие универсальные стандарты, которые будут стимулировать более широкое распространение. практика прозрачности и воспроизводимости.
«Если бы уровни финансирования или продвижения по службе зависели от того, что случилось с вашим предыдущим исследованием - если бы оно было тиражируемым, если бы люди могли понять это, если бы люди могли перевести его на что-то полезное, а не просто на то, сколько статей вы опубликовали, - это было бы очень сильный стимул к тому, чтобы изменить исследования, чтобы они стали более воспроизводимыми », - говорит Иоаннидис, один из директоров METRICS.
«Я надеюсь, что эти показатели улучшатся», - добавляет он. «И для некоторых из них нет другой возможности, кроме как подняться, потому что мы начинаем с нуля».
