Академические журналы и пресса регулярно подают свежую порцию увлекательных психологических исследований. Но сколько из этих экспериментов дало бы те же результаты во второй раз?
Связанный контент
- Исследования биомедицинской науки шокирующе трудно воспроизвести
- Исследования с более короткими названиями цитируются чаще
- Почему так мало ученых изучают причины насилия с применением огнестрельного оружия
Согласно работе, представленной сегодня в « Науке», менее половины из 100 исследований, опубликованных в 2008 году в трех ведущих психологических журналах, могут быть успешно воспроизведены. В международной работе приняли участие 270 ученых, которые повторно провели исследования других людей в рамках проекта «Воспроизводимость: психология», возглавляемого Брайаном Носеком из Университета Вирджинии.
Открывающие глаза результаты не обязательно означают, что эти первоначальные результаты были неверными или что научный процесс имеет недостатки. По словам соавтора Коди Кристоферсона из Университета Южного Орегона, когда одно исследование обнаруживает эффект, который второе исследование не может воспроизвести, существует несколько возможных причин. Результат исследования A может быть ложным, или результаты исследования B могут быть ложными - или могут быть некоторые тонкие различия в способе, которым были проведены два исследования, которые повлияли на результаты.
«Этот проект не является доказательством того, что что-то сломано. Скорее, это пример того, как наука делает то, что делает наука », - говорит Кристоферсон. «Невозможно ошибиться в конечном смысле в науке. Вы должны быть временно неправы, возможно, много раз, прежде чем вы когда-либо правы.
Во всех науках исследования считаются воспроизводимыми, когда независимая команда может провести опубликованный эксперимент, максимально точно следуя оригинальным методам, и получить те же результаты. Это одна из ключевых частей процесса сбора доказательств в поддержку теорий. Даже сегодня, спустя 100 лет после того, как Альберт Эйнштейн представил свою общую теорию относительности, ученые регулярно повторяют тесты ее предсказаний и ищут случаи, когда его знаменитое описание гравитации не применимо.
«Научные данные не основаны на доверии авторитету человека, который сделал открытие», - сказала член команды Анджела Эттвуд, профессор психологии в Бристольском университете. «Скорее, доверие накапливается благодаря независимой репликации и разработке идей». и доказательства ".
Проект «Воспроизводимость» - краудсорсинговый проект, основанный на сообществе - был запущен в 2011 году, чтобы проверить, насколько хорошо эта мера достоверности применима к последним исследованиям в области психологии. Ученые, некоторые из которых были завербованы, а некоторые - добровольцами, рассмотрели пул исследований и выбрали один для повторения, соответствующий их собственным интересам и опыту. Их данные и результаты были опубликованы в Интернете, рассмотрены и проанализированы другими участвующими учеными для включения в большое научное исследование.
Чтобы помочь улучшить будущие исследования, анализ проекта попытался определить, какие исследования были наиболее эффективными и почему. Они обнаружили, что удивительные результаты было труднее всего воспроизвести, и что опыт или опыт ученых, которые проводили оригинальные эксперименты, имели мало общего с успешной репликацией.
Результаты также предложили некоторую поддержку часто критикуемого статистического инструмента, известного как Значение P, которое измеряет, является ли результат значительным или случайным. Более высокое значение означает, что результат, скорее всего, является случайностью, а более низкое значение означает, что результат является статистически значимым.
Анализ проекта показал, что низкое значение P вполне предсказуемо, какие психологические исследования могут быть воспроизведены. Двадцать из 32 оригинальных исследований со значением Р менее 0, 001 могут быть воспроизведены, например, в то время как только 2 из 11 работ со значением более 0, 04 были успешно воспроизведены.
Но Кристоферсон подозревает, что большинство его соавторов не хотели бы, чтобы исследование было воспринято как громкое подтверждение значений P, потому что они признают ограничения инструмента. И, по крайней мере, одна проблема значения P была подчеркнута в исследовании: в оригинальных исследованиях была относительно небольшая изменчивость в значении P, потому что большинство журналов установили ограничение в 0, 05 для публикации. Проблема в том, что ценность может быть достигнута путем избирательного подхода к наборам данных, а это означает, что ученые, желающие воспроизвести результат, должны также тщательно рассмотреть методы и данные, использованные в первоначальном исследовании.
Также еще не ясно, может ли психология быть особенно трудной областью для воспроизводимости - аналогичное исследование в настоящее время ведется в области исследований биологии рака. В то же время, Кристоферсон надеется, что огромные усилия будут стимулировать больше таких двойных проверок и повторных проверок прошлых исследований, чтобы помочь научному процессу.
«Понимать это правильно - значит регулярно пересматривать прошлые предположения и прошлые результаты и находить новые способы их проверки. Наука может быть успешной и заслуживающей доверия только в том случае, если она самокритична », - отмечает он.
К сожалению, есть препятствия для проведения такого рода исследований, он говорит: «Чтобы получить работу и продвигаться в научных кругах, вы должны публиковать оригинальные исследования, поэтому прямые репликации встречаются реже. Я надеюсь в будущем, что университеты и финансирующие учреждения, ответственные за стимулирование этого исследования, и средства массовой информации, освещающие их, поймут, что они являются частью проблемы, и что обесценивание репликации таким образом создало менее стабильную литературу, чем мы Я бы хотел.
