Новый кризис репликации: цитируется исследование, которое с меньшей вероятностью будет правдой.

Согласно новому исследованию школы менеджмента Рэди Калифорнийского университета в Сан-Диего, статьи в ведущих психологических, экономических и научных журналах, которые не могут быть воспроизведены и поэтому с меньшей вероятностью соответствуют действительности, часто являются наиболее цитируемыми в академических исследованиях.

Опубликовано в Достижения наукиВ статье исследуется продолжающийся «кризис репликации», в ходе которого исследователи обнаружили, что многие открытия в области социальных наук и медицины не оправдываются, когда другие исследователи пытаются повторить эксперименты.

В документе показано, что результаты исследований, которые невозможно проверить при повторении экспериментов, имеют большее влияние с течением времени. Ненадежное исследование обычно цитируется так, как если бы результаты были правдой еще долгое время после того, как публикация не была воспроизведена.

«Мы также знаем, что эксперты могут хорошо предсказать, какие статьи будут тиражированы», — пишут авторы Марта Серра-Гарсия, доцент кафедры экономики и стратегии школы Рэди, и Ури Гнизи, профессор поведенческой экономики из школы Рэди. «Учитывая это предсказание, мы спрашиваем, почему вообще не тиражируемые статьи принимаются к публикации?»

Их возможный ответ заключается в том, что группы обозревателей академических журналов идут на компромисс. Когда результаты более «интересны», они применяют более низкие стандарты в отношении их воспроизводимости.

Связь между интересными открытиями и неизученными исследованиями также может объяснить, почему на них цитируют гораздо чаще — авторы обнаружили, что статьи, которые успешно копируются, цитируются в 153 раза реже, чем неудачные.

«Интересные или привлекательные результаты также чаще освещаются в СМИ или распространяются на таких платформах, как Twitter, привлекающие много внимания, но это не делает их правдой », — сказал Гнизи.

Серра-Гарсиа и Гнизи проанализировали данные трех влиятельных репликационных проектов, которые пытались систематически воспроизводить результаты в ведущих психологических, экономических и общих научных журналах (Nature и Science). В психологии удалось воспроизвести только 39 процентов из 100 экспериментов. В области экономики 61 процент из 18 исследований были воспроизведены, как и 62 процента из 21 исследования, опубликованного в журнале Nature / Science.

На основе результатов этих трех проектов репликации авторы использовали Google Scholar, чтобы проверить, цитируются ли статьи, которые не удалось воспроизвести, значительно чаще, чем те, которые были успешно реплицированы, как до, так и после публикации проектов репликации. Самый большой пробел был в статьях, опубликованных в журнале Nature / Science: статьи, не подлежащие тиражированию, цитировались в 300 раз чаще, чем тиражируемые.