[Соавтором данной статьи является Майкл Р. Дженкинс, доцент кафедры маркетинга в Университете штата Миссисипи.]
В академических кругах, похоже, растет консенсус относительно того, что система рецензирования — некогда основа академической науки — сломана. Но является ли это непоправимым? Возможно. По крайней мере, стоит изучить причины ее нынешнего краха. Однако вместо того, чтобы полностью отказаться от этой затеи, мы считаем, что у нас есть новое решение. Но сначала давайте рассмотрим, где система пошла не так.
В Средние века большая часть научных исследований публиковалась самостоятельно, поскольку ученые делились своими открытиями между собой. Но по мере развития профессии это стало непрактичным, и появился научный журнал как способ распространения информации. Ученый выдвигал идею, проводил исследование, обобщал свои выводы и отправлял получившуюся рукопись в журнал. Там редактор или редакторы рассматривали ее и решали, публиковать ли работу в первоначальном виде, запрашивать доработки или вовсе отклонить. Со временем, по мере того как число ученых продолжало расти, и все они находились под все возрастающим давлением необходимости публиковать, публиковать и еще раз публиковать — чтобы получить работу, должность и гранты — задача редакторов журналов стала непосильной. Заявок было слишком много, чтобы уделить им всем должное внимание.
Таким образом, у них возникла идея передать оценку представленных работ группам неоплачиваемых рецензентов — другим ученым в той же или смежной области, которые (по крайней мере, теоретически) были квалифицированы для оценки качества рассматриваемого исследования. Это позволило бы снять часть нагрузки с редакторов, а также придать готовому продукту дополнительную легитимность. Вопрос о том, достойна ли та или иная научная работа публикации, должен был решаться не одним или двумя людьми, а группой экспертов, оценивающих работы «вслепую». Таким образом, обозначение «рецензируемый» стало золотым стандартом для научных исследований. Публикация в «рецензируемом журнале» долгое время считалась практически неоспоримой, до такой степени, что политики и представители СМИ, кажется, убеждены, что могут выиграть любой спор, просто сославшись на «рецензируемое исследование».
Изначально это была довольно хорошая система, и она неплохо работала долгое время. Но, похоже, теперь её возможности исчерпаны. Требования к получению постоянной должности стали более количественными. Интернет снизил барьеры для подачи статей, побуждая больше учёных отправлять больше статей в большее количество журналов. Количество заявок из университетов Азии, Африки и Ближнего Востока резко возросло. Даже с увеличением числа журналов и рецензентов система дала сбой, как это в конечном итоге происходит со всеми крупными, сложными системами. Мы знаем, что это так, благодаря проблеме, впервые выявленной 20 лет назад учёным из Стэнфорда Джоном Иоаннидисом, которая с тех пор стала известна как «кризис воспроизводимости».
Одним из признаков хорошей науки является возможность воспроизведения эксперимента — то есть, другой исследователь, используя ту же методологию, получит тот же результат, а значит, полученные данные будут достоверными и согласованными. Но Иоаннидис в своей основополагающей статье 2005 года утверждал:Почему большинство опубликованных результатов исследований ложны(Обновлено в 2022 году) заключалось в том, что, ну, большинство опубликованных результатов исследований ошибочны. Эксперименты невозможно воспроизвести, что ставит под сомнение их достоверность.
С тех пор другие ученые оспорили тезис Иоаннидиса, особенно его использование слова «большинство». В частности, социологи утверждают, что эксперименты с участием людей часто невозможно воспроизвести именно потому, что сами люди непоследовательны. Тем не менее, ученые в целом согласны с тем, что кризис воспроизводимости реален, хотя и не настолько широко распространен, как предполагает Иоаннидис.
Какое отношение это имеет к рецензированию? Очевидно, что если бы система функционировала должным образом, с группами добросовестных экспертов, проверяющих и перепроверяющих работу друг друга, можно было бы ожидать, что очень немногие исследования проскользнут незамеченными. Другими словами, если бы рецензирование действительно работало, не возникло бы кризиса воспроизводимости.
К сожалению, точность системы — это даже не самая большая проблема. Как и многие другие учреждения, она превратилась в крайне политизированный замкнутый круг. Вместо механизма определения и распространения истины посредством системы научных сдержек и противовесов, рецензирование стало инструментом продвижения и навязывания ортодоксальных взглядов. Больше не являясь сообществом ученых, тщательно, но коллегиально проверяющих гипотезы друг друга, редакторы и рецензенты журналов назначили себя привратниками. Допускаются только те, кто произносит правильные пароли.
Возьмем, к примеру, область исследований климата. По крайней мере, на протяжении пары десятилетий научный консенсус заключается в том, что антропогенное изменение климата представляет собой экзистенциальную угрозу для человечества. Любому, кто оспаривает эту ортодоксию, независимо от качества его исследований или логики его аргументов, очень трудно опубликовать свои результаты в ведущих научных журналах. «Привратники» (читай: рецензенты) просто не позволят этого сделать.
А как насчет трансгендерной идеологии? Еще до того, как мы узнали, что Всемирная профессиональная ассоциация по трансгендерному здоровью (WPATH) скрывала и манипулировала своими данными, почему очень немногие ученые ставили под сомнение утверждение о том, что социальная, медицинская или хирургическая коррекция пола у несовершеннолетних уменьшает их страдания? Вы знаете ответ: они знали, что не могут этого сделать, не повредив своей карьере. Даже сейчас мы идем на профессиональный риск, просто указывая на это. Это не наука, которая продвигает поиск истины; это политика, которая препятствует ему.
Честно говоря, легко понять, почему это происходит. Мы даже не утверждаем, что это полностью злонамеренно. Это просто человеческая природа. Идеи, бросающие вызов предписанному образу мышления, всегда были непопулярны среди тех, кто эти предписывает, начиная с Коперника и Мартина Лютера. Новые открытия и теории, которые из них вырастают, угрожают дискредитировать теории предыдущего поколения ученых — и угадайте, кто в основном выступает в роли рецензентов? Когда мы говорим «политика», мы не обязательно имеем в виду это в партийном смысле, а скорее в личном: чьи интересы задеты?
Но, конечно же, в дело часто вступает и партийная политика, и идеология в частности. Даже в таких политически нестабильных дисциплинах, как климатология или «гендерные исследования» — например, бухгалтерский учет или маркетинг — молодым ученым все равно приходится преклоняться перед идеологическими богами своих старших коллег. Они должны должным образом уважать такие понятия, как «разнообразие, равенство и инклюзивность», «белость» и «маргинализированные группы населения», даже если эти понятия не имеют никакого отношения к их исследованиям или, что еще хуже, не подтверждаются их выводами. И, конечно же, если они действительно хотят опубликовать свои работы, они найдут способ связать эти выводы с политическими тенденциями текущего месяца. Отсюда и появляются статьи с заголовками вроде «Как брендинг, ориентированный на белизну, ставит в невыгодное положение потребителей из числа BIPOC» или «Учет маргинализированных групп населения в исследованиях в области менеджмента». (Одна из них реальна; другую мы придумали. Можете ли вы определить, какая из них какая?)
Итак, что же дальше? Мы считаем, что пришло время вернуться к средневековой модели «сообщества ученых» — с учетом реалий XXI века. Конечно, в большинстве дисциплин практически невозможно собрать всех ученых вместе, чтобы обмениваться рукописями (это может подтвердить любой, кто бывал на конференции), но благодаря современным технологиям ученые действительно могут «обмениваться» своими рукописями, делясь результатами своей работы с коллегами со всей страны и со всего мира.
Наша идея предполагает создание официальных онлайн-форумов для каждой дисциплины, где ученые смогут публиковать эссе о своих идеях на любом этапе, излагая теоретические основы, выдвигая гипотезы, раскрывая результаты исследований (включая методологию) и экстраполируя их на выводы или прогнозы. Другие ученые в сообществе смогут комментировать эти эссе, предлагая критические замечания, недостающую информацию и новые направления исследований. Они также смогут проводить собственные эксперименты, чтобы проверить, получаются ли у них такие же или похожие результаты, и «отчитываться» перед группой. Затем авторы оригинальных работ смогут использовать эту информацию для дальнейшего изучения темы исследования.
Одно из преимуществ такого подхода заключается в его итеративности, когда каждый ученый опирается на усилия своих предшественников. Другое преимущество состоит в том, что ученые могут «публиковать» свои работы независимо от полученных результатов. Распространенная критика существующей системы рецензирования заключается в том, что ученые могут публиковаться только в случае получения положительных результатов. Однако отрицательные результаты также являются результатами и по-своему способствуют развитию знаний. Точно так же, как ученым необходимо знать, что было признано истинным, чтобы развивать достигнутый прогресс, они должны знать и то, что было доказано ложным, чтобы избежать тех же ошибок.
Сообщения на форумах будут снабжены временными метками, чтобы авторы могли легко подтвердить авторство идей. К сообщениям можно будет добавлять гиперссылки для быстрого и удобного поиска дополнительной информации и ссылок. Чтобы отпугнуть недобросовестных участников, анонимность для авторов и комментаторов будет отсутствовать. Модераторство на форумах будет умеренным, чтобы гарантировать соответствие сообщений научным стандартам, с соблюдением надлежащего этикета, вежливости и указания авторства. Но будут рассматриваться все идеи. Не будет никакого «гейткипинга». Вместо этого сообщество будет саморегулироваться, «нормируя» (используя термин из социальных сетей), а не цензурируя «плохие» идеи.
Очевидно, что для того, чтобы эта система в конечном итоге заменила существующую систему экспертной оценки, университетам необходимо будет принять её и разработать способ оценки продуктивности учёных для целей присвоения ученой степени и тому подобного — возможно, на основе количества публикаций и реакции на них со стороны научного сообщества.
Но мы считаем, что именно к этому всё и идёт, и университетам, научным дисциплинам и обществам было бы полезно присоединиться к этому процессу. Нынешняя система утратила свою актуальность, став препятствием для поиска истины, а не средством её поддержания.
Присоединиться к разговору:
Опубликовано под Creative Commons Attribution 4.0 Международная лицензия
Для перепечатки установите каноническую ссылку на оригинал. Институт Браунстоуна Статья и Автор.
