Кокрановская проверка фактов с абсурдными результатами

17 февраля проверка фактов Ирия Карбальо-Карбахал, нейробиолог по образованию, но, видимо, без образования в области эпидемиологии, опубликовал «проверку фактов» гайд на сайте Health Feedback. В своем заголовке Карбальо-Карбахал делает следующее заявление: «Многочисленные исследования показывают, что маски для лица снижают распространение COVID-19; Кокрановский обзор не демонстрирует обратного».

Эта статья в настоящее время используется социальными сетями для подавления любых ссылок на исследование Кокрейн. Я узнал об этом 10 марта, когда получил уведомление о том, что сообщение члена группы в Facebook, которой я руковожу, содержит «ложную информацию».

В сообщении упоминается мнение статья о Кокрейновском обзоре в New York Times, опубликованный 10 февраля. В качестве ресурса «независимой проверки фактов» упоминалась вышеупомянутая статья Carballo-Carbajal. Получение штампа проверки фактов может быть серьезной проблемой для газеты, не менее серьезной проблемой является и научное учреждение. Поэтому не стало неожиданностью, что уже 10 марта редактор Кокрейн Карла Соарес-Вайзер опубликовала заявление, в котором пытались преуменьшить результаты исследования, ошибочно утверждая, что исследование направлено только на оценку эффективности вмешательств для содействовать ношение маски, в то время как четко указано цель Целью исследования является оценка эффективности самих физических вмешательств, а не только эффективности их продвижения.

В тот же день New York Times опубликованных кусок утверждая в заголовке, что маски, безусловно, работают, но по большей части посвящены очернению автора Кокрановского исследования доктора Тома Джефферсона. Например, в статье утверждается, что Джефферсон заявил в интервью что нет никаких доказательств того, что вирус SARS-CoV-2 передается по воздуху, в то время как на самом деле он говорит, что существует много путей передачи, и необходимы дополнительные доказательства, чтобы точно установить, как происходит передача.

Эта цепь событий — поразительно яркий пример того, как работает индустрия цензуры. Это тем более шокирует, учитывая, насколько серьезно ошибочна статья Карбальо-Карбахала о проверке фактов с точки зрения фактов, логики и этики.

1. Соломенный человек

Карбальо-Карбахал начинает с создания ложного чучела, в данном случае заявление, приписываемое доктору Роберту Мэлоуну, со ссылкой на недавнее после в его блоге. Под заголовком «Утверждение» предполагаемое утверждение сформулировано следующим образом: «Маски для лица неэффективны в снижении распространения COVID-19 и других респираторных заболеваний, как показывает Кокрановский обзор». Это утверждение, процитированное помимо фотографии доктора Мэлоуна, отсутствует в его сообщении в блоге.

Как будто этого было недостаточно, Карбальо-Карбахал продолжает, представляя то, что она называет «полным заявлением»: «Обзор» не обнаружил даже «скромного влияния» на уровень инфицирования или заболеваемости: «Центр по контролю и профилактике заболеваний сильно преувеличил доказательства, подтверждающие мандаты на маски ».

Проблема в том, что, хотя доктор Мэлоун правильно процитирован в первой части абзаца, во второй он просто не говорит в своем блоге.

2. Индивидуальный подход

Затем Карбальо-Карбахал берет на себя нападки на доктора Мэлоуна, утверждая, что он распространил «дезинформацию о вакцинах против Covid-19», ссылаясь на другую статью, также опубликованную Health Feedback. В чем, согласно этой статье, состоит предполагаемая дезинформация?  гайд представляет собой «проверку фактов» Washington Times авторская статья доктора Мэлоуна и доктора Питера Наварро, опубликованная в 2021 году, в которой они выступают против политики всеобщей вакцинации правительства США, утверждая, что она основана на четырех ошибочных предположениях. Во-первых, всеобщая вакцинация может уничтожить вирус, во-вторых, вакцины очень эффективны, в-третьих, они безопасны, и, в-четвертых, иммунитет, опосредованный вакцинами, долговечен.

Карбальо-Карбахаль едва ли могла быть менее удачлива с ее рекомендацией. В настоящее время совершенно ясно, что всеобщая вакцинация не может уничтожить вирус, что вакциноопосредованный иммунитет ослабевает очень быстро, вплоть до того, что становится отрицательным, поскольку инфекция исследования и повторное заражение исследования уже показали. Тот факт, что вакцины не «(почти) совершенно эффективны», цитируя статью Мэлоуна и Наварро, давно очевиден; на самом деле это причина, по которой они не могут уничтожить вирус.

Что касается третьего пункта, то это то, что говорят Мэлоун и Наварро в своих гайд: «Третье предположение состоит в том, что вакцины безопасны. Тем не менее, ученые, врачи и чиновники общественного здравоохранения теперь признают риски, которые редки, но ни в коем случае не тривиальны. Известные побочные эффекты включают серьезные сердечные и тромботические состояния, нарушения менструального цикла, паралич Белла, синдром Гийена-Барре и анафилаксию». Другими словами, они небезопасны, у них много известный редкие побочные эффекты, и это на самом деле становится понятнее по прошествии времени.

Короче говоря, Карбальо-Карбахал пытается дисквалифицировать доктора Мэлоуна, обвиняя его в «дезинформации» о чем-то другом, кроме предмета ее статьи. Это классическая тактика ad hominem, почти универсальная для «проверки фактов». Ее провал впечатляет, поскольку все предполагаемые фрагменты «дезинформации» теперь уже являются проверенными фактами.

3. Аргументация

Основное резюме Карбальо-Карбахала (включая «Подробности» и «Ключи») следующее:

Утверждения о том, что маски для лица неэффективны для снижения распространения COVID-19, основанные на Кокрейновском обзоре, не учитывали ограничения обзора. В то время как многие пользователи представили этот обзор как доказательство самого высокого качества, отдельные исследования, которые он оценивал, сильно различались с точки зрения качества, дизайна исследований, изучаемых групп населения и наблюдаемых результатов, что не позволяло авторам делать какие-либо окончательные выводы. 

Рандомизированные контролируемые испытания считаются золотым стандартом при оценке эффективности вмешательства. Однако этот тип исследования может сильно различаться по качеству, особенно в случае сложных вмешательств, таких как лицевые маски, что влияет на надежность результатов. В этом контексте многие ученые считают, что рандомизированные контролируемые испытания следует рассматривать как часть более широких доказательств, включая другие дизайны исследований. Принимая во внимание эти исследования, данные свидетельствуют о том, что широкое использование масок может снизить передачу SARS-CoV-2 в сообществе, особенно в сочетании с другими мерами, такими как частое мытье рук и физическое дистанцирование.

Теперь я разобью это утверждение на части, а затем проверю правильность каждой части. Мы должны иметь в виду, что цитируемый источник является сообщением в блоге доктора Мэлоуна, поэтому любая ссылка на «утверждения» должна относиться к сообщению в блоге Мэлоуна, который является единственным цитируемым источником. Ссылки на неопознанные источники, такие как «множество веб-сайтов и сообщений в социальных сетях», следует игнорировать по той очевидной причине, что ссылки не предоставляются:

1. Заявление: д-р Мэлоун утверждает, что Кокрановский обзор показывает, что маски неэффективны в снижении распространения Covid-19.

Обсуждение: Как показано выше, доктор Мэлоун не делает этого заявления. Вместо этого он утверждает, что исследование «не удалось обнаружить даже «скромного влияния» на уровень инфицирования или заболеваемости». Существует важное различие между утверждением, что А не работает, и утверждением, что А не работает. Эти два значения не совпадают.

Вердикт: заявление Карбальо-Карбахала ложно.

2. Заявление. Делая это заявление, доктор Мэлоун не принимает во внимание ограничения обзора.

Обсуждение: Начнем с того, что доктор Мэлоун никогда не делает заявлений, о которых идет речь, а делает другое утверждение. Несмотря на это, в своем блоге он четко цитирует отказ авторов исследования от ответственности за неопределенность в отношении воздействия масок для лица: «Низкая-умеренная достоверность доказательств означает, что наша уверенность в оценке эффекта ограничена и что истинный эффект может отличаться от наблюдаемой оценки эффекта».... «[t] высокий риск систематической ошибки в испытаниях, различия в измерении результатов и относительно низкое соблюдение вмешательств во время исследований затрудняют получение однозначных выводов и обобщение результатов для текущей пандемии COVID-19.  Поэтому неверно, что д-р Мэлоун «не принял во внимание ограничения обзора.

Вердикт: заявление Карбальо-Карбахала ложно.

3. Заявление: «[Э] отдельные исследования […], оцененные [в обзоре], сильно различались с точки зрения качества, дизайна исследования, изучаемых групп населения и наблюдаемых результатов, […] [не позволяя] авторам делать какие-либо окончательные выводы. ».

Обсуждение: Исследование результаты очевидны: «Есть доказательства низкой достоверности из девяти испытаний (3,507 участников) о том, что ношение маски может иметь незначительное значение или не иметь никакого значения для исхода гриппоподобного заболевания (ГПЗ) по сравнению с отсутствием ношения маски (отношение рисков (ОР) 0.99, 95 процентов). доверительный интервал (ДИ) от 0.82 до 1.18 Имеются доказательства умеренной достоверности того, что ношение маски, вероятно, мало или совсем не влияет на исход лабораторно подтвержденного гриппа по сравнению с отсутствием маски (ОР 0.91, 95-процентный ДИ от 0.66 до 1.26; 6 испытания; 3,005 участников)… Использование респиратора N95/P2 по сравнению с медицинской/хирургической маской, вероятно, мало или совсем не влияет на объективный и более точный результат лабораторно подтвержденной инфекции гриппа (ОР 1.10, 95-процентный ДИ от 0.90 до 1.34; доказательства умеренной определенности; 5 испытаний; 8,407 XNUMX участников).

Эти результаты повторяются в выводах авторов с добавлением оговорки о том, что «[t] высокий риск систематической ошибки в испытаниях, различия в измерении результатов и относительно низкое соблюдение вмешательств во время исследований затрудняют получение однозначных выводов и обобщение результатов для текущей пандемии COVID-19».

Этот отказ от ответственности — соломинка, за которую Карбальо-Карбахал цепляется изо всех сил. Но, как объяснил ведущий автор исследования, это не меняет результатов исследования, а только констатирует, что на результаты могут повлиять неопределенности, возникающие из-за ограничений использованных исследований. По его собственным словам:

«Это называется осторожностью, и это называется быть честным с доказательствами, которые мы нашли. Это лучшее доказательство, которое у нас есть» (см. ссылку ниже).

Похоже, что Карбальо-Карбахал не понимает смысла заявления об отказе от ответственности в научной статье; вместо этого она пытается использовать это, чтобы аннулировать результаты исследования и подтвердить свое утверждение о том, что маски работают, несмотря на доказательства. Отказ от ответственности в исследовании не аннулирует его результаты.

Вердикт: Заявление Карбальо-Карбахала вводит в заблуждение.

4. Заявление. Рандомизированные контролируемые испытания считаются золотым стандартом при оценке эффективности вмешательства.

Обсуждение: Источником, на котором основано это заявление, является блог доктора Мэлоуна. Хотя это утверждение вполне может быть правдой, вывод о том, что что-то обычно «считается золотым стандартом», основанное на мнении одного ученого, является серьезной логической ошибкой.

Вердикт: заявление Карбальо-Карбахала логически несостоятельно.

5. Утверждение. Исследования золотого стандарта сильно различаются по качеству.

Обсуждение: Это утверждение не подкреплено никакими доказательствами. Это может быть правдой, а может и нет.

Вердикт: Заявление Карбальо-Карбахала не подтверждается доказательствами.

6. Заявление. Многие ученые считают, что рандомизированные контролируемые испытания следует рассматривать как часть более широких доказательств.

Обсуждение: источником для этого является статья в The Беседа трех эпидемиологов и одного эксперта в области первичной медико-санитарной помощи. Авторы, безусловно, делают это заявление, но без цитирования каких-либо ссылок. Таким образом, утверждение, что оно основано на мнении «многих эпидемиологов», просто ложно. Это утверждение сделали три эпидемиолога, и, учитывая огромное количество людей, прошедших такую ​​подготовку, слово «многие» определенно не оправдано. Следует добавить, что обращение к числам (argumentum ad populum) является логической ошибкой.

Вердикт: Заявление Карбальо-Карбахала не подтверждается доказательствами. Его предполагаемая релевантность основана на argumentsum ad populum, что является логической ошибкой.

7. Заявление. Если принять во внимание исследования, которые не соответствуют требованиям золотого стандарта исследований, они показывают, что широкое использование масок может снизить передачу вируса в сообществе.

Обсуждение: Это, конечно, правда, что, снижая стандарт, вы можете получить другие результаты, но это утверждение проблематично, поскольку Карбальо-Карбахал, похоже, делает из него вывод, что, несмотря на результаты Кокрейновского обзора, маски действительно предотвращают передачу инфекции. . Это видно из этого отрывка в конце статьи: «Все больше данных РКИ и обсервационных исследований показывают, что постоянное ношение масок может эффективно снизить распространение респираторных вирусов, таких как SARS-CoV-2, как в медицинских учреждениях, так и в общественных местах. … В настоящее время маски для лица являются еще одним уровнем защиты в дополнение к вакцинации, частому мытью рук и физическому дистанцированию при высокой циркуляции респираторных вирусов».

Это означает, что утверждение Карбальо-Карбахала заключается не только в том, что исследования низкого качества что-то предполагают; последнее утверждение показывает, что она явно утверждает, что то, что они предлагают, на самом деле правда. Это утверждение еще яснее в ее заголовке: «Многочисленные исследования показывают, что маски для лица уменьшают распространение COVID-19». Тонкая разница на поверхности, но очень важная. Это означает, что оправдано перефразировать исходное утверждение следующим образом: «Если принять во внимание исследования, которые не соответствуют требованиям золотого стандарта исследований, они показывают, что широкое использование масок может снизить передачу вируса в сообществе. и это правильный вывод".

Это подводит нас к вопросу, почему исследования низкого качества, на которые ссылается Карбальо-Карбахал, не были включены в Кокрановский обзор. К счастью, у нас есть расшифровка подробного интервью между ведущим автором исследования, доктором Томом Джефферсоном (JF) и доктором Карлом Хенеганом (CH), где это подробно обсуждается:

CH. Теперь слушайте, я собираюсь взять вас на задание здесь. В выводах автора люди прочитают этот обзор и начнут смотреть на него и скажут: смотрите, у нас есть доказательства высокого качества, у нас есть рандомизированные контролируемые испытания, и особенно на уровне масок, которые они собираются сказать , смотрите, вы показываете сообществу отсутствие эффекта, но вы начинаете с высокого риска систематической ошибки в исследовании, различий в измерении результатов и относительно низкой приверженности вмешательству во время исследований, что мешает нам делать твердые выводы. . Теперь я настаиваю на этом, потому что очевидный ответ — обратиться ко всем обсервационным исследованиям, в ходе которых люди проводили систематические обзоры и определенно делали твердые выводы о том, что делать. Итак, не могли бы вы пояснить, что это означает в контексте 78 испытаний — это много доказательств рандомизированных контрольных испытаний — можете ли вы уточнить, что это значит?

TJ. Это называется осторожностью, и это называется быть честным с уликами, которые мы нашли. Это лучшее свидетельство, которое у нас есть, но в отличие от некоторых идеологов, продвигающих идею о том, что нерандомизированные исследования, обсервационные исследования могут дать ответы, некоторые из них выдвигают опрометчивые ответы, опрометчивые заявления, уверенности, которые просто не принадлежат наука. Наука — это не уверенность, наука — это неуверенность, это попытка двигаться вперед по повестке дня и накапливать знания. Использование нерандомизированных исследований в оценке респираторных вирусов при вмешательстве в борьбу с респираторными вирусами означает, что люди не понимают, те, кто проводил эти исследования, не понимают действия нескольких факторов. Например, сезонность, например, капризные приезды и отъезды этих агентов, сегодня они здесь, а на следующий день их нет. Если вы посмотрите на поведение SARS-CoV-2 в наблюдениях в Великобритании за последние 12 месяцев, то увидите, что оно то растет, то падает, совершенно не зависит от какого-либо вмешательства, а также очень быстро растет и очень быстро падает. Наблюдательные исследования не могут этого объяснить. Кроме того, очень большая часть обсервационных исследований является ретроспективной, и поэтому они подвержены безжалостной предвзятости припоминания; исследователи делают выводы на основе данных, которые они получили, задавая такие вопросы, как «Можете ли вы вспомнить месяц назад, сколько раз вы надевали маску» или «Что вы делали в этот день или что вы делали в другой день», не ведя дневник. Это просто не наука. Предполагаемый размер, дистанцирование, когда в первоначальных исследованиях ничего подобного не было. Так что это просто бесконечный список ошибок, которые не могут быть учтены наблюдательными исследованиями. И единственный способ, которым мы должны ответить на вопросы, — это провести большие проспективные рандомизированные контролируемые испытания, чтобы ответить на конкретный вопрос в конкретной популяции».

Как объясняет здесь Джефферсон, ограничения наблюдательных исследований делают практически невозможным сделать из них вывод, который делает Карбальо-Карбахал. Карбальо-Карбахал цитирует ряд наблюдательных исследований в поддержку своего утверждения. Я не буду здесь перечислять их все, но рассмотрения некоторых примеров должно быть достаточно, чтобы представить доказательства некоторых проблем, обсуждаемых Джефферсоном, а также опровергнуть некоторые необоснованные выводы Карбальо-Карбахала.

Например, одно из цитируемых исследований, Ван и др., приходит к выводу, что использование лицевых масок первичным заболевшим и контактировавшими с ним членами семьи до того, как у основного заболевшего развились симптомы, было на 79 процентов эффективным в снижении передачи инфекции. Это ретроспективное обсервационное исследование, в котором доказательства использования маски основаны исключительно на собственных отчетах участников постфактум. 

Другой, Мелло и др.. показывает, как вирусные частицы накапливаются в масках, но Карбальо-Карбахал считает это доказательством того, что «Имеющиеся данные указывают на то, что ношение масок более эффективно в сочетании с другими мерами контроля, такими как физическое дистанцирование и частое мытье рук».

Подводя итог, Карбальо-Карбахал утверждает, что, поскольку исследования высокого качества не доказывают эффективность масок против передачи инфекции, то ненадежные обсервационные исследования, которые исключены из мета-обзора «золотого стандарта» именно из-за их ненадежности, доказывают, что высокие качественные исследования не подтверждают.

Вердикт: заявление Карбальо-Карбахала (перефразированное) ложно. Без перефразирования это не имеет значения.

8. Утверждение: эффект от использования масок сильнее в сочетании с другими вмешательствами.

Обсуждение: Это утверждение проблематично. Из высококачественных доказательств, представленных в Кокрейновском обзоре, уже ясно, что утверждение о том, что маски снижают передачу, не доказано. Это означает, что утверждение, что они усиливают защиту, обеспечиваемую другими вмешательствами, должно быть неверным.

Вердикт: заявление Карбальо-Карбахала ложно.

Карбальо-Карбахал начинает с того, что ложно приписывает доктору Роберту Мэлоуну два утверждения, которых он никогда не делал. Эти ложные утверждения становятся основой ее «проверки фактов».

Затем она ошибочно обвиняет доктора Мэлоуна в ложных заявлениях по другому вопросу, что является аргументом ad hominem, не имеющим отношения к теме статьи.

Из восьми утверждений, сделанных Карбальо-Карбахал в ее резюме, подкрепленных ее основным текстом, четыре явно ложны, одно логически несостоятельно, одно вводит в заблуждение и два не подтверждаются никакими доказательствами, из которых одно основано на тоже логическая ошибка.

Принимая во внимание то, как эта статья с серьезными недостатками теперь, по-видимому, используется для подавления распространения важной научной статьи, для давления на главного редактора Кокрейн, чтобы он сделал ложные заявления о цели статьи и преуменьшил ее результаты, а также для цензуры обзора Согласно выводам крупной газеты, очевидно, что существует острая необходимость в решительных действиях против индустрии так называемой «проверки фактов». Уровень, до которого возросла эта цензура, представляет собой явную и реальную угрозу научным исследованиям и разработкам.