В те годы, когда я работал заместителем редактора (для Американский журнал эпидемиологии), я видел весь спектр «рецензий коллег» — от дотошных, вдумчивых критических обзоров, авторы которых, очевидно, потратили на это несколько часов, до поверхностных рецензий, отражающих небрежность и некомпетентность. Я читал как доброжелательные отзывы поклонников авторов, так и враждебные отзывы их противников. (Это легко понять по тону.) В научной практике люди всё ещё ведут себя как люди.
Во время пандемии ситуация ухудшилась. Исследования, хвалебные по поводу вакцин от COVID, быстро получили статус «рецензируемых», в то время как критический, постпубликационный рецензируемый обзор был подавленныйВ результате у нас теперь есть историческая коллекция опубликованных некачественных научных работ. Её невозможно стереть, но пора начать исправлять ситуацию.
Биомедицинские журналы не являются подходящей платформой. Во-первых, нет официального раздела для открытого рецензирования статей, опубликованных давно. Во-вторых, редакторы не заинтересованы в разоблачении ложных сведений, опубликованных в их журналах. В-третьих, цензурой Машина всё ещё на месте. Пока что мне удалось её сломать только консолидировать, и это было нелегко.
Итак, как мы можем попытаться исправить ситуацию и где?
Позвольте мне дать совет моим коллегам в области эпидемиологии, биостатистики и смежных методологических дисциплин, сохранившим критическое мышление во время пандемии. Выберите одну или несколько статей о вакцинах против COVID и отправьте свою рецензию в Браунстоунский журналЕсли статья интересна и хорошо написана, есть большая вероятность, что её опубликуют. Советую выбирать: найти те рецензируемые статьи, которые вас больше всего раздражали, либо потому, что они были чистыми бред какой то или потому что правильный вывод был поразительно разные. А если вы публиковали краткие критические статьи в Твиттере (теперь X) или подробные обзоры на других платформах, дополните их, отредактируйте и отправьте в Brownstone. Возможно, мы сможем постепенно создать реестр критических обзоров, восстановив доверие к научному методу и биомедицинской науке.
Вот пример.
Обзор и повторный анализ исследования в Онтарио, Канада
Опубликованные в British Medical Journal в августе 2021 г. статье Об эффективности мРНК-вакцин сообщили в начале 2021 года, вскоре после их одобрения.
Это исследование было типичным для исследований вакцин того времени. Эффективность оценивалась в «реальных» условиях, а именно в ходе наблюдательного исследования во время кампании по вакцинации. Период исследования (с середины декабря 2020 года по середину апреля 2021 года) включал пик зимней волны COVID-19 в начале января. Позже мы обсудим сильное смещение, называемое «вмешивающимся фактором, связанным с риском фоновой инфекции».
Дизайн исследования представлял собой вариант исследования «случай-контроль» с отрицательным результатом теста. Подходящие участники прошли ПЦР-тест в связи с симптомами, похожими на COVID. Результаты в группе случаев были положительными, в группе контроля — отрицательными. Как обычно, рассчитывались отношения шансов, а эффективность рассчитывалась как 1 минус отношение шансов (выраженное в процентах). Размер выборки был большим: 53 270 случаев и 270 763 контрольных.
Авторы сообщили о следующих ключевых результатах (курсив мой):
Эффективность вакцины против симптоматической инфекции, наблюдаемой ≥14 дней после одной дозы, составила 60% (95% доверительный интервал 57–64%), увеличиваясь с 48% (41–54%) через 14–20 дней после одной дозы до 71% (63–78%) через 35–41 день. Эффективность вакцины, наблюдаемая ≥7 дней после двух доз, составила 91% (89–93%).
Как и почти в каждом исследовании эффективности, авторы исключили ранние события. Как поясняется, в другом месте, эта практика вносит предвзятость, называемую бессмертное время или смещение окна подсчета случаев. Это не только скрывает возможные ранние вредные эффекты, но и фактически приводит к переоценке эффективности. Р.Ф.К.-младший упомянул об этом предубеждении, используя нетехнические термины (см. Видеоклип).
правильный подход всё просто. Нам нужно оценить эффективность с момента введения первой дозы на более поздние временные точки (накопленный иммунитет). В таблице ниже представлены данные исследования и результаты нового анализа. Каждая строка показывает расчёт эффективности. к указанному дню.
Эффективность была отрицательной к концу первых двух недель после первой дозы и достигла около 30% перед второй дозой, а не 70%. К моменту полного иммунитета она достигла лишь около 50%, а не 90%. Хотя мои оценки не скорректированы, см. Таблицу 2 (дополнительный материал) показывает, что корректировка практически не изменила оценки авторов.
Однако мои результаты по-прежнему искажаются из-за того, что я ранее назвал «влиянием фонового риска инфекции».
Рисунок ниже взят с сайта Общественное здравоохранение ОнтариоЧерная линия показывает 7-дневное скользящее среднее число новых случаев. Красные линии показывают период исследования, разделённый на два интервала. Я также добавил оценки числа вакцинированных в каждом интервале.
Первый период, на который пришелся пик зимней волны, был периодом медленного начала вакцинации. В этот период распределение вакцинации было смещено в сторону отсутствия вакцинации, что означает, что отсутствие вакцинации совпало с высокой вероятностью зараженияНапротив, фоновый уровень инфицирования был ниже в течение большей части второго периода, когда первую дозу вакцины получили несколько миллионов человек. Только в середине марта число новых случаев пересекло пунктирную линию. Короче говоря, обратная связь между вакцинацией и инфицированием была сильно искажена динамикой риска заражения. Даже инъекция плацебо показалась бы эффективной.
Я не могу устранить эту погрешность, а она сильна. Реальная эффективность, если таковая вообще имеется, гораздо ниже оценок, которые я рассчитал после устранения погрешности бессмертного времени. Неважно, 10% это за шесть недель или 20%. Это не вакцина.
Авторы использовали другую группу случаев: госпитализация или смерть. Эти данные подвержены не только предыдущим ошибкам, но и предвзятость здорового вакцинированногоОднако я не могу предложить исправление. Большая часть данных о случаях была скрыта из-за малого количества, а контрольная группа была неверной. Они использовали «ту же контрольную группу, что и для анализа первого первичного результата (т.е. лица с симптомами, у которых тест на SARS-CoV-2 оказался отрицательным)». Это нарушение базового принципа дизайна с отрицательным результатом теста. Контролем должны были быть госпитализированные или умершие люди с отрицательным результатом теста.
Следующее предложение отражает непонимание выбранной ими регрессионной модели. Они пишут: «Мы использовали многофакторные логистические регрессионные модели для оценки отношения шансов, сравнивая шансы на вакцинацию (курсив мой) между положительными случаями и отрицательными контрольными группами (с невакцинированными людьми в качестве референтной группы). Зависимой переменной был статус случай-контроль (логарифм вероятности быть случаем). Технически сравниваются вероятности быть случаем (и быть контролем), а не вероятности вакцинации.
Как ни странно, опубликовано дополнительный материал Статья по-прежнему носит заголовок «КОНФИДЕНЦИАЛЬНО — НЕ ДЛЯ РАСПРОСТРАНЕНИЯ, 5 АВГУСТА 2021 ГОДА». Только в эпоху COVID можно встретить такую небрежность. Мы наблюдаем здесь предвзятое (небрежное) обращение с документом, который служил повествованию.
Я закончу свой обзор моей любимой темой: бессмысленные результаты.
На рисунке ниже представлены оценки эффективности, рассчитанные авторами. Стрелка указывает на бессмысленный результат. Мы не ожидаем какого-либо дополнительного эффекта от второй дозы в течение 6 дней после инъекции, однако эффективность возросла, почти достигнув оценки для последующего периода (7+ дней). Если оценка для периода 0–6 дней явно смещена, почему мы должны доверять следующей?
Эпилог
Как я писал в начале, нам следует попытаться исправить исторические данные. Путь предстоит долгий, но, как гласит пословица, «Путь в тысячу миль начинается с одного шага». Я особенно обращаюсь к ведущим методистам, которые раньше критиковали плохие исследования и шаткие методы. Большинство из них хранили молчание во время пандемии, вероятно, опасаясь последствий оспаривания «безопасного и эффективного» подхода.
Давайте начнём читать смелые обзоры исследований, сообщавших о выдающейся эффективности вакцин от COVID-19, которые оказались ложными. Существует множество проблем, которые можно обнаружить, осветить и, по возможности, исправить, используя реальные данные или моделирование:
Если мы не сделаем эту работу, мы продолжим читать ложные оценки, основанные на эффективности спасённых жизней. Было ли это близко к 2.5 миллионов человек, как утверждают некоторые, или не поддается обнаружению в статистике смертности, или возможно около нуля? И получим ли мы когда-нибудь ответы от соответствующие испытания?
Переизданный от Средний
Присоединиться к разговору:
Опубликовано под Creative Commons Attribution 4.0 Международная лицензия
Для перепечатки установите каноническую ссылку на оригинал. Институт Браунстоуна Статья и Автор.
