Review badges
0 pre-pub reviews
1 post-pub reviews
Publons users who've claimed - I am an author

No Publons users have claimed this paper.

Contributors on Publons
  • 1 reviewer
Metrics
Publons score (from 2 scores)
4.2
Web of Science Core Collection Citations
  • В Журнале "Кардиологический Вестник "(№3 2017) было опубликовано исследование препарата Фортелизин в сравнении с препаратом Метализе при инфаркте миокарда с подъемом сегмента ST. Качество этого исследования и потенциальные далеко идущие последствия признания этого исследования доказательным подвигли меня к послепубликационой рецензии.

    Упомянутая статья представляет собою первую публикацию результатов многоцентрового РКИ. Авторы сообщают, что они планировали это испытание как испытание на неменьшую эффективность, и что им удалось отвергнуть гипотезу о меньшей эффективности Фортелизина по сравнению с Метализе. Изучение статьи выявляет ряд особенностей, которые говорят о том, что отчет об исследовании мог быть искажен или даже его результаты были фальсифицированы. Склоняясь к последнему, я не могу этого доказать, но привожу ниже признаки дефектов дизайна, его реализации и анализа, а также погрешности в отчете, которые составляют признаки потенциальной фальсификации и/или манипулирования данными.

    1. Авторы сообщают, что они планировали РКИ, в том числе планировали размер выборки. Они сообщают, что исходили из мощности 80%, но не сообщают о пороговой статистической значимости. Можно лишь предположить, что они предполагали использовать порог 5% (Р<0.05). Граница неменьшей эффективности выбрана 12.5%, что авторы представляют как достижение. В обоснование избрания такой границы авторы ссылаются на работу S. Kaul и соавт.(2). В этой работе рекомендации такой границы не содержится. Более того, указывается, что граница определяется на основе анализа публикаций по эффективности сравниваемых препаратов, чего сделано не было в анализируемом РКИ. Аналогичные рекомендациям S. Kaul и соавт. рекомендации дают ICH и EMA (3). Есть основания думать, что для сопоставления препаратов, предназначенных для такого жизнеспасающего вмешательства граница неменьшей эффективности должна быть уже.

    2. Авторы не сообщают нам, какого размера группы они запланировали в результате расчета. Не указывают они и на то, сколько они к расчетной численности групп добавили пациентов для компенсации возможных потерь. Последнее является необходимым, поскольку потери пациентов практически неизбежны в исследовании. Если взять за основу заявленные параметры и провести обратные вычисления, используя реально включенное число пациентов, то получается, что при расчёте размера групп авторы исходили из различия в результатах 90% (Метализе) и 86% (Фортелизин). Этот, предположительно имевший место расчет – крайне оптимистичный, нереалистичный.

    3. Авторы смертельные исходы не рассматривают как первичные, хотя применительно к терапии ОИМ именно летальность всегда рассматривается как основной исход. Расчет численности групп проводился не по заявленному основному первичному исходу (ЭКГ признаки реперфузии), а по избранному КАГ-показателю реперфузии. Правильный расчет численности групп в РКИ предполагает расчет по основному первичному исходу и, возможно, дополнительно по другим первичным исходам

    4. В статье сообщается, что в группы было включено по 191 пациенту. При этом сообщается, что рандомизация выполнялась методом конвертов. Это утверждение вызывает сомнения, поскольку методом конвертов получить равные по численности группы практически невозможно.

    5. Один пациент был исключен из анализа (из группы Фортелизина), поскольку его ОИМ не сопровождался повышением сегмента ST. Между тем, повышение сегмента ST заявлено как основной критерий включения пациентов в исследование. Иными словами, у этого пациента должно было быть повышение сегмента ST, и правильный анализ данных должен был бы включать данные о исходах у этого пациента, даже если, например, в процессе последующего контроля было выявлено, что повышение сегмента ST не соответствует заданным критериям. Как минимум, должен был быть проведен анализ чувствительности к смещению в результате исключения этого участника

    6. Критерии включения и исключения участников в статье в явном виде не приводятся. Информация, которая приведена в статье, не соответствует той, что приведена в протоколе. В статье: «У 381 пациента (190 – в группе Фортелизина и 191 – в группе Метализе) отмечен подъем сегмента ST более 1 мм в двух и более последовательных отведениях от конечностей и/или более 2 мм в грудных отведениях». В протоколе: «Inclusion Criteria … 12-lead ECG indicative of an STEMI (ST-segment elevation in acute myocardial infarction, measured at the J point, should be found in two contiguous leads and be ≥0.25 mV in men below the age of 40 years, ≥0.2 mV in men over the age of 40 years, or ≥0.15 mV in women in leads V2-V3 and/or ≥0.1 mV in other leads…»

    7. Исследование не было слепым, что объяснимо различиями методики применения сравниваемых препаратов. Вместе с тем, авторы не предприняли попытки ослепить лиц, оценивающих результаты лечения. Это существенно увеличивает вероятность смещения в пользу оцениваемого вмешательства. Например: а) исключение из анализа одного участника, упомянутого выше, может говорить об исключении пациента с нежелательным исходом; б) в группе Фортелизина 190 из 190 пациентов имели КАГ оценку восстановления коронарного кровотока, а в группе Метализе – 185 из 191. Это указывает на различное ведение пациентов в сравниваемых группах.

    8. Авторы не следуют рекомендациям CONSORT (1), в том числе не приводят потоковой диаграммы (блок-схема, flow chart). Ее наличие в статье сделало бы упомянутый выше дефект – различия в обследовании пациентов в сравниваемых группах – вполне очевидным.

    9. В заявке на исследование в ГРЛС зарегистрировано проведение исследования в 23 центрах, в регистрации на clinicaltrials.gov – в 15 центрах, а в статье сообщается о результатах, полученных в 11 центрах. Авторы не уведомляют нас, почему результаты из других центров не были включены в отчет или почему эти предварительно одобренные центры не участвовали в исследовании.

    10. Авторы приводят результаты сравнения групп по ЭКГ-признакам реперфузии, но используют как основные результаты для обсуждения КАГ-признаки реперфузии. При этом авторы не обосновывают использование одного показателя (TIMI2+TIMI3) из ряда других.

    11. Анализ данных вызывает сомнения. Сравниваемые группы не вполне сравнимы. В группе Метализе было значимо больше пожилых людей. Авторы отмахнулись от этого факта, написав, что это «не повлияло на средний возраст», однако влияние на прогноз могло быть серьезным, поскольку частота событий сильно связана с долей именно людей высокого риска. Полноценный анализ состоял бы в выделении подгрупп по возрасту или в анализе с поправкой на возраст.

    12. В статистическом анализе авторы исследовали доверительные интервалы (ДИ) для абсолютного снижения риска, хотя обычно в таких целях анализируется отношение рисков. Использование расчета по отношению рисков дает нам догадку, почему авторы использовали именно показатель TIMI2+TIMI3. В таблице 2 мы видим, что отсутствие кровотока (TIMI0) в группе Фортелизина 24,2%, а в группе Метализе 17,8%. Соответственно, по критерию «любое восстановление кровотока» получаем: Относительный риск: RR= 0.9224 95% ДИ= 0.8307 до 1.0243 Фортелизин может быть на 17% хуже Метализе. Если рассчитывать доверительный интервал для разности пропорций, что также допустимо, разница при вычислении по рекомендованному методу Newcombe 0,069 с 95% ДИ= -0,012 до 0,150. Фортелизин может быть на 15% хуже Метализе.

    13. Помимо представления данных о частотах исходов в тексте, в таблице и на рисунке приводятся частоты с их доверительными интервалами. Обращает на себя внимание, что доверительный интервал (ДИ) при сравнении частот на рисунке асимметричен. Между тем, при таком сравнении пропорций он должен быть симметричным. Проверка таблицы 2 показывает, что в ней также ДИ для пропорций несимметричные. Этого не должно быть: ДИ пропорций рассчитываются так, что они симметричны. Более того, в таблице 2 ДИ имеют разную асимметрию. Например, в колонке Фортелизина в первой и шестой строках ДИ имеет правостороннюю асимметрию, а во второй-пятой – левостороннюю.

    Расчет ДИ по рекомендованному методу Wilson для Фортелизина, табл. 2 дает отличные от приводимых авторами результаты.

    В статье, табл.2 При точном расчете (пропорция, в скобках – 95% ДИ)

    80,0 (73,6-85,4) 80,0 (73,7-85,1)

    24,2 (18,3-30,9) 24,2 (18,7-30,8)

    5,8 (2,9-10,1) 5,8 (3,3-10,1)

    32,1 (25,5-39,2) 32,1 (25,9-39)

    37,9 (31,0-45,2) 37,9 (31,3-45)

    70,0 (62,9-76,4) 70,0 (63,1-76,1)

    Авторы статьи в абзаце, посвященном статистическому анализу, называют два пакета статистических программ, использованных ими, но не называют примененного статистического метода. Трудно предположить, каким методом могли быть получены такие ДИ. Наиболее вероятно предположение о манипулировании данными.

    (14). Несмотря на то, что в исследование включено мало участников, совпадение результатов максимально возможное для такого числа участников по всем исходам:

    a. Летальность 7/190 (3,8%) в группе Фортелизина и 7/191 (3,8%) в группе Метализе.

    b. Снижение сегмента ST возникало, сообщается, на 90 мин. у 152/190 (80%) в группе Фортелизина и у 153/191 (80,1%) в группе Метализе.

    c. Комбинированная конечная точка, называемая авторами первичной (общая летальность + повторный ОИМ + кардиогенный шок) в группе Фортелизина 24/190 (12,63%) и в группе Метализе 24/191 (12,56)%.

    d. Восстановление коронарного кровотока по КАГ-критерию в группе Фортелизина наблюдалось у 133/190 (70,0%) и у 131/185 (70,8%).

    e. Плановое ЧКВ в группе Фортелизина выполнено у 150/190 (79%) и в группе Метализе 147/185 (79,5%)

    Приведенные выше в п. 14 частоты исходов в двух сравниваемых группах неправдоподобно близки. Все частоты различаются на 0,8% и менее, по п.п. a-c – полное совпадение или с различием на одного участника. При данных размерах групп (185-191 чел.) случайный разброс в частотах должен быть значительно больше. На это указывает простой расчет: изменение величины числителя на единицу приводит к изменению пропорции на 0,5%.

    В статье сообщается, что частота малых кровотечений была в группе Фортелизина меньше (3,7%) против 10,5% в группе Метализе. Это возможно, но неправдоподобно при тромболитической активности, которая описана как идентичная.

    Настоящая статья оценивает результаты РКИ Фортелизина в сравнении с Метализе как доказывающие неменьшую эффективность первого. Анализ представленных в ней материалов позволяет усомниться в этой оценке в связи с неверной/тенденциозной интерпретацией результатов, и в связи с общим впечатлением от сведений о дизайне исследования и его реализации.

    Исследователи не доказали неменьшей эффективности Фортелизина.

    Фортелизин является продуктом, который является типичным лекарством «и мне тоже» (mee-too drug), т.е. не обещает никаких клинических преимуществ. Это признают авторы, поскольку они проводят испытание на неменьшую эффективность. Соответственно, нет никаких оснований подходить к оценке этого продукта со сниженными критериями или поспешностью.

    Описание расчета численности групп этого РКИ, процедуры рандомизации, статистического анализа, а также крайне маловероятная близость частот исходов, использованных авторами, дает основания думать о том, что результаты этого РКИ были модифицированы в интересах спонсора. Авторы статьи скрывают, что исследование выполнено на средства и при управлении компании-производителя Фортелизина.

    В. Власов, 20 февраля 2018 г.

    Раскрытие потенциального конфликта интересов: я читал лекции, получая гонорар от компании Берингер-Ингельхайм.

    Полный текст статьи (в полной PDF версии журнала): https://cardioweb.ru/files/Cardiovest/Kardiovest_3_2017.pdf

    1) Gilda Piaggio, PhD; Diana R. Elbourne, PhD; Stuart J. Pocock, PhD; et al Stephen J. W. Evans, MSc; Douglas G. Altman, DSc; for the CONSORT Group. Reporting of Noninferiority and Equivalence Randomized TrialsExtension of the CONSORT 2010 Statement. JAMA. 2012;308(24):2594-2604.

    2) Kaul S., Diamond G. A., Weintraub W. S. Trials and Tribulations of Non-Inferiority: The Ximelagatran Experience. J. Amer. Coll. Cardiol. 2005, 46(11):1986-95. (http://www.sciencedirect.com/science/article/pii/S0735109705021844?via%3Dihub)

    3) European Medicines Agency. Committee for medicinal products for human use (chmp): Guideline on the choice of the non-inferiority margin. London, 27 July 2005. Doc. Ref. EMEA/CPMP/EWP/2158/99. (http://www.ema.europa.eu/docs/en_GB/document_library/Scientific_guideline/2009/09/WC500003636.pdf)

    Reviewed by
All peer review content displayed here is covered by a Creative Commons CC BY 4.0 license.