Анализ результатов в исследованиях

Для оценки качества публикаций РКИ и ККИ 45 (76%) исследований проанализировали более подробно.

Из 45 публикаций только в 24 (53%) проведена статистическая оценка полученных различий между группами. В 21 публикации (47%) проведено сравнение полученных результатов не между группами, а до и после вмешательства в каждой из групп. При этом в 5 публикациях вообще не приведены количественные значения эффекта. Поскольку проведенный анализ противоречит логике анализа контролируемого эксперимента, данный тип публикаций был назван псевдоконтролируемым. Смысл такого анализа в том, чтобы предъявить читателю статистически значимые различия там, где их выявить не удается. Это бывает, когда число включенных больных оказывается недостаточным, чтобы обнаружить статистически значимые различия между группами, даже когда они есть (альфа-ошибка). Тогда авторы оценивают статистически различия до и после вмешательства по отдельности в каждой группе. Вполне естественно, что такие различия легко получить: довольно часто в одной из групп различия до и после вмешательства оказываются более выраженными. Этот факт фиксируется в выводах как подтверждение большей эффективности испытуемого вмешательства. У неискушенных читателей складывается впечатление, что доказательство получено в ходе контролируемого исследования, хотя на самом деле полученные данные следует трактовать как результат исследования до и после вмешательства (неконтролируемого), степень достоверности которого намного ниже.

В литературе описано много уловок, придуманных для демонстрации несуществующих преимуществ одного препарата над другим: неадекватный подбор препаратов сравнения или дозировок, плацебо-контроль при наличии доказанных эффективных препаратов, многие испытания на эквивалентность и клинико-экономические оценки. Однако описаний псевдоконтролируемых исследований в зарубежной литературе найти не удалось. Возможно, это отечественное изобретение.

Количественная оценка качества публикаций результатов рки и кки

Уровень согласия оценок двух независимых исследователей, сделанных с помощью опросника Джадада, оказался высоким (Cohen'sкаппа = 0,8, 95% доверительный интервал (ДИ) от 0,75 до 0,92, р < 0,0001). Это свидетельствует о надежности и воспроизводимости применения опросника и согласуется с зарубежными данными.

Результаты оценки отечественных статей с помощью опросника приведены в табл. 2.

Среднее число баллов составило 1,2 0,9.

D.Moheretal. проанализировали с помощью опросника Джадада 127 РКИ, средний балл оказался равным 2,55_1,2. Мы запросили у авторов полученные ими оценки индивидуальных публикаций и сравнили их с нашими данными (рис. 1). Различия между средними баллами были статистически высокозначимыми (/КО,0001,Mann-WhitneyUтест).

Таблица 2

Результаты оценки отечественных публикаций результатов рки и кки

Число баллов	Число публикаций
0	8
1	26
2	7
3	3
4	1

Рис. 1. Сравнительное качество российских и иностранных публикаций, оцененных с помошью опросника Джалала.

Заштрихованная область соответствует доброкачественным публикациям (число баллов 3 и более), которые рекомендуется включать в метаанализы и систематические обзоры.

Как следует интерпретировать полученные результаты и каково их практическое значение? D.Moheretal. показали, что, если провести метаанализ РКИ, набравших по шкале Джадада от 0 до 2 баллов, то величина оценки эффекта будет на 34% выше, чем результаты объединения РКИ, набравших 3 и более баллов (относительный риск 0.66, 95% ДИ от 0,52 до 0,83). Иными словами, вывод таков: чем ниже методологическое качество исследования, тем больше величина эффекта лечебного вмешательства. Другие исследования подтверждают этот тезис. В испытаниях, где метод маскирования рандомизации был неадекватен, эффект лечения составлял на 41% больше. Смысл маскированной рандомизации в том, чтобы исследователь, проводящий рандомизацию, не имел возможности целенаправленно повлиять на распределение больных в ту или иную группу. Еще в одной «публикации отмечено, что при отсутствии рандомизации или ее неверном проведении возможна переоценка эффекта до 150% либо его недооценка на 90%».

Невысокое качество отечественных публикаций приводит к тому, что их результаты редко учитываются при подготовке систематических обзоров и метаанализов. Например, при проведении Кокрейновских систематических обзоров (данные за 2001 г.) было рассмотрено 68 российских публикаций. Из них только 7 (9%) были расценены как достаточно качественные для включения в обзоры. Из семи три работы были неопубликованными, одна опубликована в зарубежном журнале и три – в российских журналах.

На основании результатов, полученных в ходе настоящего исследования, разработана специальная карта для статистического и методологического рецензирования (табл. 3). Автор надеется, что отечественные журналы, как и многие зарубежные, начнут внедрять такую специальную форму рецензирования. А это, в свою очередь, поможет улучшить качество российских научных публикаций.

Таблица 3