Оценка медицинских публикаций

И у клинициста, и у исследователя ежедневно возникает потребность в новой достоверной информации. В поисках ответов на появляющиеся вопросы приходится сталкиваться с проблемой обилия медицинской информации. Интересующей проблеме могут быть посвящены несколько исследований с различной постановкой задачи, результаты которых могут оказаться противоречивы. Это свидетельствует о том, что качество проводимых исследований и публикаций невысоко. Зачастую авторы склонны переоценивать результаты собственных исследований и, поэтому, могут вольно или невольно вводить читателя в заблуждение. Также надо отметить, что источники современной качественной медицинской информации недешевы.

Общий алгоритм оценки публикации:

Сначала проводится оценка издания. Предпочтение следует отдавать рецензируемым реферируемым журналам. Оценивается соответствие названия публикации интересующей проблеме. Следует обращать внимание на фамилию автора и название организации, которые выполняли исследование. Регулярно просматривая материалы, посвященные интересующему разделу медицины, в течение некоторого времени можно узнать ведущих специалистов и медицинские «фирмы», выпускающие надежную и качественную «продукцию». Затем, если прочтение реферата (или выводов в нереферируемом издании) вызывает интерес, то последующее ознакомление с методами и структурой исследования должно создать представление о необходимости углубленного изучения данной публикации или возможности прекращения дальнейшего прочтения из-за ее низкого методологического качества.

Ниже приводятся критерии, используемые при критической оценке данных исследований, посвященных диагностике, лечению, этиологии (причинам) и прогнозу заболевания.

Исследования методов диагностики

Если публикация посвящена изучению метода диагностики, то необходимо выяснить:

• Предназначение (оно определяет требования к различным характеристикам теста, например чувствительность, специфичность): скрининг, поиск сопутствующих заболеваний, диагностическое исследование, мониторинг.

• Имелось ли сравнение с референтным методом диагностики – так называемым «золотым стандартом»?

• Проведено ли это сопоставление слепым методом? Таким образом, при вынесении заключения по оцениваемому тесту исследователю не должны быть известны результаты референтного теста.

• Четко ли описан способ формирования изученной группы пациентов?

• Принцип подбора пациентов (мужчины/женщины, молодые/старые, амбулаторные/стационарные и т.д.).

• Критерии включения/исключения пациентов в исследование.

• У предлагаемых диагностических методик существуют стабильные характеристики, не зависящие от распространенности заболевания в изучаемой популяции, так называемые операционные характеристики теста: чувствительность и специфичность. Для их расчета строится четырехпольная таблица (таблица 5):

Таблица 5

	Болезнь «+»	Болезнь «-»
Тест «+»	a (истинноположительный результат)	b (ложноположительный результат)
Тест «-»	c (ложноотрицательный результат)	d (истинноотрицательный результат)

Чувствительность Se = a/(a+c)

Специфичность Sp = d/(d+b)

В идеале хотелось бы иметь тест, имеющий одновременно максимальную чувствительность и максимальную специфичность. Но на практике оказывается, что один из показателей обычно растет за счет другого.

• Обоснована ли «точка разделения» здоровых и больных?

• Отношение правдоподобия для результата теста – это отношение вероятности данного результата у лиц с заболеванием к вероятности этого же результата у лиц без заболевания:

для положительного результата: чувствительность/(1-специфичность);

для отрицательного результата: специфичность/(1-чувствительность).

• Прогностическая ценность теста.

Врачу непросто оценить значение таких характеристик теста, как чувствительность и специфичность, применительно к конкретной клинической ситуации. Его интересует ответ на вопрос: какова вероятность, что у пациента есть (нет) определенное заболевание, если результаты проведенного диагностического теста у него положительные (отрицательные). Прогностическая ценность теста – это не только характеристика самого теста. Она зависит как от чувствительности и специфичности, так и от распространенности заболевания:

• 

  Как определяли норму? Какой из способов использован?

1. Гауссова кривая: вычислить M и σ. Норма = M±2 σ.

2. Процентильный метод: 95% средних величин (или 99%, или 90%).

3. Терапевтический метод: патология – это то, что мы можем вылечить (или лечить).

4. «Факторы риска»: Норма – то, что не приносит повышенного риска.

5. Метод предиктивных оценок: границы нормы должны минимализировать частоту ложноположительных и ложно отрицательных результатов тестов.

6. Культурно-желательный метод: норма – это то, что принято в этом обществе.

• Оценена ли воспроизводимость теста? Следует помнить, что воспроизводимость тестов, связанных с оценкой изображения низка: УЗИ, рентген, ЭКГ и т.д.

• Достаточно ли детально описана тактика применения теста: противопоказания, подготовка больных, то, что делать с пробами?

• Оценена ли общая полезность теста (не путать с эффективностью).

Исследования лечебных вмешательств

Если публикация посвящена изучению лечебных вмешательств, то необходимо выяснить:

• Главный вопрос: получит ли мой пациент пользу от вмешательства (если да, то сколько)?

• Необходимо изучить методы лечения с альтернативным вмешательством и стратегией, знать их результаты.

• Необходимо помнить об иерархии достоверности данных, полученных в исследованиях с различным дизайном. Они приведены в порядке убывания:

1. Мета-анализ данных оригинальных исследований.

2. Подтвержденные рандомизированные клинические исследования.

3. Единичные рандомизированные клинические исследования.

4. Серии случаев в исторически контролируемых группах.

5. Исследования по типу «случай-контроль».

6. Серии с литературным контролем.

7. Серии случаев без контроля.

8. Единичные отчеты о случаях.

• Наличие информации об осложнениях и побочных эффектах.

• Число больных, выбывших в ходе исследования (не более 20%).

• Адекватность статистического анализа, ссылки на использованные программы.

• Размер выявленного эффекта и статистическая сила исследования.

• Доступность метода в практике.

• Выражение величины эффекта с помощью четырехпольной таблицы (таблица 6):

Таблица 6

	Неблагоприятный исход «+»	Неблагоприятный исход «-»
Лечение «+»	a	b
Лечение «-»	c	d

По данной таблице можно рассчитать следующие показатели:

1. Риск развития неблагоприятного исхода при проведении лечения = a/(a + b).

2. Риск развития неблагоприятного исхода при отсутствии лечения = c/(c + d).

3. Снижение абсолютного риска (САР) = c/(c+d) - a/(a+b)

4. Число больных, которых необходимо лечить (ЧБНЛ) этим методом в течение определенного времени, чтобы предотвратить определенный неблагоприятный исход (ЧБНЛ) = 1/CAP

5. Относительный риск (ОР) = [a/(a+b)] / [ c/(c+d)]

6. Снижение относительного риска (СОР) = 1- ОР

7. Шансы неблагоприятного исхода при проведении лечения = a/b

8. Шансы неблагоприятного исхода при отсутствии лечения = c/d

9. Отношение шансов (ОШ) = (a/b) / (c/d).

Исследования этиологии (причин заболевания)

Если публикация посвящена изучению причин заболевания, то необходимо выяснить:

• Заранее определенный, четко описанный метод отбора обследуемых.

• Четко определенный изучаемый причинный фактор.

• Были ли анализируемые группы аналогичны во всем, кроме интере­сующего нас агента (этиологического фактора)?

• Измерялось ли воздействие и его результаты одинаково во всех груп­пах? – систематическая ошибка измерения.

• Критерии исхода.

• Было ли наблюдение за пациентами достаточно длительным, а потери при наблюдении минимальными.

• Может ли считаться этиологический агент причиной заболевания (постулаты причинности).

Исследования прогноза

Если публикация посвящена изучению прогноза, то необходимо выяснить:

• Ясно ли сформулированы принципы формирования исходной группы больных?

• Детально ли описан способ подбора больных?

• Критерии диагностики.

• Было ли исследование длительным, а потери минимальны?

• Применялись ли объективные критерии исхода?

• Если были выявлены подгруппы с различающимся прогнозом, прово­дилась ли коррекция по основным факторам риска?

• Проводилась ли проверка полученных данных на другой группе паци­ентов?

Практическое задание (интерактивная часть: ролевая игра)

Группа студентов разбивается на малые группы по пять человек. Каждой малой группе предлагается реальная научная статья.

В каждой малой группе распределяются следующие роли: 3 рецензента, автор статьи и редактор журнала. Рецензентам предлагается оценить научную статью по следующим пунктам:

1. Цель исследования

2. Задачи исследования

3. Дизайн исследования

4. Характеристика выборки

5. Описательная статистика

6. Оценка достоверности различий

7. Представление таблиц и графиков

8. Выводы и предложения

9. Отдельные замечания

На ознакомление с материалом работы дается 40 минут. После чего заслушиваются выступления каждого участника ролевой игры. Сначала выступают рецензенты и высказывают свои замечания по поводу организации проведенного автором исследования, изложения и оформления материала. Затем выступает автор. Он либо соглашается с приведенными рецензентами замечаниями, либо отстаивает и обосновывает свою точку зрения. В заключении выступает редактор научного журнала, в котором планируется издание данной публикации. Он принимает решение о том, принимать ли к печати данную статью.

1. Вопросы по теме занятия:

1. Статистические таблицы. Правила оформления статистических таблиц.

2. Основные требования к построению таблиц.

3. Графические изображения, использующиеся для наглядного отображения статистических данных.

4. Правила построения диаграмм.

5. Основные типы диаграмм.

6. Источники медицинской информации. Их виды.

7. Традиционные источники медицинской информации.

8. Современные источники медицинской информации. Медицинские ресурсы Интернета.

9. Алгоритм оценки медицинских публикаций.

2. Тестовые задания по теме с эталонами ответов:

1. ОСНОВНЫМ ПРИЗНАКОМ ИЗУЧАЕМОГО ЯВЛЕНИЯ (ОБЪЕКТОМ ИССЛЕДОВАНИЯ) В СТАТИСТИЧЕСКОЙ ТАБЛИЦЕ ЯВЛЯЕТСЯ

1) варианта

2) подлежащее

3) сказуемое

4) экспликация

2. ПОДЛЕЖАЩЕЕ В СТАТИСТИЧЕСКОЙ ТАБЛИЦЕ, КАК ПРАВИЛО, ДОЛЖНО РАСПОЛАГАТЬСЯ

1) не имеет значения

2) в вертикальных графах

3) по горизонтальным строкам

4) в любом месте

3. СТАТИСТИЧЕСКОЕ ПОДЛЕЖАЩЕЕ В ТАБЛИЦАХ ХАРАКТЕРИЗУЕТ

1) частота

2) варианта

3) вариационный ряд

4) статистическое сказуемое

4. ТАБЛИЦА, В КОТОРОЙ ПОДЛЕЖАЩЕЕ ПОДРАЗДЕЛЯЕТСЯ НА ГРУППЫ ПО КАКОМУ-ЛИБО ПРИЗНАКУ, НАЗЫВАЕТСЯ

1) групповая

2) комбинационная

3) простая

4) сложная

5. ЕСЛИ В ТАБЛИЦЕ ПОДЛЕЖАЩЕЕ ПОДРАЗДЕЛЯЕТСЯ ПО ГРУППАМ НА ДВА ПРИЗНАКА И БОЛЕЕ, ТО ОНА НАЗЫВАЕТСЯ

1) групповая

2) комбинационная

3) простая

4) сложная

6. ГРАФИЧЕСКИЕ ИЗОБРАЖЕНИЯ, ИСПОЛЬЗУЮЩИЕСЯ ДЛЯ НАГЛЯДНОГО ОТОБРАЖЕНИЯ СТАТИСТИЧЕСКИХ ДАННЫХ, НАЗЫВАЮТСЯ

1) фигуры

2) таблицы

3) рисунки

4) диаграммы

7. СЛОВЕСНЫЕ ПОЯСНЕНИЯ К ПОМЕЩЕННЫМ НА ГРАФИКЕ ВСПО­МОГАТЕЛЬНЫМ ИЗОБРАЗИТЕЛЬНЫМ СРЕДСТВАМ (СИСТЕМА КО­ОРДИНАТ, НАИМЕНОВАНИЕ ГРАФИКА И Т.Д.) ВКЛЮЧАЮТ В СЕБЯ

1) экспликацию

2) огиву

3) варианту

4) гистограмму

8. РАСПРЕДЕЛЕНИЕ КОЛИЧЕСТВЕННОГО ПРИЗНАКА ХАРАКТЕРИ­ЗУЕТ

1) линейная диаграмма

2) секторная диаграмма

3) коробчатая диаграмма

4) гистограмма

9. ОДНИМ ИЗ ВАРИАНТОВ СТОЛБИКОВЫХ ДИАГРАММ ЯВЛЯЕТСЯ

1) секторная

2) линейная

3) ленточная

4) радиальная

10. ДЛЯ ГРАФИЧЕСКОГО ИЗОБРАЖЕНИЯ ИНТЕРВАЛЬНЫХ РЯДОВ РАСПРЕДЕЛЕНИЯ ПРИМЕНЯЕТСЯ

1) гистограмма

2) радиальная диаграмма

3) линейная диаграмма

4) ленточная диаграмма

11. ДЛЯ ОТОБРАЖЕНИЯ ЭКСТЕНСИВНЫХ ПОКАЗАТЕЛЕЙ ИСПОЛЬ­ЗУЕТСЯ ДИАГРАММА

1) внутристолбиковая

2) столбиковая

3) линейная

4) ленточная

12. «ЯЩИКОМ С УСАМИ» НАЗЫВАЮТ

1) коробчатую диаграмму

2) картограмму

3) гистограмму

4) линейную диаграмму

13. ПРИ ПОСТРОЕНИИ ТАБЛИЦ ДАННЫЕ, ОБЪЕДИНЕННЫЕ В ГРАФУ «ПРОЧИЕ», МОГУТ ОХВАТЫВАТЬ НЕ БОЛЕЕ

1) 5% итогов

2) 30% итогов

3) 20% итогов

4) 10% итогов

14. ИЗ ПРИВЕДЕННЫХ НИЖЕ ДИАГРАММ ЦЕЛЕСООБРАЗНО ИС­ПОЛЬЗОВАТЬ ДЛЯ ОТОБРАЖЕНИЯ ЭКСТЕНСИВНЫХ ПОКАЗАТЕ­ЛЕЙ

1) линейную

2) столбиковую

3) ленточную

4) секторную

15. ЗНАК (—) В КЛЕТКЕ ТАБЛИЦЫ ОЗНАЧАЕТ

1) отсутствует само явление

2) нет сведений

3) данные предварительные

4) сомнительные данные

16. ДИАГРАММА, КОТОРАЯ ПРИМЕНЯЕТСЯ ДЛЯ ИЗОБРАЖЕНИЯ ДИ­НАМИКИ ЯВЛЕНИЯ ЗА ЗАМКНУТЫЙ ЦИКЛ ВРЕМЕНИ (СУТКИ, НЕДЕЛЯ, ГОД), НАЗЫВАЕТСЯ

1) радиальная

2) линейная

3) ленточная

4) столбиковая

17. ИЗОБРАЖЕНИЕ СТАТИСТИЧЕСКИХ ДАННЫХ НА КОНТУРНОЙ КАРТЕ В ВИДЕ СТОЛБИКОВ ИЛИ ДРУГИХ СИМВОЛОВ НАЗЫВА­ЕТСЯ

1) картограмма

2) гистограмма

3) линейная диаграмма

4) картодиаграмма

18. ПОСТРОЕНИЕ СЕКТОРНОЙ ДИАГРАММЫ НАЧИНАЕТСЯ ПО ХОДУ ЧАСОВОЙ СТРЕЛКИ ОТ ТОЧКИ, СООТВЕТСТВУЮЩЕЙ

1) 12 часам

2) 6 часам

3) 3 часам

4) 9 часам

19. ДИНАМИКУ ЯВЛЕНИЯ ЗА РЯД ЛЕТ МОЖНО ПРЕДСТАВИТЬ В ВИДЕ

1) внутристолбиковой диаграммы

2) линейной диаграммы

3) секторной диаграммы

4) радиальной диаграммы

20. ЛИНЕЙНАЯ ДИАГРАММА ОТРАЖАЕТ

1) структуру явления

2) частоту явления

3) динамику явления

4) достоверность показателя

21. ИНТЕНСИВНЫЙ ПОКАЗАТЕЛЬ МОЖНО ПРЕДСТАВИТЬ ДИАГ­РАММОЙ

1) секторной

2) линейной

3) внутристолбиковой

4) гистограммой

22. ПРИ ДЕМОНСТРАЦИИ КАКИХ-ЛИБО ДАННЫХ ДЛЯ ШИРОКОЙ АУДИТОРИИ, НЕ ИМЕЮЩЕЙ СПЕЦИАЛЬНОЙ ПОДГОТОВКИ, ЦЕЛЕ­СООБРАЗНО ИСПОЛЬЗОВАТЬ

1) секторную диаграмму

2) радиальную диаграмму

3) фигурную диаграмму

4) картограмму

23. ИТОГ ДЛЯ ВСЕЙ ПРЕДСТАВЛЕННОЙ В ТАБЛИЦЕ СОВОКУПНОСТИ СЛЕДУЕТ СМОТРЕТЬ В ЯЧЕЙКЕ

1) верхний внутренний боковой заголовок

2) верхний внутренний подзаголовок

3) «итого»

4) «всего»

24. В КОМБИНАЦИОННЫХ ТАБЛИЦАХ ОЦЕНИВАЕТСЯ РАСПРЕДЕ­ЛЕНИЕ УЧЕТНЫХ ПРИЗНАКОВ

1) трех и более

2) одного

3) двух

4) ни одного

25. НЕДОСТАТКОМ КОМБИНАЦИОННЫХ ТАБЛИЦ ЯВЛЯЕТСЯ

1) отсутствие наблюдений

2) большое число наблюдений

3) малое число наблюдений

4) отсутствие наблюдений

26. СОЧЕТАНИЕ ГЕОГРАФИЧЕСКОЙ КАРТЫ ИЛИ ЕЕ СХЕМЫ С ДИАГ­РАММАМИ, ПРЕДСТАВЛЯЮЩИМИ СТАТИСТИЧЕСКИЕ ДАННЫЕ, ОТНОСЯЩИЕСЯ К ОПРЕДЕЛЕННЫМ ТЕРРИТОРИЯМ, НАЗЫВА­ЕТСЯ

1) гистограмма

2) картограмма

3) картодиаграмма

4) картосхема

27. АНАЛИЗ СТАТИСТИЧЕСКОЙ ТАБЛИЦЫ СЛЕДУЕТ НАЧИНАТЬ С

1) подзаголовков

2) итогов

3) заголовков

4) оценки динамики данных

28. ЗНАК (*) В КЛЕТКЕ ТАБЛИЦЫ ОЗНАЧАЕТ, ЧТО

1) отсутствует само явление

2) нет сведений

3) данные предварительные

4) сомнительные данные

29. ЗНАК (…) В КЛЕТКЕ ТАБЛИЦЫ ОЗНАЧАЕТ, ЧТО

1) сведения отсутствуют

2) данные предварительные

3) данные сомнительные

4) отсутствует само явление

30. ДИАГРАММА, ПОЗВОЛЯЮЩАЯ ОДНОВРЕМЕННО ИЗОБРАЖАТЬ ПЯТЬ ВЕЛИЧИН (МИНИМАЛЬНОЕ ЗНАЧЕНИЕ, ПЕРВЫЙ КВАР­ТИЛЬ, МЕДИАНА, ТРЕТИЙ КВАРТИЛЬ, МАКСИМАЛЬНОЕ ЗНАЧЕ­НИЕ), НАЗЫВАЕТСЯ

1) линейная

2) столбиковая

3) радиальная

4) коробчатая

31. ПРОСТАЯ ТАБЛИЦА ИМЕЕТ СЛЕДУЮЩЕЕ ЧИСЛО СКАЗУЕМЫХ

1) два

2) одно

3) три

4) не имеет

32. НА ГИСТОГРАММЕ ОБЩЕЕ ЧИСЛО (ИЛИ ДОЛЮ) НАБЛЮДЕНИЙ ХАРАКТЕРИЗУЕТ

1) высота столбца

2) площадь столбца

3) ширина столбца

4) периметр столбца

33. К НЕДОСТАТКУ ТРАДИЦИОННЫХ ИСТОЧНИКОВ МЕДИЦИНСКОЙ ИНФОРМАЦИИ (СПРАВОЧНИКОВ И МОНОГРАФИЙ) ОТНОСИТСЯ

1) устаревание информации

2) публикации не выдерживают критики с позиций достоверности

3) труднодоступность информации

4) низкое методологическое качество

34. К НЕДОСТАТКУ ТРАДИЦИОННЫХ ИСТОЧНИКОВ МЕДИЦИНСКОЙ ИНФОРМАЦИИ (МНЕНИЕ «СТАРШИХ», «ОПЫТНЫХ» КОЛЛЕГ) ОТНОСИТСЯ

1) публикации не выдерживают критики

2) использование устаревшей информацией

3) труднодоступность информации

4) редкие эпизоды получения информации

35. МЕТА-АНАЛИЗ – ЭТО

1) обзор, включающий в себя максимально возможное количество литературных источников

2) обзор, в котором для объединения и обобщения результатов нескольких оригинальных исследований применяют статистические методы

3) обзор, в котором представлены различные точки зрения по изучаемому вопросу

4) анализ современных научно-медицинских источников

36. СИСТЕМАТИЧЕСКИЙ ОБЗОР, В КОТОРОМ ПРИМЕНЕНЫ СТАТИСТИЧЕСКИЕ МЕТОДЫ, ЭТО

1) статистический обзор

2) мета-анализ

3) аналитический обзор

4) систематический анализ

37. К ТРАДИЦИОННЫМ ИСТОЧНИКАМ МЕДИЦИНСКОЙ ИНФОРМАЦИИ ОТНОСЯТСЯ

1) справочники

2) электронные библиотеки

3) электронные версии медицинских журналов

4) поисковые системы

38. К ТРАДИЦИОННЫМ ИСТОЧНИКАМ МЕДИЦИНСКОЙ ИНФОРМАЦИИ ОТНОСЯТСЯ

1) электронные библиотеки

2) сайты профессиональных медицинских ассоциаций

3) медицинские сайты

4) медицинские журналы

39. К СОВРЕМЕННЫМ ИСТОЧНИКАМ МЕДИЦИНСКОЙ ИНФОРМАЦИИ ОТНОСЯТСЯ

1) справочники

2) Кохрановская библиотека

3) монографии

4) опыт старших коллег

40. В КОХРАНОВСКОЙ БИБЛИОТЕКЕ ПРЕДСТАВЛЕНЫ ОБЗОРЫ

1) рецензируемые

2) тематические

3) систематические

4) реферативные

41. К МЕДИЦИНСКИМ РЕСУРСАМ ИНТЕРНЕТА ОТНОСЯТСЯ

1) Rambler

2) Medline

3) Google

4) Yandex

42. ОЦЕНКА ПУБЛИКАЦИИ ВКЛЮЧАЕТ В СЕБЯ

1) оценку грамотности

2) оценку организации здравоохранения

3) оценку темы исследования

4) оценку издания

Эталоны ответов к тестовым заданиям:

вопрос	1	2	3	4	5	6	7	8	9	10
ответ	2	3	4	1	2	4	1	4	3	1
вопрос	11	12	13	14	15	16	17	18	19	20
ответ	1	1	4	4	1	1	4	1	2	3
вопрос	21	22	23	24	25	26	27	28	29	30
ответ	2	3	4	1	2	3	2	3	1	4
вопрос	31	32	33	34	35	36	37	38	39	40
ответ	2	2	1	2	2	2	1	4	2	3
вопрос	41	42
ответ	2	4

30