Добавил:
Sekretar
kiopkiopkiop18@yandex.ru
t.me/Prokururor I Вовсе не секретарь, но почту проверяю
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Ординатура / Хирургия / Библиотека им академика М.И. Перельмана / Книга_1966_Библиотеки_им_академика_М_И_Перельмана
.pdf
71
алгоритм Random forest, 0,75±0,19 (𝑋
± 𝜎), 0,73 (интегральный показатель – формула (8) –
табл.15), что говорит о достаточной точности модели.
Таблица 15 – Качество бинарных моделей «Нет фистул+ Б/х утечка» vs «Фистула В/С»
Алгоритм
Модель
Логистическая
регрессия
Random forest CatBoost
5-кратная Кросс-валидация, roc auc,
𝑿
±
𝝈
1
Пред- и
интраоперационные
данные
0,6±0,15 0,58±0,16 0,57±0,17
1-5 день после
операции
0,6±0,16 0,75±0,19 0,75±0,25
5-кратная Кросс-валидация, roc auc,
∫
𝐭𝐩𝐫
(
𝐟𝐩𝐫
)
𝒅
𝟏
𝟎
𝐟𝐩𝐫
2
Пред- и
интраоперационные
данные
0,59 0,56 0,53
1-5 день после
операции
0,59 0,72 0,70
Примечание.
1
Среднее значение roc auc по 5 этапам кросс-валидации с поправкой на
стандартное отклонение.
2
Интегральный показатель roc auc, формула (8)
Для оценки факторов риска развития различных классов осложнения, в том числе фистул
В/С была построена трехмерная модель. Аналогично предыдущим результатам, наибольшие
значения roc auc на пред- и интраоперационных данных были получены для логистической
регрессии, 0,68±0,09 (𝑋
± 𝜎), а при добавлении данных, известных на 1-5 послеоперационные
дни – для алгоритма Random forest, 0,8±0,06 (𝑋
± 𝜎 – табл.16).
72
Таблица 16 – Качество трехмерных моделей
Алгоритм
Модель
Логистическая
регрессия
Random forest CatBoost
5-кратная Кросс-валидация, roc auc,
𝑿
±
𝝈
1
Пред- и
интраоперационные
данные
0,68±0,09 0,65±0,07 0,62±0,11
1-5 день после
операции
0,73±0,08 0,8±0,06 0,8±0,07
5-кратная Кросс-валидация, roc auc,
∫
𝐭𝐩𝐫
(
𝐟𝐩𝐫
)
𝒅
𝟏
𝟎
𝐟𝐩𝐫
2
Пред- и
интраоперационные
данные: фистула
B/C+Б/х утечка vs
нет фистул
0,66 0,65 0,64
1-5 день после
операции: фистула
B/C+Б/х утечка vs
нет фистул
0,54 0,85 0,83
Пред- и
интраоперационные
данные: Бх утечка vs
остальные классы
0,74 0,73 0,69
1-5 день после
операции: Бх утечка
vs остальные классы
0,54 0,77 0,81
Пред- и
интраоперационные
данные: фистула B/C
vs
остальные классы
0,62 0,51 0,51
1-5 день после
операции: фистула
B/C vs остальные
классы
0,53 0,74 0,71
Пред- и
интраоперационные
данные: фистула B/C
vs
б/х утечка
0,61 0,41 0,42
1-5 день после
операции: фистула
B
/
C
vs
б/х утечка
0,5 0,53 0,48
Примечание.
1
Среднее значение roc auc по 5 этапам кросс-валидации с поправкой на
стандартное отклонение.
2
Интегральный показатель roc auc, формула (8)
Во всех случаях большую точность имели модели, разработанные с использованием
данных, известных после операции, в том числе значений амилазы в отделяемом по дренажу,
73
которая является основным критерием диагностики и предиктором развития ПОПФ по данным
корреляционного анализа (Раздел 4.3.) и согласно данным литературы [27, 53].
Прогностическая способность моделей предсказывать изолированное развитие фистул
класса В и С без учета биохимической утечки была невысокой, менее 0,7, что говорит о
необходимости учитывать повышение амилазы в отделяемом по дренажу при прогнозировании
последующего развития симптомных ПОПФ. Кроме того, выполнение инициальной
панкреатэктомии способно устранять воздействие важнейшего фактора риска − субъективной
плотности поджелудочной железы, которая по данным корреляционного анализа не имела
значимой связи с развитием осложнения в исследуемой выборке пациентов.
5.2. Оценка параметров моделирования
Для оценки влияния исследуемых параметров − потенциальных факторов риска − на
развитие ПОПФ использовалась наиболее точная модель «Random forest». Использовались два
способа оценки значимости факторов риска – расчет показателя относительной важности
(«Importance» – Im) и SHAP-алгоритм, который учитывает характер взаимосвязи между ПОПФ и
параметром (Глава 3) [44].
Для моделей логистической регрессии в первую очередь оценивались значения
коэффициентов регрессии и перехвата. Для данного типа моделей наличие значений
коэффициентов регрессии, значимо отличных от нуля является важнейшим критерием качества
алгоритма, поэтому оценку потенциальных факторов риска здесь следует рассматривать как
неотъемлемый компонент исследования самих моделей.
Кроме того, в данном разделе представлены графики roc-кривых для отобранных моделей,
которые могут быть полезны для определения соотношения между чувствительностью и
специфичностью при практическом применении моделей.
74
5.2.1. Общие предикторы послеоперационных панкреатических фистул
При анализе коэффициентов логистической регрессии в рамках бинарной модели
развития фистул В/С и биохимической утечки, с помощью программного пакета sklearn и
statsmodels.logit были получены коэффициенты значимо не отличающиеся от нуля, p<0,05.
Единственным значимым коэффициентом регресии явился возраст, р=0,037, однако
коэффициент регрессии близок к нулю, β=-0,05, что говорит о возможности изменения
вероятности развития осложнения лишь на 5%. Кроме того, при использовании поправки
Бенджами-Хочберга на множественные сравнения значения р для данного коэффицента
становятся незначимыми. Данные наблюдения могут говорить о незначимости модели,
невозможности описать датасет с использованием логистической регрессии. Для
дополнительной оценки качества модели был оценен коэффициент псевдо-R2 и критерий
равенства дисперсий Фишера (табл.17). Из низких значений критерия псевдо-R
2
=0,21 следует,
что данная модель описывает лишь 21% дисперсии переменных, что является низким
показателем и может говорить о нелинейных связях между случайными величинами. Кроме того,
при построении алгоритма были получены ошибки при количестве итераций модели менее 10000
при построении модели с использованием библиотеки statsmodels.api, которая имеет встроенные
алгоритмы оптимизации регрессионных моделей, связанных с задачами классификации. В
результате также было получено предупреждение о невозможности оптимизации модели.
Таблица 17 – Параметры бинарной модели логистической регрессии «Нет фистул» vs «Б/х утечка
+ Фистула В/С» на основе пред- и интраоперационных данных
Коэффициенты регрессии
Исследуемые параметры
Β σ z P>|z|
ДИ
[0,025; 0,975]
Перехват
4,85 2,26 2,15 0,032* 0,427 9,276
Возраст
-0,05 0,03 -2,08 0,037* -0,103 -0,003
Пол
-0,74 0,48 -1,53 0,127 -1,681 0,21
Резекция сосудов
0,57 0,63 0,90 0,37 -0,672 1,805
Диаметр Вирсунгова протока,
мм
-0,11 0,08 -1,44 0,151 -0,271 0,042
Анастомоз по Блюмгарту
0,73 0,63 1,17 0,244 -0,497 1,953
Анастомоз по РУ
-0,07 0,59 -0,13 0,901 -1,225 1,079
Время операции, мин
0,00 0,00 -0,65 0,518 -0,008 0,004
Объем кровопотери, мл
0,00 0,00 -1,04 0,299 -0,002 0,001
Пункционная энтеростома
1,04 0,60 1,74 0,082 -0,131 2,207
75
Примечание. β – коэффициент регрессии σ-стандартное отклонение. Проводилась оценка
значимости отличий коэффициентов регрессии от нуля с помощью z-теста, p<0,05
Учитывая данные наблюдения, распределение случайных величин количественных
параметров, отличное от нормального (Приложение Б), а также значения коэффициентов
регрессии, близкие к нулю, можно предположить невозможность точного моделирования
линейными алгоритмами на используемом датасете, вследствие нелинейного характера данных.
С целью дальнейшего описания факторов риска и характера данных была использована модель
на основе алгоритма классификации Random forest, roc auc 0,66±0,06 (табл.15). Учитывая
нелинейный характер данных было решено отказаться от моделирования с использованием
другого линейного алгоритма – метода опорных векторов. Данный алгоритм является частью
технологии, разработанной в данной диссертационной работе, и применяется в дополнение к
логистической регрессии (Глава 3), при этом обладает и высокой ресурсоемкостью при подборе
гиперпараметров.
При построении бинарной модели на основе пред- и интраоперационных данных,
наиболее значимыми параметрами модели явились возраст, время операции, ИМТ, объем
кровопотери, диаметр Вирсунгова протока и васкулярная инвазия (рис. 10), Im=13,8%, 13,4%,
11,9%, 11,2%, 10%, 9%, roc auc = 66% (табл.14, рис.11А). Далее в ряду значимость параметров
следовали размер опухоли, периневральная инвазия и пол, Im 7,9%, 7,1%, 5,9%. Относительная
важность оставшихся показателей была менее 5%.
Продолжение Таблицы 17
ИМТ
0,002 0,05 0,05 0,962 -0,089 0,094
НАПХТ
-1,26 0,81 -1,55 0,121 -2,858 0,332
Стадия
-0,22 0,37 -0,59 0,555 -0,951 0,511
Морфологический тип опухоли
0,38 0,65 0,58 0,56 -0,888 1,639
G
0,25 0,38 0,67 0,5 -0,485 0,994
Размеры опухоли, см3
-0,01 0,01 -1,24 0,217 -0,029 0,007
Периневральная инвазия
-0,37 0,57 -0,65 0,517 -1,479 0,744
Васкулярная инвазия
-0,93 0,62 -1,50 0,134 -2,138 0,287
F-критерий Фишера, p = 0,02
Псевдо-R2 = 0,21
76
0,00%
5,00%
10,00%
15,00%
20,00%
25,00%
Im, %
Рисунок 10 – Относительная важность параметров (Im) по данным
бинарной модели «Нет фистул» vs «Б/х утечка + Фистула В/С» на основе пред-
и интраоперационных данных: модель построена на основе алгоритма Random
forest, roc auc = 0,66
77
При построении бинарной модели с использованием данных, полученных после
хирургического вмешательства, точность модели возрастает, однако основной вклад в ее
построение вносят данные по концентрации амилазы в отделяемом по дренажу (рис. 12).
Так, при использовании данных лабораторных методов исследования известных на 1-5
сутки после операции, концентрация амилазы в отделяемом по дренажу явилась главным
фактором, определяющим развитие панкреатических фистул, Im=21,3% (рис. 12). Это
наблюдение, связано с тем, что повышение данного показателя свыше трех норм является одним
из основных диагностических критериев панкреатических свищей [27]. Следующее положение в
ряду значимости клинических параметров занимают васкулярная инвазия опухоли, время
операции, уровень амилазы крови, возраст, диаметр Вирсунгова протока, объем
интраоперационной кровопотери и периневральная инвазия Im=11% и 9,67%, 9,33%, 8,67%,
7,67%, 7%, 6,67% (рис.12), roc auc = 84% (табл.14, рис. 11Б). Уровень лейкоцитов на 1-5 дни после
операции имел меньший уровень значимости в сравнении с показателями амилазы, Im=4%.
Относительная важность оставшихся показателей была менее 5%.
Рисунок 11 – Точность бинарной модели «Нет фистул» vs «Б/х утечка + Фистула
В/С»: модель построена на основе алгоритма Random forest и имеет 2 класса: 0-нет
фистул, 1 – б/х утечка и фистулы класса В/С. А) - Пред- и интраоперационные данные;
Б) - 1-5 сутки после операции. На графиках представлены ROC-кривые, показана roc
auc (receiver operative characteristic area under the curve – площадь под ROC-кривой), [0;
1], которая является метрикой качества модели. ROC-кривые является функцией TPR
= f(FPR), где TPR (true positive rates – истинно положительные ответы),
чувствительность, представлены на оси ординат; FPR (false positive rates–
ложноположительные ответы), представлены на оси абсцисс. FPR получены при
помощи 5-кратной кросс-валидации, а TPR – из исходного датасета.
TPR
FPR
TPR
FPR
А)
Б)
78
Следует отметить, что стадия, морфологический тип опухоли и степень
злокачественности новообразования, проведение НАПХТ, а также параметры, характеризующие
хирургическое вмешательство: наложение пункционной энтеростомы, анастомоза по Ру и по
Блюмгарту, резекция сосудов не внесли значимого вклада при построении данной модели.
Данные наблюдения соответствуют результатам корреляционного анализа (раздел 4.3.) и могут
говорить об отсутствии влияния исследуемых особенностей хирургической техники на развитие
ПОПФ после ПДР.
Аналогичные результаты получены при оценки значимости факторов риска при помощи
индекса Шепли (SHAP), который учитывает соотношение между направлением изменения
признака и развитием осложнения; в данной диссертационной работе его учитывали в первую
очередь для параметров с высоким Im и значимо коррелирующих с целевой переменной.
Показатель относительной важности (Im) отражает соотношение между значимостью
параметров для построения древесной модели: при увеличении Im для одного показателя, он в
той же мере уменьшается для других (Глава 3), формулы (9-10). Значения SHAP позволяют
оценить возможный вклад параметров без учета остальных значений и оценить степень и
направление их независимого воздействия. При подобной оценке значимость факторов риска
0,00%
5,00%
10,00%
15,00%
20,00%
25,00%
Im, %
Рисунок 12 – Относительная важность параметров (Im) по данным моделей «Нет
фистул» vs «Б/х утечка + Фистула В/С» на основе данных, известных на 1-5 дни после
операции: модель построена на основе алгоритма Random forest, roc auc = 0,84.
79
можно оценивать по |SHAP|, формула (12), однако выявление наиболее значимых факторов риска
требует совместной оценки Im и SHAP [83, 90, 97].
Так, отсутствие васкулярной инвазии, малый диаметр Вирсунгова протока, высокий ИМТ,
молодой возраст, отсутствие периневральной инвазии, мужской пол и малый размер опухоли
чаще связаны с развитием ПОПФ (рис.13А). На 1-5 сутки после операционные дни повышение
значений лабораторных показателей было связано с развитием ПОПФ (рис.13Б).
80
Высокое
Низкое
Абсолютное значение параметра
Высокое
Низкое
Абсолютное значение параметра
Рисунок 13 – Значения индекса Шепли по данным бинарной модели: А) Модель на основе пред- и интраоперационных данных; Б)
Модель на основе данных, известных на 1-5 дни после операции. Данные представлены в виде скрипичных диаграмм. По оси ординат
отложены значения индекса Шепли (SHAP), формула (12). Элементы диаграмм имеют градиентную окраску в зависимости от значения
признака. Синим цветом обозначены низкие значения, красным – высокие. Диаграмма устанавливает соответствие между значениями SHAP
и параметров. SHAP может принимать значения с положительным и отрицательным знаком, SHAP ∈ R: при SHAP < 0 увеличение параметра
снижает риск развития осложнения, а при SHAP > 0 – увеличивает, , а при SHAP = 0 не оказывает никакого влияния.
А)
Б
)
Соседние файлы в папке Библиотека им академика М.И. Перельмана