11.13. Перитониты Ответы к тестам:

1—д; 2—в; 3—а; 4—г; 5—д; б—а; 7—в; 8—а; 9—в;

10—6; 11—г; 11—а; 12—д; 13—д; 14—6; 15—в; 16—д;

17—6; 18—г; 19—д; 20—г; 21—г; 22—6; 23—6; 24—6;

25—д; 26—г.

Глава III. Тестовый экзамен, методика проведения и его анализ

Тестовый экзамен с применением вопросов множественного выбора имеет явные преимущества по сравнению с устным. Во-первых, он проводится для всего потока в один день, во-вторых, психологические нагрузки отвечающих значительно меньше, чем при устном ответе, в-третьих, тестовый экзамен позволяет прове­сти анализ с применением математических выкладок, что объек­тивно характеризует ориентацию студентов в изучаемом пред­мете.

Для проведения экзамена необходимо изготовить несколько вариантов экзаменационных работ. Более чем 20-летний опыт проведения тестового экзамена показал, что для этого необходи­мо составить не менее 5 вариантов, каждый из которых состоит из 100 вопросов. Меньшее количество вариантов может способ­ствовать списыванию отвечающими друг у друга, большее же их число затруднит проведение анализа экзаменационной сессии. Для подготовки и ответа выделяется 3 часа, после чего варианты собираются для проверки. Каждый из вариантов должен содер­жать одинаковое количество вопросов по различным темам. Структура вариантов может быть составлена следующим обра­зом: 1—10-й вопросы выделены для общей тематики: волемические изменения при различной патологии, КЩС, определение группы крови, осложнения при переливании крови и пр.; 11—22-й вопросы относятся к патологии заболеваний легких; 23—27-й — заболевания щитовидной железы; 28—30-й — заболевания молоч­ной железы; 31—42-й—заболевания пищевода и желудка; 43—

52-й—патология желчного пузыря и поджелудочной железы;

53—57-й—патология червеобразного отростка; 58—67-й—воп­росы острой кишечной непроходимости и перитонита; 68—77-й— патология ободочной и прямой кишок; 78—87-й—патология со­судов; 88—92-й—грыжи и 93—100-й—прочие заболевания. Есте­ственно, структура вариантов может быть иной в зависимости от научной направленности кафедры. Каждые 3—4 года приходится создавать новые варианты, так как старые часто становятся до­стоянием студенческой аудитории, что приводит к потере объек­тивности тестов. Наличие банка вопросов по различным заболе­ваниям значительно упростит эту довольно трудоемкую про­цедуру.

Матрицей для математического анализа является общий лист с цифровым перечислением всех 100 вопросов и пунктов а, б, в, г, д, один из которых, являющийся, по мнению экзаменующегося, правильным, зачеркивается (схема 1). На контрольный лист на­кладывается прозрачный трафарет, изготовленный, например, из отмытой рентгенологической пленки, на котором в виде кружоч­ка или крестика наносится правильный ответ. Эти трафареты хра­нятся в сейфе у наиболее ответственного лица кафедры и разда­ются преподавателям непосредственно перед проверкой работ. В связи с тем, что окончательный ответ однозначен, количество ошибок может быть от 1 до 100.

Цели математического анализа экзаменационной сессии пока­заны на схеме 2. Одним из самых важных и наглядных показа­телей является установление компетентности студентов в вопро­сах хирургии (схема 2).

Математический анализ начинается с подсчета в каждой рабо­те количества ошибок. Это один из самых трудоемких моментов технической обработки материала. Сводное количество ошибок, деленное на число отвечающих, дает среднюю ошибку. Этот по­казатель позволяет ориентировочно судить о результате экзаме­национной сессии, сравнить его с соответствующими результата­ми в предыдущие годы. Подобное же вычисление в каждом вари­анте характеризует степень их трудности для студента. Средняя ошибка каждого варианта, так же как и средняя ошибка курса, выраженные графически в сопоставлении с данными по несколь­ким сессиям, наглядно отражают степень подготовленности пото­ка и трудность вариантов для отвечающих в настоящем году. Анализ экзаменационных работ в зависимости от количества ошибок является стабильным и достаточно информативным. Тра­диционно выделены следующие работы: от 1 до 15 ошибок, от 16 до 25, от 26 до 30, от 31 до 40 и от 41 ошибки и больше. Процент­ное соотношение этих работ детально характеризует ориентацию студентов в изучаемом предмете, позволяет выделить число неус­певающих и отличников. Подобное же вычисление проводится в каждом варианте, что дополнительно характеризует эти варианты по степени трудности.

Конечным этапом анализа экзаменационной сессии по выявле­нию знаний студентов является определение коэффициента неос­ведомленности студентов, вычисляемого по формуле:

Общее количество ошибок по теме (варианту)

КН=---------------------------------------------------------

Количество вопросов в теме (варианте)* число отвечающих

Не претендуя на математическую обоснованность, коэффици­ент неосведомленности позволяет не только выявить общую ори­ентированность студентов в хирургии и трудность каждого вари­анта для отвечающих, но и, что более важно, определить осведом­ленность студентов по каждой теме в отдельности. Например, по заболеваниям периферических сосудов в варианте А допущено 129 ошибок 36 отвечающим.

В этом варианте данной патологии уделено 10 вопросов. Сле­довательно:

129

КН=-------=0,36

10*36

Сопоставляя величины К.Н по каждой теме, можно выделить наиболее и наименее информативные из них и сделать соответ­ствующие выводы. Более полная характеристика знаний студен­та может быть получена при сравнении результатов экзаменаци­онной сессии с успеваемостью в течение года, так как различные причины (болезнь учащегося, прогулы, непосещение лекций) найдут отражение в экзаменационных ответах на эту тему.

Важным аспектом анализа экзаменационных вариантов явля­ется выявление качества составленных вопросов — валидность экзаменационных тестов (схема 3).

СХЕМА 1

2-й МОЛГМИ. Кафедра хирургических болезней № 3 лечебного факультета

КОНТРОЛЬНЫЙ ЛИСТ

Группа ___________Ф.И.О. _________________

Вариант _______Преподаватель_________________

Заполняется на кафедре (для компьютерной обработки) Код группы ___Номер студента___Номер варианта . Количество ошибок Резерв-1 _____Резерв-2 ____

1абвгд 26абвгд 51 а б в г д 76 а б в г д

2абвгд 27абвгд 52абвгд 77абвгд

Забвгд 28абвгд 53 а б в г д 78абвгд

4абвгд 29 а б в г д 54абвгд 79абвгд

5 а б в г д 30абвгд 55абвгд 80абвгд

бабвгд 31абвгд 56 а б в г д 81абвгд

7абвгд 32абвгд 57абвгд 82абвгд

8абвгд ЗЗабвгд 58абвгд 83абвгд

9абвгд 34абвгд 59абвгд 84абвгд

Юабвгд 35 а б в г д 60абвгд 85абвгд

Набвгд Збабвгд 61 а б в г д 86абвгд

12 а б в г д 37абвгд 62 а б в г д 87абвгд

13абвгд 38абвгд бЗабвгд 88абвгд

14 а б в т д 39абвгд 64абвгд 89абвгд

15 аб в г д 40 а б в г д 65 а б в г д 90 а б в г д

16абвгд 41абвгд 66 а б в г д 91абвгд

17абвгд 42абвгд 67абвгд 92абвгд

18абвгд 43абвгд 68 а б в г д 93абвгд

19абвгд 44абвгд 69 а б в г д 94абвгд

20абвгд 45абвгд 70абвгд 95абвгд

21абвгд 46абвгд 71 а б в-г д 96 а б в г д

22абвгд 47абвгд 72абвгд 97абвгд

23абвгд 48абвгд 73абвгд 98абвгд

24абвгд 49абвгд 74абвгд 99абвгд

25абвгд 50абвгд 75абвгд 100 а б в г д

СХЕМА 2 Цели математического анализа

Выявление уровня подготовки студентов

Определение валидности вопросов

Составление схемы «обратной связи»

СХЕМА 2 Выявление уровня подготовки студентов

Определение средней ошибки	определение коэффицента неосведомленности(КН)	Анализ результатов экзаменационной сессии и успеваемости в течение года
определение средней ошибки курса	Определение КН курса	Сопоставление результатов экзамена с общегодовой оценкой
определение средней ошибки по темам	Определение КН каждой темы	Сравнение результатов ответа с посещением занятий в течение года и дисциплиной студента
сопоставление средней ошибки с таковой на предыдущем экзамене	Сопоставление КН с таковыми на предыдущих сессиях

СХЕМА 3 Валидность вопросов

Выявление вопросов в зависимости от количества ошибок

Выявление индекса трудности Выявление индекса различения

Выявление вопросов, на которые все студенты ответили пра­вильно, свидетельствует об их значении в определении знаний. Иное отношение к тестам, представившим для студентов боль­шую трудность. Анализ их может указать либо на неправильную компоновку, либо на недостаточное освещение данного раздела в течение учебного года на лекциях и практических занятиях.

Более тонкую структуру вопросов позволяют выявить два других индекса: индекс трудности (ИТ) и индекс различения (ИР).

ИТ—это показатель измерения легкости вопроса с учетом всех правильных ответов на него, сделанных студентами сильной и слабой групп. Последние отбираются в количестве 1/3 отве­чающих. Например, в одном из вариантов 69 работ. Для анали­за взяты работы с наименьшим и наибольшим количеством оши­бок в соотношении 1 : 3, то есть 23 тех и других работ. Чем выше индекс трудности, тем легче вопрос. Идеальным ИТ является 50—60%, приемлемым 30—70%.

H+L

ИТ= ------------*100

n

Н—число правильных ответов в сильной группе,

L—число правильных ответов в слабой группе,

n—общее число экзаменуемых.

ИР показывает, как ответы на вопрос разделяют экзаменуе­мых на более и менее знающих.

H - L

ИР=----------x2

n

ИР,равный 0,35 и выше, характеризует вопрос как отлично сос­тавленный; 0,25—0,34—как хорошо составленный; 0,15—0,24— как спорный, подлежащий пересмотру, и ниже 0,15—как плохо составленный вопрос, подлежащий исключению.

Анализ экзаменационной сессии был бы неполным, если бы, помимо выводов о еерезультатах, не возникли обоснованные предложения для улучшения педагогического процесса в сле­дующем году. Устная форма экзамена позволяет судить об этом лишь на основании выставленных экзаменационных оценок, что, естественно, не всегда соответствует реальности. Схема «обрат­ной связи», позволяющая руководить учебным процессом в сле­дующем году, при письменном экзамене наглядна и состоит из анализа вопросов с максимальным и минимальным количеством ошибок и определения коэффициента неосведомленности .студен­тов в вопросах данного предмета.

Если при ответе на вопрос большинство студентов (до 85— 90%) допустили ошибку, необходимо анализировать этот факт с двух позиций — вопрос составлен неправильно, в нем нет логич­ности или допущена двусмысленность, и, следовательно, он под­лежит переработке и труден для ответа, на него мало обращали внимания на лекции, семинарских занятиях. В этом случае пре-

подаватель, ведущий данную тему, может уделить ему больше внимания, конкретизируя разбором больных и пр.

Более определенная ситуация складывается при выявлении КН студентов. Например, КН по различным темам распределил­ся следующим образом: 1) заболевания молочной железы—0,44;

2) острая кишечная непроходимость — 0,38; 3) заболевания пе­риферических сосудов—0,38; 4) грыжи—0,31. Коллективу ка­федры ясно, что темам с высоким КН необходимо уделить боль­ше внимания. В данном случае это относится к заболеваниям мо­лочной железы. В то же время это является и показателем ка­чества преподавания отдельными ассистентами, если в течение учебного года за ними были закреплены строго определенные те­мы. Анализ экзаменационной сессии для выявления схемы «об­ратной связи» представлен на схеме 4.

Выявление схемы «обратная связь»

Анализ вопросов, тем, вариантов по КН

Анализ работ по максимальному и минимальному количеству ошибок

Следовательно, тестовый экзамен по методу множественного выбора позволяет проводить конкретный математический анализ. Целями последнего являются определение знаний студентов, со­поставление уровня подготовленности студентов текущего го­да и студентов предыдущих лет, сопоставление схемы «обратной связи» и определение валидности вопросов, позволяя активно ру­ководить учебным процессом.

Система «Экзамен»

Для компьютерной обработки результатов экзаменационной сессии по курсу хирургических болезней разработана диалоговая система «Экзамен». Система предназначается для ввода, хране­ния контрольных листов студентов и для расчета различных сводно-статистических таблиц, необходимых для проведения ана­лиза экзаменационных сессий. Система работает в режиме диало­га оператор—ЭВМ.

Система «Экзамен» ориентирована на работу с использовани­ем самых распространенных микроЭВМ типа «ДВК», «Электро­ника-60» и других, программно совместимых с ЭВМ «СМ-4». По­скольку на этих компьютерах применяются флопи-диски неболь­шого объема, нами разработана собственная специализирован­ная база данных для хранения сведений об экзаменах. Примене­ние готовой универсальной базы данных представляется нецеле­сообразным ввиду значительного объема информации при весьма ограниченных возможностях микроЭВМ.

В базе данных предполагается накапливать информацию за несколько лет. Основная единица хранения — контрольный лист студента. В контрольном листе содержится следующая информа­ция: код учебной группы, номер студента, номер варианта, список номеров вопросов, на которые студент ответил неверно.

Для генерации содержательных таблиц в базе данных хра­нится также и некоторая описательная информация—список преподавателей, таблица распределения вопросов по учебным темам и т. д. Поскольку эта информация может измениться со временем, каждый экзамен в базе данных будет иметь свое опи­сание — справочник экзамена.

По каждому экзамену в базе данных хранится справочник экзамена и массив контрольных листов студентов. Основная ин­формация справочника экзамена: списки учебных групп, препо­давателей, учебных тем; таблицы закрепления преподавателей за группами, распределения вопросов по темам. Для обеспечения гибкости системы количественные характеристики экзаменов варьируют в широких пределах. Конкретные значения количест­венных характеристик также хранятся в справочнике: количество факультетов, количество групп, количество вопросов, количество введенных контрольных листов студентов и др.

Для обеспечения возможного расширения системы широко применяется принцип резервирования. Так, например, преду­смотрен резерв для расширения состава справочника экзамена, предусмотрены резервные характеристики студентов (возможно, для расчетов понадобится средний балл студента, коэффициент посещаемости лекций и др.).

Работа с базой данных проходит в режиме диалога. Преду­сматривается ввод, корректировка, визуализация контрольных листов и данных из справочника экзамена. Также в режиме диалога по запросам пользователя система рассчитывает различ­ные сводно-статистические таблицы. Например, среднее количе­ство ошибок на одного студента по вариантам и факультетам, коэффициент неосведомленности студентов по экзаменационным темам, с разделением по вариантам и др. Необходимые резуль­таты для наглядности выдаются в виде гистограмм.

Для обеспечения возможности тиражирования системы «Эк­замен» разработка проведена на уровне «программного продук­та». То есть система может эксплуатироваться любым операто­ром средней квалификации без поддержки разработчиков. Си­стема будет передаваться в виде комплекта: программы на маг­нитном носителе и документация. При этом пользователь сначала сгенерирует базу данных в соответствии со спецификой своего института, а затем пользуется системой: вводит информацию, заказывает расчеты.

Для облегчения эксплуатации системы предусмотрен «друже­ственный интерфейс». Все ответы оператора и вводимые данные тщательно проверяются. В случае обнаружения ошибок или про­тиворечий оператору выводится подробное сообщение, а затем вопрос повторяется. Если в процессе работы оператору непоня­тен какой-либо вопрос, то можно попросить у системы «подсказ­ку»—пояснение, раскрывающее суть вопроса и дающее возмож­ные варианты ответов.

Система «Экзамен» разработана в операционной системе РАФОС, язык программирования РАТФОР (ФОРТРАН). В пер­спективе возможен перенос системы на 16-битные персональные компьютеры.