Статусы экспертов

На подготовительном этапе при формировании ПК по результатам квалификационного испытания каждому эксперту, включаемому в ПК, присваивается статус.

Схема 17

В зависимости от имеющегося статуса, эксперт может быть допущен до определенного перечня работ, выполняемых предметной комиссией.

Схема 18

Статус эксперта действует только один год. В следующем году после проведения квалификационного испытания статус эксперта может быть изменен.

Этапы работы предметных комиссий

Работа предметных комиссий осуществляется во время подготовительного этапа, этапа проведения и обработки материалов экзамена и на заключительном этапе.

Подготовительный этап

Подготовительный этап работы ПК начинается за несколько месяцев до проведения ГИА. Основная деятельность ПК заключается изучении результатов анализа проведения проверки в предыдущем сезоне, подготовке экспертов ПК к проверке работ участников ГИА будущего сезона.

На подготовительном этапе в отношении подготовки предметных комиссий осуществляется:

1. Председателем ПК отбор экспертов-кандидатов на включение состава ПК (далее – эксперты-кандидаты), эксперты-кандидатуры должны соответствовать требованиям действующей нормативной базы;

2. Ознакомление председателя ПК с документацией, содержащей статистическую и аналитическую информацию о проведении и обработке/проверке материалов предыдущего сезона проведения ГИА;

3. Ознакомление председателя ПК и экспертов-кандидатов со спецификациями и демоверсиями экзаменационных материалов ГИА, которые планируется использовать при проведении ГИА;

4. Участие председателя ПК и экспертов-кандидатов в мероприятиях регионального и федерального уровня по вопросам организации, формирования и работы ПК, согласования подходов к оцениванию;

5. Определение председателем ПК порядка проведения квалификационных испытаний для экспертов-кандидатов, определение пороговых значений результатов квалификационных испытаний для экспертов-кандидатов;

6. Проведение председателем ПК установочных семинаров, а также семинаров по согласованию подходов к оцениванию экзаменационных работ;

7. Проведение председателем ПК квалификационных испытаний для экспертов-кандидатов на включение в состав ПК, установление статусов для каждого эксперта, включаемого в состав ПК;

8. Представление председателем ПК списков экспертов, включаемых в состав ПК в ОИВ для утверждения;

9. формирование и согласование председателем ПК с руководителем РЦОИ графика работы экспертов с указанием их статусов для корректного распределения работ между экспертами ПК.

Этап проведения и обработки результатов гиа

Этап проведения и обработки результатов ГИА – период, когда проводятся экзамены, обрабатываются и проходят проверку экзаменационные работ.

На этом этапе предметной комиссией осуществляются следующие мероприятия:

1. Проведение оперативного согласования подходов к оцениванию экзаменационных работ внутри ПК, основанное на ранее выработанных подходах с учетом специфики заданий, предложенных участникам ГИА на экзамене.

Проводится непосредственно в день экзамена или на следующий день (в зависимости от региональной специфики организации работы ПК).

2. Отбор незаполненных бланков ответов № 2 экспертами ПК для исключения из массива работ, проверяемых ПК.

Отбор проводится в помещениях РЦОИ с использованием программного обеспечения РЦОИ. Количество экспертов и их режим работы должен быть заблаговременно председателем ПК согласован с руководителем РЦОИ;

Эксперту на экране демонстрируются уменьшенные изображения бланков ответов №2, которые программное обеспечение определило как предположительно пустые (не заполненные участником экзамена). Каждое из изображений эксперт может пометить, как заполненное. В этом случае работа будет отправлена на проверку экспертам ПК вместе с другими заполненными работами.

3. Непосредственно проверка развернутых ответов участников ГИА экспертами ПК;

Методика проверки

Каждая экзаменационная работа должна быть проверена двумя экспертами ПК независимо друг от друга. При наличии существенного расхождения¹ в оценках, выставленных этими двумя экспертами, работа должна быть проверена третьим экспертом.

Распределение работ для проверки между экспертами – случайное. Отслеживание, чтобы каждая работа была проверено достаточное количество раз, определение существенной разницы в оценивании двумя экспертами – функции программного обеспечения РЦОИ, выполняющиеся автоматизировано.

Рабочие материалы экспертов ПК

Предметная комиссия работает с материалами, подготовленными РЦОИ. Каждому эксперту выдается рабочий комплект, который состоит из нескольких работ участников ГИА (не более 20) и машиночитаемого протокола для выставления баллов (см Рисунок 1). Отдельно выдается распечатанный пакет критериев оценивания развернутых ответов на задания вариантов, которые выполняли участники ГИА, чьи работы находятся в рабочем комплекте.

Рабочие комплекты эксперта являются именными, на протоколе и бланках-копиях работ указан код региона, предмет, номер варианта и фамилия с инициалами эксперта, которому назначен данный рабочий комплект для проверки.

Рисунок 1

В рабочем комплекте работы обезличены, с протоколом связаны посредством идентификационного номера:

Р исунок 2

Третья проверка.

В шапке бланке-копии работы, направленной на третью проверку, будут указаны баллы, выставленные двумя экспертами, проверявшими работу ранее.

Заполнение протокола проверки.

Протокол проверки является машиночитаемым бланком, т.е. после заполнения бланк сканируется, баллы, выставленные экспертом, распознаются автоматизированно. Поэтому протокол необходимо заполнять темной (синей или черной) гелевой ручкой. Недопустимо использования карандаша и корректора (замазка) – это может повредить сканер.

Эксперт, проверяя работу, выставляет баллы в соответствии с критериями оценивания развернутых ответов. При этом баллы он выставляет в строку протокола, код которой совпадает с идентификационным номером работы.

Если ответ на какое-либо задание отсутствует в работе, за такое задание в протокол выставляется знак «Х» по всем позициям оценивания данного задания.

Строка в протоколе, соответствующая работе, направленной на третью проверку, в некоторых полях для внесения баллов может быть заполнена знаками «Х». Это обозначает, что задания, за выполнение которых автоматически проставлен «Х» в протоколе, эксперту проверять не нужно, т.к. по этим позициям оценивания мнения первых двух экспертов совпали.

В случае выявления нештатной ситуации, особенно ситуации выявления фактов нарушения порядка проведения ГИА (например, подозрение на то, что работа заполнялась разными почерками, содержание нецензурной лексики, указание данных участника ГИА в бланке) эксперт составляет акт по факту обнаруженного в свободной форме, который подписывает председатель (заместитель) предметной комиссии, член ГЭК, возможно, другие присутствующие эксперты (при необходимости). Работа при этом должна быть проверена в соответствии с критериями оценивания. Составленный акт председатель комиссии передается в ГЭК для проведения служебного расследования и принятия решения.

После заполнения протокола выставленными баллами эксперт подписывает заполненный протокол и передает председателю.

Рисунок 3

В процессе работы председатель комиссии (назначенное им лицо) определяет и сообщает в РЦОИ, информацию о необходимости распечатки новой партии рабочих комплектов для конкретного или группы экспертов по мере завершения работы с предыдущими рабочими комплектами.

Консультирование экспертов

В работе ПК участвуют эксперты, имеющие статус не ниже старшего, которые назначены председателем комиссии для консультирования рядовых экспертов при возникновении у них затруднений при оценивании.

Размещение таких экспертов осуществляется в помещениях ПК с учетом специфики условий работы ПК (размер комиссии, конфигурация помещений ПК и т.п.).

Мониторинг процесса проверки

В процессе работы ПК председатель регулярно запрашивает в РЦОИ оперативный отчет о ходе проверки, в котором указано количество работ на каждом этапе проверки (сколько работ прошло первую, вторую проверку, сколько ожидают проверку, процент и количество работ, направленных на третью проверку и т.п.). При необходимости председатель предметной комиссии дает дополнительные разъяснения по оцениванию, корректирует работу комиссии, проводит дополнительные согласования.

Межрегиональная перекрестная проверка – проверка экспертами работ, поступивших из других субъектов РФ. Проводится в общем потоке, работы, попавшие на проверку из других регионов, никак не помечаются. Эксперт, осуществляющий проверку, не имеет информации, чью работу он проверяет. Дополнительных действий от председателя комиссии и экспертов этот процесс не требует.

Формирование списка работ, вызвавшего затруднения при оценивании

В процессе проверки председатель комиссии формирует список работ, вызвавших у экспертов затруднения в оценивании. При этом в списке указывается идентификационный номер работы, номер варианта и номер задания, ответ на которое вызвал затруднение при оценивании.

4. участие экспертов ПК в оценивании апелляционных работ;

При подаче апелляции о несогласии с выставленными баллами, информация направляется в РЦОИ (для подготовки апелляционного комплекта документов) и в предметную комиссию (для привлечения эксперта). Председатель направляет на рассмотрение апелляции эксперта, который имеет статус не ниже старшего эксперта. Также этот эксперт не может быть тем, кто работу конкретно этого апеллянта проверял ранее (1-2-3 проверки).

В состав апелляционного пакета документов входят распечатанные изображения бланков апеллянта, листов распознавания, изображения протоколов проверки экспертами работы, протокол рассмотрения апелляции, в котором указана вся информация о работе.

Эксперт должен оценить работу и, во время рассмотрения апелляции дать комментарии по оцениванию развернутых ответов в случае возникновения у апеллянта или его законного представителя вопросов.

После вынесения решения эксперт подписывает протокол рассмотрения апелляции, в котором указаны результаты рассмотрения апелляции, а в случае необходимости (например, при существенном изменении баллов на апелляции) дать письменное пояснение изменения баллов.

5. перепроверка экспертами ПК отдельных работ (по решению ГЭК).

По решению ГЭК экспертами ПК, имеющими статус не ниже, чем старший эксперт, осуществляется перепроверка работ. Перепроверка проводится в том же порядке, что и при проведении обычной проверки. При этом при перепроверке каждая работа проверяется один раз.