Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

3.1. Общие проблемы экспертизы в образовании

В зарубежной литературе по экспертизе в образовании основным термином является не «expertise» (экспертиза), но «evaluation» (эвалюация). Этот термин используется для обозначения оценивания или оценки как вида прикладного исследования. Суть оценки заключается в определении, насколько состояние объекта соответствует выбранным критериям. Объектом оценки может быть любое явление действительности. Под критериями понимаются любые средства, позволяющие оценить, насколько данное состояние объекта отличается от идеального или желаемого. Критериями оценки могут служить, например, цели деятельности, нормативы, стандарты, социальный заказ, индивидуальные или групповые потребности и т. д. Есть две точки зрения на способ проведения оценки. Одна утверждает, что оценка должна лишь фиксировать состояние объекта и вмешательства эксперта в использование результатов оценки не допустимы (Scriven, 1972, 1980 b). Другая, более открытая, допускает использование рекомендаций, то есть предложений эксперта по совершенствованию существующего качества.

Вот несколько точек зрения на экспертную деятельность в области образования, уже давно сложившихся в американской практике.

Американская ассоциация экспертов определяет экспертно-оценочную деятельность как «выявление сильных и слабых сторон программ, курсов, кадровых ресурсов, результатов деятельности или организаций с целью повышения их эффективности <…> Оценивание – это суждение о ценности чего-то, основанное на его измерении. В качестве измерения может быть использован любой инструментарий, например, тексты, а также анализ критических случаев, личные впечатления и любой другой фактический материал» (цит. по: Матьяш, 1997, с. 60).

Под процессом оценивания (evaluation process) подразумевается сравнение существующего эффекта программы с потребностями и заданными требованиями (Scriven, 1972), оценка достоинств программы с точки зрения ценностей релевантной аудитории (Owens, 1973), критическая оценка программы с учетом экспертного знания (Eisner, 1976), описание и интерпретация содержания программы в наиболее широком из возможных контекстов ее функционирования (Partlett, Hamilton, 1976).

Говоря о том значении, которое приобрела оценка программ в образовании, Арден Гротелюшен (Grotelueschen, 1980) отмечает, что смысл экспертизы в значительной степени варьирует в зависимости как от общей философии образования, так и от ступени образования, к которой относится оцениваемая программа.

К основополагающим в области экспертизы в образовании относятся работы М. Скривена (Scriven, 1967, 1972, 1989 а). М. Скривен попытался выстроить логическую последовательность шагов, позволяющих проследить, как эксперты генерируют суждения о том, стали ли оцениваемые субъекты лучше или хуже выполнять те или иные действия и т. д. в результате или в ходе работы по тому или иному инновационному проекту. Вот эти четыре логических шага:

1)выбор эталонных критериев, в соответствии с которыми должна производиться

оценка;

2)установление на основе этих критериев стандартов исполнения оцениваемыми субъектами их деятельности по проекту; установление уровней (относительного или абсолютного) этих стандартов для заключения о качестве выполнения проекта;

3)сбор данных, относящихся к определению того, насколько соответствует деятельность оцениваемого установленным критериям и стандартам;

4)обобщение данных и обоснование оценки в итоговом экспертном заключении.

49

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

Н. Уолкер (Walker) описывает несколько более сложный алгоритм, состоящий из восьми шагов (см. рис. 2).

В своей практической стороне экспертиза неминуемо сталкивается с проблемой валидности полученных данных. У. Шэдиш (Shadish, 1998) полагает, что в особенности с ней сталкиваются сторонники качественной методологии в экспертизе. Вместе с тем качественная методология нередко позволяет получить некоторые результаты там, где количественные методы оказываются непродуктивными.

С точки зрения подхода П. Росси и Г. Фримена (Rossi, Freeman, 1993), чрезвычайно существенно различие между экспертизой новых, только создаваемых программ и экспертизой программ, давно функционирующих. Если для первой важнее оказывается концептуализация элементов программы и поиск критериев для оценки (из-за недостатка информации на раннем этапе существования программы), то для давно работающих программ проблемой оказывается избыток информации, потенциально связанной с их функционированием. Создатели совершенно новых программ подчас не имеют достаточного времени для детальной разработки основных концептов. В то же время сосредоточение участников проекта именно на такого рода вопросах более полезно, чем, скажем, на вопросах, внешних по отношению к проекту. Многое в совершенно новых проектах начинается «с нуля», без проведения экспертиз и в условиях недостатка информации. «Хорошо укорененные» программы более готовы к экспертизе, они богаче информацией, доступной внешним по отношению к программной команде пользователям. Однако давно устоявшиеся программы могут быть настолько распространены, что их внешняя экспертиза будет затруднена невозможностью создания контрольной группы (если применяются методы оценки работ по проекту через сравнение участвующих и не участвующих в нем).

Существенны также различия в стратегиях оценивания крупных программ, локальных проектов внутри этих программ и элементов внутри локальных проектов (Cook, Leviton,

50

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

Shadish, 1985; Shadish, Cook, Leviton, 1991). С одной стороны, небольшие элементы проектов предлагаются и реализуются с большей частотой, нежели локальные проекты и тем более крупные программы, поэтому в них легче вносить коррективы, чем в крупные проекты. С другой стороны, малые подпрограммы меньше влияют на весь спектр проблем, на которые нацелен проект в целом, программа, ее элементы. Однако все эти различия зависят от того, какой от оцениваемого проекта ожидается результат. Одним из важнейших является вопрос, как оценивание промежуточных результатов может повышать «управляемость» проекта, то есть увеличивать возможность совершать в его рамках необходимые изменения.

М. Пэттоном (Patton, 1997) был предложен следующий алгоритм: выделить заинтересованных пользователей (лиц, принимающих решения; ЛПР), идентифицировать области их интересов, сфокусировать предложения на тех областях, которые ЛПР могут эффективно контролировать и которыми могут управлять, тщательно обсудить все те пункты, по которым может наблюдаться несовпадение мнений ЛПР с результатами оценивания, обеспечить достижение предварительного согласия по каким-то из этих пунктов, представить результаты оценки как в традиционных, так и в нетрадиционных форматах, распространить краткие организаторские (управленческие) сводки результатов экспертизы, поддерживать персональные контакты с участниками оцениваемого проекта даже после окончания экспертизы и, наконец, оказывать дальнейшую поддержку использованию результатов оценки. Еще в 1967 г. М. Скривеном было предложено понятие «metaevaluation» как «экспертизы экспертиз» (Scriven, 1967); рекомендации специалистов варьируют от совета применять метаэкспертизу к каждому оцениванию до предложений делать это лишь периодически. Общим предписанием для метаэкспертизы служит требование сходной общей логики (иногда и методов) с экспертизой первого уровня. Метаэкспертиза позволяет решать, какой должна была быть первоначальная экспертиза, чтобы оказаться хорошей (полезной, истинной, важной), решать, насколько хорошей она может быть (насколько и в чем полезной, «истинной» и на основе каких стандартов), и, наконец, синтезировать результаты, чтобы определить, насколько необходимо было проведение экспертизы, насколько она была полезна (подробнее см.: Shadish, 1998). Метаэкспертиза может применяться к любому этапу первоначального оценивания, от рассмотрения экспертизы планируемого содержания программы проекта и его методов до метаэкспертизы заключительного экспертного отчета посредством передачи его независимым консультантам и критикам.

51

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

3.2.Экспертиза международных

инациональных проектов

Остановимся далее на примерах деятельности крупных экспертных организаций. К числу крупных организаций экспертов в образовании можно отнести, например, Службу планирования и экспертизы Министерства образования США – Department of Education’s Planning and Evaluation Service (PES). Ею осуществляется экспертиза образовательных проектов и программ, проводимых Министерством образования США как внутри страны, так

ив международном аспекте. Деятельность данной организации включает в себя:

•независимую экспертизу основных федеральных программ в области образования;

•координацию стратегического планирования и осуществления различных программ в образовании;

•координацию участия Министерства в международных мероприятиях в сфере образования;

•помощь Министерству в определении и согласовании программных целей разных проектов и разных уровней/стадий одного проекта;

•определение показателей успеха различных образовательных проектов, реформ и программ, определение эффективных мер и практик, которые могут быть выбраны на основе опыта и рекомендованы для дальнейшего развития, поддержки, рекомендации и распространения;

•предоставление обоснованных бюджетных решений для тех или иных образовательных программ и проектов;

•информационная поддержка Министерства образования, сбор и распространение информации по планированию и экспертизе в образовании.

Экспертиза проектов, программ и работы других служб Министерства образования также является функцией означенной Службы. Посредством такой экспертизы определяется эффективность образовательных программ, проектов и нововведений, степень их доступности для всех, оправданность их осуществления (их действенность).

Посредством экспертизы измеряется и показывается продвижение (если оно есть) в осуществлении целей, сформулированных и установленных при планировании тех или иных образовательных проектов. Многие из экспертных работ PES являются обязательными (определены таковыми со стороны Конгресса). Эта часть экспертных работ предоставляет аналитическую информацию политикам. Политики – важная часть аудитории PES, в которую входят также организаторы федеральных образовательных программ, получатели грантов на проекты (исполнители программ на локальном и государственном уровнях), педагоги, родители, члены общин (местные активисты).

Большие споры, в которые включена и PES, вызывает само определение понятия «экспертиза/эвалюация в образовании», поскольку от его концептуального наполнения зависит очень многое в конкретной деятельности экспертов, в направленности, результатах, влиянии экспертиз и т. п. При разговорах о гуманитарной экспертизе вообще, и о гуманитарной экспертизе в образовании в частности, предпочитают использовать термин «эвалюация», оставляя понятие «эксперт» лишь за конкретным лицом, осуществляющим оценку. Любое применение любого профессионального взгляда и знания в любой области к решению какогото вопроса может быть названо «экспертизой». Поэтому, вероятно, этот термин избегают применять при разговоре на специальные, профессионально-экспертные сюжеты.

Эвалюация/экспертиза призвана, с точки зрения экспертов PES, определять ценность экспертируемого явления (процесса и т. д.), размер/границы его применения, судить, следовательно, о его значимости и привлекательности его опыта для распространения. Определя-

52

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

ются эффективность тех или иных акций, их действенность (не только результативность, но и «жизненность»), то есть возможность получения ожидаемых желательных результатов с помощью того, что оценивается. Эксперты отвечают на вопросы, что́такая-то программа вносит в образовательную систему, какова ее результативность по отношению к каждому

ееучастнику (то есть ученику), кто участвует и какие образовательные услуги предоставляются, как результативность программы варьирует от участника к участнику, насколько хорошо организован проект и как он может быть улучшен. Иногда по результатам экспертизы требуется не продолжение экспертируемой программы (проекта) в том же виде и не прекращение данной образовательной инновации, но так называемая «реавторизация», то есть кардинальный пересмотр проекта с заменой (расширением или переориентацией в ту или иную сторону, что обосновывается в процессе экспертизы) агентств (институтов, центров), прорабатывающих и осуществляющих данный проект, участвующих в проекте образовательных учреждений и т. д.

Интересна кадровая политика Министерства образования США по отношению к тому, кто должен входит в команду экспертов, работающих над оценкой образовательных проектов национального масштаба. Руководство PES считает, что оптимальный кадровый состав PES должен включать в себя помимо педагогов, психологов, социологов также и специалистов в социальной работе, экономистов, статистиков. В любом случае внутренняя взаимообучаемость и постоянное повышение квалификации, обучение на рабочем месте, знакомство с передовым опытом считаются в этой службе обязательными.

Крупным образовательным проектом, оказавшим большое влияние на становление практики оценочных исследований, стала программа «Хед Старт», предложенная президентом Линдоном Джонсоном в январе 1965 г. Программа предполагала проведение учебных занятий по месту жительства для детей дошкольного возраста из малоимущих семей, чтобы лучше подготовить их к школе. Первоначально на обучение 100 тыс. детей было выделено 17 млн долл. Широкая реклама привела к резкому спросу на программу по всей стране, после чего Министерство экономического развития выделило дополнительно 103 млн долл. на обучение еще 560 тыс. детей. Поддержка программы «Хед Старт» президентом привела к

еедальнейшему продлению, а в 1968 г. общий объем финансирования достиг 330 млн долл. Сильным толчком для совершенствования методологии оценочных исследований стало обсуждение результатов и методологии данного исследования (William, Evans, 1969).

53