Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

3.3. Краткая характеристика периодических изданий по проблемам экспертизы в образовании и дискуссий в них по методологическим проблемам

PES наряду с Ассоциацией американских экспертов и Европейским обществом оценивания (European Evaluation Society) активно участвует в издании журналов по проблемам экспертизы. Среди периодических изданий по проблемам экспертизы есть и журналы, либо целиком посвященные экспертизе в образовании, либо такие, на страницах которых значительное место постоянно уделяется экспертизе образования и экспертизе в образова-

нии. Прежде всего стоит назвать следующие: American Journal of Evaluation; Assessment and Evaluation in Higher Education; Educational Evaluation and Policy Analysis; Evaluation and Program Planing: An International Journal; Studies in Educational Evaluation; Zeitschrift für Evaluation; The Evaluation Exchange; Studies in Educational Evaluation; Evaluation Practice; Evaluation Comment: The Journal of Educational Evaluation; Practical Assessment, Research & Evaluation (электронный журнал).

На страницах данных изданий постоянно ведутся дискуссии по методологическим и методическим проблемам экспертизы. Основные методологические сложности экспертизы образовательных проектов кроются, с точки зрения западных (американских) экспертов, в самом предмете изучения и экспертизы. Воздействие экспертируемых инновационных проектов на школы в целом может быть одно, на определенные уровни обучения в этих школах – другое, а на отдельных учеников и их группы – третье. Многоуровневость результатов образовательных проектов безусловно создает проблемы для экспертов. Трудно измерить и оценить индивидуальную значимость проекта, но также нелегко вывести и его общую значимость, поскольку сопоставление школ между собой также чрезвычайно затруднительно, так как имеется много варьирующих эффект проекта факторов. Однако подобные трудности не означают, что система образования не обязана подвергать экспертизе программы, которые в данный момент реализуются. Во многих публикациях подчеркивается, что необходимо постоянно совершенствовать процесс экспертной эвалюации.

Внастоящее время почти каждая организация, которая финансирует, ведет, развивает образовательные программы, обращается к экспертизе. Это происходит на любом уровне: локальном, государственном, международном. К экспертизе обращаются как фонды, так и добровольные либо государственные организации. Идея и требование сертификации (подотчетности, ответственности, аудита) образовательной деятельности и ее продукта от любого действующего в образовании лица породили большую полемику по вопросам экспертизы образовательных систем, учреждений, проектов. Программам и проектам помимо разных видов сертификации экспертиза требуется также для подтверждения обоснованности их существования, правильности расходования средств, достижения поставленных целей.

Впоследние годы утвердилось мнение о плодотворности такой экспертизы в образовании, которая опирается на ту же теорию и общую методологию, что и экспертируемый проект. Ранее эксперты обычно не рассматривали базовую теорию и методологию проекта, не опирались на них в экспертизе. В этом случае нередко получалось, что эксперты и авторы проекта использовали несогласованные словари (Chen, Rossi, 1983; Bickman, 1987; Chen, 1990; Lipsey, 1993); дело изменилось после выхода работы К. Вайс (Weiss, 1997; см.: Crew, Anderson, 2003; Donaldson, Cooler, 2003). Однако до сих пор нет согласия по поводу того, что такое «теория», хотя все соглашаются, что при переходе к «теории» проблематизируется сама экспертиза конкретного проекта и происходит переход к дискуссии на ином предметном поле, не имеющем отношения к задаче конкретной экспертизы. Что такое методология

54

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

образовательной инновации (учреждения, проекта, программы)? То ли это «приземленная» теория социальных наук, то ли последовательность логических и/или практических шагов, необходимых для исполнения программы, то ли это план программной деятельности без учета ролей участников программы?

К. Вайс (Weiss, 2003/2004) считает более оправданным определение теории как логической последовательности этапов проекта. Эксперт может прослеживать прохождение программы по этапам (ступеням, фазам), составляющим теоретическую модель всего проекта. Если уже на первых ступенях программа реализуется неудовлетворительно, то экспертиза может приостановить проект. Прохождение программы через определенные этапы и экспертиза достижений очередного этапа есть хорошая основа для продолжения работы. Опирающаяся на такую теорию программы экспертиза в сфере образования дает возможность эксперту понимать и объяснять аудитории, почему и как, собственно, данная программа работает. В основе каждого проекта лежит своя теоретическая схема, которую можно использовать как алгоритм не только в процессе его ежедневного функционирования, но и при его экспертизе.

В отличие от К. Вайс, разрабатывающей экспертизу отдельных этапов (фаз), М. Пэттон из университета Миннеаполиса подчеркивает важность экспертизы процесса, которая и сама может стать, помимо всего прочего, эффективным обучающим средством. М. Пэттон утверждает, что в развитии экспертизы главное достижение последнего десятилетия – акцент на самом процессе мышления, осуществления умозаключений (Patton, 1997). Подобные рассуждения этого и других экспертов на страницах периодики позволяют предположить, что происходит некоторое смещение, трансформация или, скорее, расширение основных целей экспертизы образования. Если раньше в круг ее основных задач входил прежде всего поиск информации, сопоставление, анализ найденного и формулировка выводов (заключения), то теперь речь идет еще и о влиянии экспертизы на образ мыслей тех, чья деятельность подвергается оцениванию. Вероятно, это объясняется тем, что не так просто заменить людей, стоявших у истоков того или иного образовательного проекта, и не загубить этим дело, но возможно попробовать изменить направленность мышления «основателей».

Еще более тонкая вещь – взаимное оценивание тех, кто работает в различных образовательных программах. Чем более личность в образовательном сообществе статусна, тем труднее внедрять и осуществлять проекты по взаимному оцениванию. Можно сказать, что

визвестном смысле обучение экспертному мышлению в образовательных учреждениях

может приносить больший эффект, чем конкретные экспертизы образовательных учреждений. Эксперты Миннеаполисского университета, активные сторонники такой идеи, подчеркивают, что ее осуществление, по сути, превращает заказчиков и вообще участников того или иного образовательного проекта как бы и в собственных экспертов тоже, потому что повышает в них способность интерпретировать и оценивать данные, учитывать противоречия и непоследовательности, формулировать ценности, проверять предположения, делать выводы и принимать оптимальные и адекватные ситуации решения (Patton, 1997). С легкой руки известного исследователя метафор Д. Серля и писателя Д. Лоджа появляется термин «думать экспертно» (Lodge, 2001). Еще Ханна Арендт связывала фигуру эксперта с феноменом критического мышления, которое она считала фундаментом демократического устройства общества (Arendt, 1968). Достигнутая к рубежу тысячелетий публичность экспертиз, широкое их обсуждение (одних журналов по проблемам экспертизы в образовании, скажем,

вСША более десятка), открытие многих центров по обучению навыкам эксперта свидетельствуют о действительном стремлении обучать не только экспертов, но и ту среду, в которой они действуют, обучать потребителей экспертизы.

Сама суть экспертизы в образовании, границы и направления ее использования являются предметом многолетних обсуждений, начавшихся с публикации на рубеже 1960-х и

55

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

1970-х гг. работы Х. Арендт «Между прошлым и будущим: восемь упражнений в политологии». Одно из направлений таких методологических обсуждений было связано с пониманием характера получаемой информации и взаимодействия с ней эксперта в сфере образования (рассматривалась экспертиза как начального и среднего, так и высшего звена образовательных систем, а также системы непрерывного образования – Knox, 1980; Bennett, 1986). Помимо точки зрения о нейтральности информации и отстраненности от нее эксперта, сложилась точка зрения и о различных вариантах взаимодействия этих двух сторон процесса экспертизы. Например, одной из важных характеристик находимой экспертом информации специалистами Всемирного банка была названа ее фрагментарность: неполнота внутри себя и фрагментарность по отношению ко всему процессу той или иной образовательной деятельности, выбранная часть которой оценивается, а также и ее результатов, которые тоже проявляются неодномоментно и имеют тенденцию к развитию и эволюции (Rist, 2003/2004). Р. Рист выделяет два фактора, меняющие сферу применения экспертизы

вобразовании. Первый – усиление необходимости для государства показывать свою эффективность. Второй – распространение информационных технологий, позволяющих быстро и бесплатно собирать и анализировать информацию, что снижает роль и значимость каждого отдельного эксперта (если эта значимость – добавим мы – не подкреплена властью или авторитетом организованного сообщества). Отсутствие информации перестало быть основанием для обращения к экспертам: зачастую необходимая информация уже содержится в различных базах данных, в том числе составляемых на основе разного рода мониторингов и т. п. Сектор образования подобное явление затронуло пока в небольшой степени, поскольку

внем есть важная сфера уникального персонального опыта обучения, сильно варьирующего от одного человека к другому, однако и в образовании эта тенденция существует. Прежде всего, это такие «классические» уже явления, как программированное обучение, стандарты образования и т. п.

Концепции индивидуальной и деиндивидуализированной работы эксперта в образовании оказываются основаниями полемики внутри и вокруг экспертного сообщества. С мнением «деиндивидуалиста» Р. Риста не вполне согласен, например, содиректор Центра взаимного обучения в г. Филадельфия Дж. Спилка. Согласно его точке зрения, как раз в последние годы политики при принятии решения в сфере образования стали больше прислушиваться к мнению экспертов. Они увидели смысл в экспертных отчетах и все чаще ждут и даже требуют от экспертов указаний на то, какая из осуществляемых или планируемых образовательных программ (проектов) скорее всего будет успешна. Получив ответ на данный вопрос, они делают указанную программу государственной политикой. В целом политики, утверждает Спилка, становятся все более критичны (поскольку – требовательны) к экспертам, ожидая от них демонстрации реальных выгод или преимуществ того или иного экспертируемого проекта (Spilka, 2003/2004).

Говоря о смысле своей работы, эксперты в области образования подчеркивают, что с помощью экспертов заказчики, потребители сопоставляют ожидания с реальностью, обращая основное внимание на экспертизу текущих и возможных результатов. «Экспектационистский» подход, соотносящий реальную программу с ее ожидаемым по проекту результатом и с тем процессом, который шел бы (или идет) вне осуществляемого проекта, стал основой многих экспертиз в области образования (Walker, Grossman, 1999). Такой подход присутствует как в «филантропически развитых» обществах – то есть экономически развитых и уделяющих большое внимание образованию, так и в обществах с ограниченными ресурсами.

Члены профессиональных экспертных ассоциаций разных стран постоянно обращают внимание на то, что и в сфере образования эксперт выступает в известной мере агентом так называемых «эффективных организаций», которые «отказываются упрощать реальность»,

56

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

стремясь учесть реальные тенденции, результаты и т. п. и «совладать» с ними. Профессор Мичиганского университета К. Вайк называет такие учебные заведения «высоконадежными организациями», они «гибки и чувствительны» к процессу осуществления своей деятельности, не изменяя существа этой деятельности (Weick, Coutu, 2003). Эксперт есть для любой организации или любого проекта – внешнее лицо, осуществляющее как бы взгляд со стороны на то, что делается, как оно делается, кем делается, в какую сторону движется и т. д. Подчеркивая важность экспертизы в образовании, методологи экспертизы пишут, что соединение внутреннего и внешнего (экспертного) взглядов на осуществляющуюся деятельность в образовании может служить по сути препятствием для принятия решений в системе образования в духе «наивного оптимизма», что особенно характерно для сферы образования. Термин «наивный/обманывающийся оптимизм» был применен Д. Канеманом к сфере экономики, но он вполне, если даже не более, подходит, как нам представляется, и к сфере обра-

зования (Lovallo, Kahneman, 2003).

Активно дискутируются также конкретные проблемы экспертиз образовательных проектов и выбора стратегий генерализации выводов до уровней принятия решений. Например, одна из основных сложностей экспертизы образовательных проектов заключается, по мнению Г. Блума и его соавторов, профессиональных экспертов в образовании из Manpower Demonstration Research Corporation (Корпорации по исследованиям демонстрации человеческих возможностей, Нью-Йорк), в наличии «эффектов когорты» (Bloom, Ham, Melton et al., 2001). В число этих эффектов прежде всего входят следующие:

1.Один и тот же учитель ведет себя в школе из года в год по-разному, в зависимости от множества факторов, в том числе в зависимости от поведения класса.

2.Небольшое количество учеников может «задавать тон» всему классу, поэтому трудно просчитать воздействие инновации на каждого.

3.Условия замеров во время обследований могут быть разными.

Эффекты когорты могут быть малы по своим абсолютным значениям, но все же и в этом случае они слишком велики, чтобы их игнорировать. При небольшом увеличении эффектов когорты происходит серьезное возрастание необъяснимых вариаций в замерах. Отсюда вытекает необходимость, характерная для любой экспертизы в образовании, в четкой разработанности способов измерения, их сравнимости и измеримости. Бо́льшие, нежели стандартное, отклонения от так называемой базовой линии, экстраполируемой в моделируемое «контрольное будущее» на основе прошлых замеров, сделанных в данном учреждении до начала осуществления экспертируемого проекта (программы), показывают воздействие проекта (программы) на ту или иную образовательную систему. Поэтому очень большие сложности представляет сопоставление измерений, сделанных в разных школах.

Можно говорить о трех обсуждаемых в дискуссиях основных способах генерализации оценки результатов подвергаемого экспертизе проекта, полученных по разным школам. По сути, это три концепции построения экспертных выводов или три принципа/стратегии оценки результатов, получаемых на основе изучения нескольких школ. В их основе лежит сведение найденных результатов экспертируемого образовательного проекта, осуществляющегося в нескольких учебных заведениях, в единую генерализующую концепцию. Суть данных подходов звучит следующим образом:

1.Результаты инновационного проекта могут рассматриваться как сходные для всех

школ.

2.Результаты инновационного проекта неодинаковы для всех школ, могут варьироваться от школы к школе. Выводы, таким образом, можно делать только по учреждениям, выбранным для экспертизы хода инновационного проекта в школах.

57

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

3. Результаты воздействия инновационного проекта, конечно, варьируются, но можно выводить среднестатистические показатели и считать их приемлемыми для более широкой трактовки результатов образовательного проекта, проходящего экспертизу.

Применение каждого из этих способов зависит не только от философско-методологи- ческой позиции, но и от того, что́ измеряется и оценивается. Если вариативность ошибок

визмерениях вообще мала и измеряется константный показатель, то может применяться первый способ. Однако такая ситуация возникает весьма редко. Стратегия оценки каждой школы, проводимой отдельно от других (стратегия № 2), ликвидирует ошибки генерализации. Общие ошибки экспертного заключения в таком случае пропорциональны ошибкам

воценках результатов инновационного проекта по выбранным для исследования школам. Третья стратегия несет в себе ошибки второй, к которым добавляются ошибки, проистекающие из погрешностей в оценке степени вариативности реакции конкретных школ на экспертируемый проект. Следует, конечно, отдавать отчет в том, что и вторая и третья стратегии подхода к генерализации результатов экспертизы предпочтительнее первой.

Как же подходить к выбору принципов (стратегий) оценки полученных при экспертизе результатов и к их генерализации? Решая данный вопрос, западные эксперты предлагают,

вчастности, учитывать следующие факторы: требуемую широту генерализации; необходимую степень определенности (реальности) предположений, требуемых в данной экспертизе для генерализующих выводов (соотношение в экспертных предположениях конкретного и абстрактного и т. д.); значение/значимость статистических методов в данной экспертизе; размер и состав (композиция) выборки школ, на основе которой проводится экспертиза.

Г. Блум, А. Гинзбург, Р. Пейг, Р. Такаи, Ю. Хикок и другие считают, что, хотя прослеживание в экспертизе различных проектов постоянных и одинаковых факторов и результатов приводит к наименьшим ошибкам, требование гомогенности этих постоянных факторов для школьной среды излишне «деспотично» и не соответствует разнообразию реальности, разнообразию ограничений и возможностей, которые получают разные школы от проведения того или иного инновационного образовательного проекта (Sanders, Horn, 1994; Bloom, 1995, 1999; Raudenbush, Willms, 1995; Ham, Doolittle, Holton, 2000; Bloom, Ham, Melton et al., 2001; Bloom, Paige, Hicock et al., 2002).

Вторая стратегия рассмотрения конкретных школ и конкретного влияния на них образовательной реформы может показать воздействие инновации во всей вариативности ее последствий и результатов. Такая стратегия экспертизы результатов проекта более реалистична. В процессе ее осуществления измеряется воздействие инновации на конкретное учебное заведение в условиях одновременного понимания его своеобразия и отсутствия генерализующей сопоставительной интенции. Частый вопрос, который задается при следовании данной стратегии оценки найденных результатов экспертизы школ, подвергавшихся инновационному проекту, – каким было среднее воздействие инновации на школы, обследованные в процессе проведения данной экспертизы? И вот на этот вопрос данная стратегия, хорошо подходящая для конкретно-научного исследования, не вполне может ответить, такой вопрос, скорее, для стратегии № 3.

Третья стратегия больше, нежели вторая, ориентирована не на науку и не на решение судеб отдельного учебного заведения, но на общество в целом, на вопросы, имеющие отношение к национальной или локальной образовательной политике. Вопрос, на который она отвечает, звучит так: каким должно быть то минимальное воздействие инновационного проекта на школы, которое позволит принять решение о распространении проекта в более широком масштабе?

Специалисты отдают предпочтение разным стратегиям генерализации и общей оценки полученных в процессе экспертизы результатов (Lipsey, 1990; Bryk, Raudenbush, 1992;

Cooper, Hedges, 1994; Murray, Short, 1995; Meyer, 1997; Bryk, Thum, Easton et al., 1998; Finn,

58

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

Achilles, 1999; Nye, Hedges, Konstantopoulos, 1999; Olejnik, Algina, 2000; Oakes, Feldman,

2001). К настоящему моменту, пожалуй, большая их часть считает неприменимой первую стратегию, исходящую из позиции одинаковости результатов инновации во всех образовательных учреждениях, где она осуществляется. Однако происходящий выбор между второй

итретьей стратегиями выявляет немало скрытых проблем. Вторая стратегия, опирающаяся на тщательно спланированную выборку экспертируемых школ, предполагает постановку несколько более узких вопросов, чем обычно ставятся заказчиком (если речь не идет о судьбе отдельного учреждения). Статистический подсчет на основе принятия обследованных школ как выборки приводит к молчаливому дрейфу в сторону первой стратегии, унифицирующей все образовательное пространство. Эвристический подход третьей стратегии требует на каждом этапе генерализации полного понимания, почему были выбраны данные школы, почему в них стала апробироваться инновация, как и в каких условиях они ее применили, каковы могут быть пределы обобщения на основе данной выбранной группы школ. По сути, данная стратегия может быть следующим этапом по отношению ко второй, поскольку опирается на статистические данные по выборке. В процессе ее осуществления достигается понимание, что и почему выбрано, как результаты обследования могут быть расширены и насколько (для принятия достаточно обоснованных решений на достаточно проверенном материале).

Одним из перспективных инструментальных экспертных методов может быть признана методика проведения экспертизы в среднем образовании (автор Говард Блюм). Она основана на применении в экспертизе образовательных проектов так называемого анализа прерванных временных рядов. Этот метод был выработан сначала при анализе действенности различных программ вне сферы образования, а затем применен к оценке образовательных инициатив (Bloom, Paige, Hicock et al., 2002). Суть данного подхода в следующем.

1.Создается модель того, как бы все шло в данном учреждении (секторе, регионе и т. п.) без той или иной инновационной реформы. Построение данной модели базируется на тенденциях развития того или иного учреждения, региона, сферы в образовании и т. д. Замеры берутся за предшествующие моменту исследования 3–5 лет. Проективная модель «что было бы без» создается обычно на такое же время вперед от момента начала образовательной инновации.

2.Изменения, связанные с разницей между проективной моделью и реальностью, относятся на счет результата реформы/инновации.

Таким образом, суть данного подхода к экспертизе в образовании – в измерении отклонения от прошлого развития ситуации и в выявлении того, насколько это изменение связано с оцениваемой инновацией. Как минимум берутся различные когорты учащихся из одних

итех же классов (одного и того же года обучения, например, из третьих классов) по разным школам: чем больше школ участвует, тем более точны показатели, различия от «базовой линии», небольшие в своих вариациях, показывают не случайные отклонения, но влияние экспертируемых инновационных программ. Однако для надежности экспертизы желательно проведение экспериментальных замеров в возможно большем количестве классов. Многомерные наблюдения дают возможность лучше предсказывать будущие результаты, нежели наблюдения за каким-то одним фактором.

Подобный подход применим в том случае, если прослеживается относительно стабильная ситуация в предыдущие годы, без резких взлетов-падений, без большого разброса средних значений и т. п. Стабильность характеристик включает в себя и стабильность характеристик школьного состава учащихся.

Применение анализа прерванных временных рядов в образовательной экспертизе было опробовано в конце 1990 – начале 2000-х гг. в изучении успеваемости по чтению

иматематике учеников третьего года обучения в восьми начальных школах семи амери-

59

Д. А. Леонтьев, Г. В. Иванченко. «Комплексная гуманитарная экспертиза»

канских штатов. Были выбраны школы, участвующие с середины 1990-х гг. в проекте «Accelerated Schools», которые согласились участвовать в экспертизе, имели высокий процент учащихся с проблемами в обучении, представляли широкий спектр вариантов урбанистической среды (разные по типу городские поселения), имели валидную и унифицированную документацию по тестированию учащихся на протяжении пяти лет до начала экспериментального проекта и на протяжении пяти лет его проведения в жизнь, не осуществляли на протяжении десяти измеряемых лет других экспериментальных или инновационных проектов и не претерпевали каких-то больших катаклизмов и разрывов в образовательном процессе. Таким образом, были найдены школы с относительно стабильной ситуацией, в которых проективная базовая линия, построенная на основе результатов замеров первых пяти лет, показывает отсутствие взлетов и падений, то есть достаточно пряма

игоризонтальна, и ее можно экстраполировать и на последующие годы. С такой линией

исравнивались различия, проявлявшиеся в достижениях школьников. При учете возможных ошибок, эффектов когорт и т. п. получались значимые (в том числе статистически) расхождения, которые могли возникнуть на основе участия школы в эксперименте и которые могли служить показателем (и доказательством) успеха или неуспеха именно экспертируемого образовательного проекта. Если не получается ровной относительно горизонтальной базовой линии средних значений успехов школьников до начала новой реформы, то данный подход не вполне применим или даже не применим вовсе, поскольку нет возможностей оценивать результаты именно данного инициативного проекта в отрыве от других важных факторов.

Очем и как можно судить на основе такой выборки школ? Ведь вся полученная статистика существует внутри ее границ. Также серьезные проблемы для экспертизы в образовании, проводимой с помощью анализа прерванных временных рядов, составляют разного рода отклонения от базовой линии, происходившие по другим причинам, в том числе вследствие неточности измерений, больших эффектов когорты. Необходимо уметь определять, с какого значения начинается значимое отклонение от базовой линии, то есть насколько велико может быть отклонение, чтобы элиминировать ошибки и отклонения иного рода и показывать эффект образовательного инновационного проекта, результативность которого и подвергалась экспертизе. Минимальным значимым эффектом было принято отклонение в 2,8 раза, превышающее отклонение стандартных ошибок (Bloom, 1995). Размеры минимального значимого эффекта отклонения уменьшаются при увеличении количества школ в выборке.

Нами здесь рассмотрены далеко не все разработки по проблемам экспертизы в сфере образования, однако, на наш взгляд, можно сделать следующие выводы. Экспертиза в образовании – не только одна из активно растущих областей прикладного социального знания в странах Запада. Уже сложилась разветвленная иерархическая структура «экспертного сопровождения проектов». Фактически ни одна образовательная инновация не минует экспертного оценивания на тех или иных этапах своего внедрения и осуществления. Возникла профессиональная среда экспертных сообществ, с центрами подготовки экспертов, с обсуждением насущных и научных проблем экспертизы в многочисленных периодических изданиях. Сходные процессы идут и в России, что заставляет обратиться к опыту других стран.

60