Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Социологические аспекты оценочных исследований. Методология и перспективы применения. Монография.pdf
Минздрав США в 1969 г. инициировал проведение оценочного исследования связанных
с реализацией программы «Хед Старт» эффектов. Ключевой вывод данного исследования
заключался в том, что улучшения в умственном развитии участников программы в сопоставлении
с не участвовавшими в программе детьми являлись незначительными. В период осуществления
программы и при ее завершении участвовавшие в программе дети получили определенные
преимущества, связанные со снижением риска отставания в обучении и ростом посещаемости.
Д. Томас и Д. Курье на основе общенациональной выборки продемонстрировали, что
прошедшие обучение по программе дети шестилетнего возраста показали более высокие результаты при тестовой оценке словарного запаса и чтения в сопоставлении с не принимавшими
участия в программе их родными братьями. Данные результаты были одинаковы для белых и
афроамериканцев. При этом сохранение позитивных эффектов программы среди белых детей
продолжалось до периода юности, тогда как среди афроамериканцев они исчезали в более
раннем возрасте42. Подобный вывод должен был бы привести к завершению финансового
обеспечения соответствующих программ. Однако их финансирование продолжилось.
В программе, которая реализовывалась с 1964 г. в рамках борьбы с бедностью, была
предоставлена помощь детям, число которых превысило 700 тысяч. Затраты на обучение одного
ребенка оценивались в сумму порядка 400 долл. ежегодно43.
Программа проводилась применительно к тридцати процентам дошкольников в возрасте
3–4 лет. Затраты на ребенка в 1991 г. семьи, в которой мать также была занята на работе, составляли 3 тыс. долларов. В семьях с меньшим достатком сумма затрат была еще меньшей. Для
содействия значительному числу детей из малоимущих семей после значительного перерыва
администрация начала предоставлять финансирование с 1989 г. программы «Хед Старт».
Также в начале 90-х гг. началось финансирование и иных сходных программ44.
В течение всей первой стадии развития оценочных исследований продолжались споры о том,
насколько эффективной является программа «Хед Старт». Отмечалось, что значительное число
экспериментов, исследований оценочного характера вызвали активные дискуссии по поводу
подхода к интерпретации их результатов. Основным предметом дискуссии в социальной психологии являлся вопрос о возрасте, при котором эффективность воздействий является наибольшей.
Оценщики определили цели указанной программы в виде улучшения имеющихся у детей
когнитивных способностей. Подобный подход был связан с более широкими возможностями
операционализации данных целей в сопоставлении с целями, которые сформулировали
политики. Цель была сужена оценщиками. Оценивались лишь явные результаты, тогда как
результаты, относящиеся к числу неявных, игнорировались.
К примеру, ранее проанализированная программа Перри, ориентированная на дошкольников,
финансовое обеспечение которой было более масштабным в сопоставлении с программой
«Хед Старт», характеризовалась продолжительным влиянием и значительным числом эффектов,
в том числе в виде предотвращения ранней беременности, совершения преступлений, успешного
завершения обучения в средней школе. Тогда как долгосрочные результаты программы
«Хед Старт» не оценивались. Таким образом, применительно к данной программе в результате
оценочных исследований при верном построении теоретической модели эффектов от реализации
этой программы имелась возможность выявить также результаты, относящиеся к числу явных
и неявных.
42
Barnett S.W. Benefits of Compensatory Preschool Education // The Journal of Human Resources. 1992. V. 27,
N 2. P. 279–312.
43
Ibid.
44
Shelley S. Early Childhood Care and Education: An Investment that Works / S. Shelley, M. Fairchild,
S. Groginsky. Washington : National Conference of State Legislatures, 1995. 106 p.
21
Еще один проводившийся в 1960-х гг. эксперимент, в котором присутствовало случайное
распределение, — «Мидл Старт» — представлял собой программу, направленную на то, чтобы
улучшить различные способности (культурные, академические) студентов, относившихся к
семьям, являвшимся неблагополучными45. Программу проводили факультеты и администрация
расположенного в Огайо Оберлинского колледжа. Отбор студентов производился из пяти
учебных заведений в соответствии с предложениями администрации и педагогов. Сбор сведений
в отношении эффективности осуществлялся на протяжении трех сессий, проводившихся в
летний период в течение трех лет с 1964 года. Академические достижения участников экспериментальной группы являлись существенно более высокими в сопоставлении с результатами
участников контрольной группы. Объем затрат на реализацию программы на протяжении
пяти лет в пересчете на одного студента был равен 2 тыс. долларов. Состоялось определение
двух составляющих, требующихся для того, чтобы успешно реализовать программу, — наличия
содействующих эффективности программы поддерживающих лиц, в первую очередь родителей,
и наличия меняющегося, разнообразного, захватывающего нового опыта.
Семидесятые годы характеризуются тем, что в этот период было реализовано значительное
число экспериментов крупного масштаба по множеству вопросов, связанных со стимулированием
создания социального жилья на рыночной основе, с благосостоянием системы соцобеспечения,
медицинским страхованием и др. Разработку значительного числа подобных планов осуществляли экономисты, которые не обладали сведениями о проводимых в сфере социальных наук
экспериментах. При этом допускались значительные просчеты, поскольку для правильного
проведения контролируемых рандомизированных экспериментов требуется наличие определенных условий.
В указанный период состоялся ряд рандомизированных экспериментов. Так, был проведен
эксперимент, ориентированный на оценку результатов обучения «Улица Сезам». Оценивались
интеллектуальные навыки дошкольников США и воздействие на развитие дошкольников в
культурном отношении. При этом основное внимание было уделено детям из семей, относящихся
к категории неблагополучных.
Разработка первой программы, анализ и оценка данных проводились группой проверки
квалификации. Требовалось убедить родителей и детей в необходимости посещения «Улицы
Сезам». Эксперимент проводился в отношении детей из таких городов, как Лос-Анджелес,
Бостон, Филадельфия, Феникс, Дарем и др. В составе экспериментальной группы присутствовали дошкольники из семей, являющихся неблагополучными, и из семей, относящихся к
среднему классу. Случайным образом был определен состав экспериментальной и контрольной
групп. Популярность программы была столь высока, что возникли существенные затруднения
с формированием рандомизированной контрольной и экспериментальной групп.
На протяжении первых лет исследования измерение изменений в развитии когнитивных
способностей детей дошкольного возраста производилось посредством тестов развития. Со
второго года исследования наряду с указанными тестами применялись тесты, посредством
которых оценивается уровень знаний в отношении культуры. Осуществлялось получение
сведений в отношении родительских ожиданий. При тренировках взрослые отсутствовали.
Для детей более старшего возраста программа являлась менее выгодной в сопоставлении с
младшими дошкольниками.
Уровень развития детей из малоимущих семей, продолжительное время просматривавших
передачи, оказался тем же, что и уровень развития детей из семей, относящихся к среднему
классу, не смотревших передачи. Оценка достижения целей обучения, которые определили
разработчики программы, изменялась посредством теста MRT46.
45
Yinger J. Middle Start: Supportive Interventions for Higher Education among Students of Disadvantaged Backgrounds.
Final report / J. Yinger, K. Ikeda, F. Laycock. Oberlin : Oberlin College, 1970. 186 p.
46
Minton H.J. The Impact of Sesame Street on Readiness // Sociology of Education. 1975. V. 48. P. 142.
22
Тесты могут применяться в отношении детей, у которых имеется умственная отсталость.
Существует возможность оперативной адаптации тестов к различным языкам. Наряду с отчетами, которые публиковались после успешного проведения оценочных исследований, в рамках
исследуемого этапа появлялись и критические публикации. В таких работах проводился анализ
имевшихся просчетов. В этой связи возможно выявление степени развития методологии
оценочных исследований. На протяжении 1960–1980-х гг., как отмечалось ранее, проводились
эксперименты, являвшиеся рандомизированными.
Значительное число публикаций критиков содержит анализ данного метода. В соответствующих статьях указывались присущие экспериментам проблемы. При этом не все критические
замечания являлись обоснованными. Комплекс недостатков, присущих экспериментам, реализованным в рамках проводившихся в США и Великобритании оценочных исследований, был
определен следующим образом47:
1. Для проведения эксперимента необходимо не совершенствование программы, а ее
проведение без изменений. Управляющие стремятся к совершенствованию программы на
основе изученных аспектов ее реализации. Однако оценщики ориентированы на продолжение
воздействия в отсутствие изменений в течение продолжительного срока для сбора информации
до воздействия и после того, как оно состоялось.
2. На основе результатов эксперимента оценщики имеют возможность для принятия
решений после завершения всего цикла проекта, а не при его реализации. Существует продолжительный разрыв от момента применения результатов программы до ее завершения.
3. Эксперимент сопровождается проверкой каждой из составляющих для того, чтобы
увеличить управляемость, в то время как успешность может зависеть от комбинации составляющих.
4. Рандомизированный эксперимент предполагает различия в распределении власти между
исполнителями и оценщиками. Исполнительный штат зависит от оценщиков, наблюдается
перекос в распределении власти в пользу оценщиков.
5. При эксперименте выделяется избыточное число условий для управления. В этой связи
утрачивается возможность применения программы к фактически существующим условиям.
6. При эксперименте не производится исследование причин и получения результатов. Он
не позволяет выявить составляющие, обеспечившие успех. При этом внимание отвлекается
от вопросов, связанных с совершенствованием системы и являющихся более значимыми.
7. Информация, согласно которой реализация программы была успешной в конкретный
временной период, не является свидетельством, подтверждающим, что программа будет
также успешно реализована впоследствии в иных условиях.
Данный перечень критических оценок не является полным. В этой связи существовала
потребность в том, чтобы усовершенствовать экспериментальный подход при оценивании
социальных программ.
В связи с тем, что в посвященных оценочным исследованиям публикациях преобладает
экспериментальная парадигма, недостаточное внимание уделяется вопросам, являющимся более
значимыми, связанными с развитием теоретических основ воздействия на социальную сферу.
В рамках изучения оценивания применительно к программе «Хед Старт» было отмечено,
что значительное число сопровождавших реализацию программы неявных эффектов не было
учтено, поскольку не была сформулирована теоретическая модель прогнозируемых результатов.
47
Weiss C.Н. Evaluation: Methods for Studying Programs and Policies / C.Н. Weiss. New Jersey : Prentice Hall,
1998. P. 230.
23
Эксперименты обладают одной привлекательной особенностью — для оценки результата
реализации программы посредством экспериментов, являющихся рандомизированными,
отсутствует необходимость понимания особенностей функционирования социальной программы.
В руководствах по оцениванию (к примеру, в работе Л. Морриса48) теоретические основы
рассматриваемых программ затрагиваются весьма ограниченно.
Д. Уолли49 и ряд иных исследователей при оценивании акцентировали внимание на целях.
Подобный акцент был в первую очередь связан с обоснованием возможности применять
методы, являющиеся экспериментальными либо квазиэкспериментальными.
Следует отметить, что и исследователи, критически оценивающие применение экспериментального метода, анализировали не рассмотрение в социальных программах вопросов
теоретического характера, а вопросы, связанные с методами сбора информации и обладающие
меньшей значимостью.
В качестве негативного последствия ограниченности внимания к теории выступает следующее: нередко результаты оценочных исследований приводят к тому, что понимание программ
является ограниченным, неверным. Причины неудач программ не вполне очевидны — не ясно,
связаны ли данные причины с ограниченностью теоретических основ программ, с ошибками
при получении данных или же с просчетами при осуществлении программ.
По мнению П. Росси и Х. Чена, низкая эффективность связанных с оцениванием программ
обусловлена невниманием к накопленным в социологии знаниям. Авторы указывают на
целесообразность применения подхода, являющегося теоретически ориентированными.
Они отмечают возможность применения в рамках оценочных исследований экспериментальной парадигмы. Росси и Чен аргументируют необходимость придерживаться парадигмы,
приемлющей проведение экспериментов, квазиэкспериментов. При этом с точки зрения
обеспечения эффективности оценки отмечается необходимость применения данных методов
согласно существующим научным знаниям50.
Для того чтобы определить присущие первому этапу оценочных исследований проблемы,
следует охарактеризовать еще один проект. В 1975 г. Э. Морз и Г. Гордон провели исследования
в соответствии с обзором оценочных исследований, которые были представлены на протяжении
1969, 1971, 1973, 1974 гг. в Annual Review of Sociology51.
Авторами по результатам анализа отмечена ограниченность использования в процессе
проведения исследований знаний теоретического характера. В связи с тем, что знания о воздействии и оценивании недостаточны, возникают затруднения в части определения переменных
используемого инструментария. Однако это не является свидетельством отсутствия в социальных
моделях моделей поведения людей или недостатка данных эмпирического характера в отношении взаимосвязи между отдельными факторами, оказывающими влияние на указанное
поведение.
Дунканом отмечено использование сложнооперационализируемых абстрактных определений
в случае наличия обращения к теории в исследованиях52.
48
Weiss C.H. The Politicization of Evaluation Research // Journal of Social Issues. 1970. V. 26, N 4. P. 57–68.
49
Ibid.
50
Chen H.-T., Rossi P.H. Evaluating with Sense: The Theory-Driven Approach // Evaluation Review. 1983. V. 7,
N 3. P. 283.
51
Gordon G., Morse E. Evaluation Research // Annual Review of Sociology. 1975. V. 1. P. 339–361.
52
Weiss C.H. The Politicization of Evaluation Research // Journal of Social Issues. 1970. V. 26, N 4. P. 57–68.
24
Причина слабости научной основы в основном состоит в политическом окружении.
По замечанию К. Вайс, на протяжении данного периода происходит политизация оценки53.
Следствием данного процесса является, как указывает автор, ограниченность оценочных
исследований. Исследователи под влиянием политиков отдают приоритет не связанным с
перспективами системы широким вопросам, а задачам текущего характера. Вследствие подобной
ограниченности перспективы происходит замедление развития теории, научного знания, которые
требуются для эффективной оценки.
По результатам указанного исследования выявлено, что лишь в случае шестнадцати
процентов оценочных исследований осуществлялась проверка теории. Лишь в тридцати семи
процентах случаев было предложено описание, являющееся логичным. Несмотря на наличие
методологической основы, к моменту, когда проводились исследования, существовала проблема
влияния со стороны политиков. Развитие соответствующей сферы знания было ограничено из-за
концентрации на решение задач практической направленности в отсутствие связи с теорией.
Теоретическое знание обеспечивает концептуальные рамки для интерпретации информации,
принципы планирования содействуют росту качества проводимых исследований.
Все оценочные исследования испытывают влияние ограниченности концептуальной основы.
Так, являлись неудачными исследования, связанные с программной «Хед Старт» (1974), с учительским корпусом (1973), с неравенством в образовательной системе США (1966), с компенсаторной образовательной программой (1969)54. Указанные исследования сопровождались наличием
проблемы, связанной с накоплением научного знания и решением имеющейся в исследовании
задачи практического характера. В связи с тем, что концептуальная основа исследований
является недостаточно разработанной, вопрос по поводу причин неудач остается без ответа.
Рядом авторов, в том числе М. Липси, продемонстрирована низкая результативность подхода,
при котором имеется подход к программам как к «черному ящику» в отсутствие теории.
Данный подход связан с акцентом на описании имеющих количественное значение результатов
и необходимых ресурсов, т.е. внешних аспектов, вместо анализа аспектов программ, являющихся внутренними. Липси рассматривает подобную исследовательскую парадигму в виде
следующего напутствия: попытайся реализовать определенный подход, и далее посмотрим,
является ли он действенным55. Требуются надежные и валидные конструкты, позволяющие
описать ожидаемые изменения, являющиеся четко определенными и находящиеся под постоянным контролем.
В связи с отсутствием модели, предусматривающей связь между отражающими результаты
программ зависимыми переменными и независимыми воздействующими переменными,
ограничиваются возможности контролировать эффективность и качество оценки.
В процессе обсуждения стадий осуществления оценки данный аспект требует разъяснения.
В случае, если участники оценки не в состоянии самостоятельно определить составляющие основу
программы принципы, предположения, возникают затруднения с определением сущности
предусматриваемых результатов. При этом возможно достижение тех или иных целей, но сложно
выявить, как добиваться изменений и каким образом можно обеспечить их экстраполяцию.
Из содержания относящихся к анализируемому периоду публикаций (Э. Морз
56
Г. Гордон, П. Росси57, Х. Чен) можно заключить, что ключевое затруднение с применением
методологии оценочных исследований состояло в следующем: не были сформулированы
теоретические модели исследований, а связь с научным знанием являлась ограниченной.
53
Weiss C.H. The Politicization of Evaluation Research // Journal of Social Issues. 1970. V. 26, N 4. P. 57–68.
54
Gordon G., Morse E. Evaluation Research // Annual Review of Sociology. 1975. V. 1. P. 339–361.
55
Ibid., p. 344.
56
Ibid., p. 339–361.
57
Chen H.-T., Rossi P.H. Evaluating with Sense: The Theory-Driven Approach // Evaluation Review. 1983. V. 7,
N 3. P. 283–302.
,
25
Для анализа подходов к решению данных проблем следует обратиться к опубликованным
указанными авторами работам. Для того чтобы решить указанную задачу, Росси и Чен предложили так называемый теоретически ориентированный подход. В научных публикациях
по социологии представлен подход, предусматривающий необходимость исходить лишь из
теоретических знаний. Росси и Чен, в свою очередь, указывают на необходимость формировать
модель, отражающую возможные эффекты реализации программы, до оценки программы.
Они указывают на необходимость теоретизирования.
Теоретическая модель представляет собой попытку преобразовывать в гипотезы, составляющие основу для воздействия, теоретические представления в отношении контроля, изменения,
регулирования существующих в обществе условий или общественного поведения. Данная
модель может быть использована при дифференциации таких моделей воздействия, как явная
и скрытая. Нередко модель воздействия включает предположения, являющиеся скрытыми,
которые составляют основу реализации программы. Получение подобных предположений
возможно на основе ранее проведенных исследований. Также возможна ситуация, когда
эмпирические основы у предположений отсутствуют.
Следует отметить существенный вклад в решение указанного вопроса Х. Блейлока,
Л. Терстоуна, Д. Кранца, Л. Гуттмана, П. Лазарсфельда. В работах Лазарсфельда развито
представление об индикаторах теоретической переменной и непосредственно данной переменной.
В 1968 г. Блейлоком представлено понятие вспомогательной теории измерения58. Основным
является вопрос о связи между теоретическими положениями и концепцией измерения. Блейлок
отмечает, что требуется определить отношения между теоретическими построениями и индикаторами, а также говорит о том, что, так как физические величины характеризуются постоянством, проблема измерения в естественнонаучных дисциплинах является менее значимой.
Тогда как для социальных наук характерна необходимость учета присущей эмпирическим
связям изменчивости. Модели измерения должны, наряду с механизмами обратной связи
индикаторов и латентной переменной, учитывать ряд предпосылок, отражающих присущую
данной связи вариативность59. Изучая оценочные исследования, Росси и Чен предлагают
решать проблему отсутствия связи с теорией на основе использования подхода, являющегося
теоретически ориентированным.
Блейлок формулирует вспомогательную теорию измерения, связывая с теорией индикаторы
измерения. Таким образом, предлагается произвести формирование модели, которая обеспечивает связь между социологической теорией и концепцией измерения. При этом возникает
вопрос о возможностях формирования данной модели.
Теоретическую модель воздействия следует рассматривать в виде модели, отражающей
ожидаемые связи программы и меры по достижению цели. Данная модель отражает стратегию
сокращения расхождений цели, предусмотренной при формировании программы, и фактическими условиями либо поведением. В указанной модели имеются гипотезы в отношении
воздействия и причин.
По мнению авторов, социальные теории являются недостаточно разработанными, и нередко
возможности их практического применения отсутствуют. При этом факт отсутствия теоретической основы не должен рассматриваться в качестве препятствия к тому, чтобы использовать
лучшее из того, что уже имеется. Основным является переход к контекстуальному мышлению
для формирования представления в отношении социальных явлений. В публикациях Росси и
Чена присутствуют рассуждения, однако методику, согласно которой следует строить вспомогательную теорию измерения, авторы не представили. Ими изложен алгоритм, по которому
можно выявлять ключевые составляющие социальных программ.
58
Blalock H.M. The Measurement Problem: A Gap between Languages of Theory and Research // Methodology
in Social Research / Ed. by H.M. Blalock. New York : McGrow Hill, 1968. P. 5–27.
59
Девятко И.Ф. Диагностическая процедура в социологии: очерк истории и теории / И.Ф. Девятко. Москва :
Наука, 1993. С. 102.
26
Основную роль в данном алгоритме имеют переменные влияния. Влияние определяется
не исходя из предусмотренных планов, а из того, какое влияние было оказано на практике с
учетом системы, охватывающей составляющие в виде правил, организации, клиентов, помещения и персонала. Результаты программы, предусмотренные и не предусмотренные планами,
которые находятся под влиянием переменных влияния — прямым или опосредованным
промежуточными переменными, — носят наименование переменных результата. Процесс
концептуализации представлен промежуточными процессами.
Объяснение результатов, получаемых при реализации социальных программ, связано как
с влиянием переменных, являющихся промежуточными, а также переменных влияния, так и
с влиянием переменных, относящихся к числу экзогенных. Нередко данные переменные
соотносятся с переменными влияния. Отсутствие возможности контроля в отношении коррелирующих переменных, являющихся экзогенными, обусловливает смещение оценки результата
влияния. В числе основных достижений Кэмпбелла следует отметить определение ряда
способов, предполагающих связь переменных влияния и экзогенных переменных. Х. Финн
60
отмечает, что теория программы является комбинацией изображения и текста, отражающей
планируемые цели, предусматриваемые программой мероприятия. Каждый из акторов может
обладать различными представлениями в отношении программы.
Проведенный в рамках раздела 1.2 анализ первой стадии развития исследований оценочного
характера позволяет отметить ключевую особенность данной стадии в виде применения в
большинстве исследований экспериментального метода. Соответствующие эксперименты
были оценены критически. При этом отмечается, что эксперименты могут осуществляться в
случае, если будет обеспечена связь с теоретической основой.
При проведении относящихся к указанному периоду оценочных исследований выявлено
значительное число проблем, связанных с методологией. Данные проблемы состояли в том, что
при оценке не принимались во внимание результаты программы, являющиеся альтернативными;
не во всех случаях у оценщиков имелась возможность определения целей; оценочные исследования характеризовались отсутствием теоретической модели и низкой валидностью; формирование программы оценки осуществлялось не во всех случаях.
Первая стадия развития исследований оценочного характера сопровождалась постановкой
вопроса по поводу создания теоретической модели программы. При этом в относящихся к данному
периоду работах не был определен алгоритм построения вспомогательной теории измерения.
Анализируя вторую стадию развития методологии оценочных исследований (1980–1990-е гг.),
отметим значимость поиска решения связанных с методологией проблем, выявленных в рамках
первого этапа (поиск методики, позволяющей формировать вспомогательную теорию измерения,
проблемы, и связанной с тем, что валидность оценочных исследований является низкой). В рамках
анализа первого этапа определена специфика, присущая развитию оценочных исследований,
в виде сравнительно ограниченного применения теории в процессе формирования программ
проведения исследований и доминирования подхода, связанного с проведением экспериментов.
Выделим ряд особенностей, присущих второму этапу. Изучение соответствующих публикаций позволило определить ряд стратегий осуществления исследований оценочного
характера — качественно-антропологическую, управленческую, научно-экспериментальную.
У оценщиков программ имеется возможность оценивания качественных характеристик
программ в соответствии с предложенной П. Росси методикой, выделившим ряд аспектов в
виде: изучения результатов, затрат, рентабельности; потребности в оценке; изучения воздействия;
изучения процесса; теории программы61.
60
Finne H., Levin M., Nilssen T. Trailing Research: a Model for Useful Program Evaluation // Evaluation. 1995.
V. 1, Iss. 1. P. 11–31.
61
Rossi P.H. Evaluation: A Systematic Approach / P.H. Rossi, M.W. Lipsey, H.E. Freeman. Thousand Oaks : Sage,
2004. 490 p.
27
Дженнифер Грин отметила еще одну особенность62, состоящую в том, что оценочные
исследования нередко проводятся на основе комбинации методов количественного и качественного характера.
При изучении второй стадии также проведен анализ образовательных программ PIRLS
и PISA, являющихся международными, и программ образовательного характера63, связанных
с оценкой результатов обучения учащихся начальной школы на Филиппинах и реформирования
школьного образования в Никарагуа. На основе данных примеров обеспечивается возможность
анализа ключевых особенностей методологии оценочных исследований, проводившихся на
втором этапе.
В рамках второй стадии формирования методологии оценочных исследований состоялось
решение ряда проблем организационного и методологического характера в виде формирования
управленческих стратегий в процессе формирования исследовательских программ.
Изучение относящихся ко второму этапу работ позволило определить наличие ряда стратегий, на основе которых осуществляется управление проведением исследований. В оценочных
исследованиях применяются антропологические подходы и эконометрические методы, что
отличает их от традиционных социологических исследований и существенным образом влияет
на методологию.
1. Ведущей стратегией является научно-экспериментальная. Ее основу составляют ключевые
принципы научного знания — валидность информации, беспристрастность, объективность и
точность. В рамках стратегии предусматривается использование научно-экспериментальных,
в том числе эконометрических, моделей, предполагающих изучение затрат-выгод и изучение
стоимости. Данная стратегия также предусматривает осуществление теоретико-управляемой
оценки.
Э. Хаус анализирует связанные с процессом оценивания затраты и выгоды. Он отмечает,
что подобный подход характеризуется следующим недостатком: все показатели сводятся к
выражению в денежной форме. Соответственно, не принимаются во внимание показатели,
связанные с моральным измерением, поскольку их представление в денежной форме невозможно.
В то же время невозможно и игнорировать данные показатели64.
2. Следующую категорию составляют управленческие стратегии. Наиболее известными
являются активно используемые в сфере бизнеса CPM и PERT. Первая является математическим
алгоритмом действий, осуществляемых в рамках проекта. Модель предполагает наличие информации в отношении полного перечня мероприятий, сроков и зависимости мероприятий друг
от друга. Вторая представляет собой средство, с помощью которого оцениваются программы,
и используется в рамках управления проектами. Она позволяет анализировать требующиеся для
реализации проекта задачи, в первую очередь сроки, необходимые для того, чтобы решать каждую
из задач, и сроки, минимально необходимые для того, чтобы реализовать проект в целом65.
3. Модели, являющиеся качественно-антропологическими, акцентируют внимание на ценности субъективной интерпретации потребности сохранять сопутствующий оценке феноменологический контекст и на значимости наблюдения. Охватывают такие подходы, как искусствоведческий, четвертое поколение оценки, качественные школы и подходы Страуса, Глазера.
Подобные модели являются значимыми для второй стадии развития методологии исследований
оценочного характера, поскольку проведение подобных исследований началось во всем мире,
а не только в англосаксонских государствах.
62
Greene J., Caracelli V., Graham W. Toward a Conceptual Framework for Mixed-method Evaluation Designs //
Educational Evaluation and Policy Analysis. 1989. V. 11, Iss. 3. P. 255–274.
63
Бейкер Дж. Оценка воздействия проектов развития на бедность / Дж. Бейкер ; пер. англ. Москва : Весь Мир,
2002. 271 с.
64
Haus E. The Limits of Cost of Benefit Evaluation // Evaluation. 2000. V. 6, Iss. 1. P. 79–86.
65
Luttman R.J., Laffel G.L., Pearson S.D. Using PERT/CPM to Design and Improve Clinical Processes // Quality
Management in Health Care. 1995. V. 2, Iss. 2. P. 1–12.
28
Ш. Беттс и А. Хюбнер представляют анализ методики, которая именуется оцениванием
четвертого поколения (FGE). Представлена попытка анализировать эффективность использования соответствующего метода при оценивании связанного с реализацией молодежной
политики взаимодействия между университетами и местным сообществом. Охарактеризованы
присущие указанному методу позитивные и негативные аспекты. Первые связаны в том числе
с обеспечением поддержки в отношении предусматриваемых программой более поздних
мероприятий с представлением перспектив, участием значительного числа акторов. Вторые
связаны с затруднениями при определении акторов и имеющихся у них полномочий66.
Дженни Хайетт и Хелен Саймонс отметили сложность такого социально-политического
процесса, как оценивание. Так как в качестве определяющих особенности социально-политического взаимодействия факторов выступают культурные ценности и нормы, оценивание
должно соответствовать определенному культурному контексту67. Авторы используют такое
понятие, как «культурный код». Подобные коды выступают в виде используемых относящимися
к определенной субкультуре или культуре лицами интерпретаций, символов. Хайетт и Саймонс
анализируют состав культурных кодов, которыми обладают организаторы социальных программ,
их участники, и влияние данных кодов на осуществление оценочных исследований и их
результаты68. Авторы указывают на необходимость готовности организаторов программ
раскрывать собственные культурные коды в отношении культур, являющихся объектами
исследования. Раскрытие культурных кодов вызывает определенные затруднения, так как их
формирование происходило в течение продолжительного периода, и для того, чтобы их осознать,
требуются усилия и время. При этом временной период оценивания зачастую является ограниченным. Особое значение раскрытия культурных кодов имеет в случае относящихся к странам
третьего мира государств.
Хайетт и Саймонс сформулировали подход к раскрытию культурных кодов, предусматривающий необходимость принимать во внимание ряд присущих культурам особенностей в
виде значимости взаимного осознания культур, взаимодействия, открытости взаимовлияния
культур, оценки культуры в качестве изменяемой и органической. Они считают необходимым
развивать при проведении оценочных исследований партнерские отношения принудительного,
творческого, договорного и совместного характера. В случае отношений, являющихся принудительными, культурные коды являются заблокированными вне зависимости от процессов.
Проявление творческих отношений наблюдается при раскрытии культурных кодов. В случае
признания сторонами заблокированности части культурных кодов на период проведения
работы имеются отношения договорного характера. При раскрытии части культурных кодов
и сохранении части кодов нераскрытыми имеются совместные отношения.
Среди проводящих оценочные исследования специалистов идет активная дискуссия по
поводу выбора стратегии и ее использования. Оценщики, опыт которых является наиболее
обширным, пользуются одновременно всеми стратегиями. Фактически существует возможность
совмещения стратегий. При этом обеспечивается вклад каждой из стратегий в проведение
оценки.
66
Huebner A., Betts Sh. Examining Fourth Generation Evaluation // Evaluation: Application to Positive Youth
Development. 1999. V. 5, Iss. 3. P. 340–358.
67
Hyatt J., Simons H. Cultural Codes – Who Holds the Key? The Concept and Conduct of Evaluation in Central and
Eastern Europe // Evaluation. 1999. V. 5, Iss. 1. P. 23–41.
68
Ibid.
29
Оценка качества программ может проводиться для оценки результативности программы
по ряду направлений. В работах Росси отмечены направления оценки в виде69:
1) изучения рентабельности, результатов и затрат — производится выявление получаемых
вследствие реализации программ выгод, которые соотносятся с затратами на осуществление
программы. Коэффициент «затраты / результат» в программах, являющихся эффективными,
находится на низком уровне;
2) потребности в проведении оценки — отражает затрагиваемых проблемой субъектов,
распространенность проблемы, эффект программы (так, в случае, если программа ориентирована
на то, чтобы сократить число бездомных, необходимо обладать информацией в отношении
количества подобных лиц и присущих им демографических особенностей);
3) изучения воздействия — оценка связана с выявлением результатов осуществления
программы;
4) изучения процесса, которое ориентировано на оценивание проведения программы.
Выявляется, воздействовали ли реализуемые программные мероприятия на представителей
целевой аудитории, были ли получены данными лицами соответствующие услуги;
5) теории программы (логической модели), представляющей собой формальное описание
проекта, программы. Данная теория отражает основные составляющие программы, ее эффекты
(кратко- и долгосрочные). Изучение теории позволяет выявить организацию программы и
связь между организацией программы и планируемым результатом. Она является моделью
результатов, относящихся к категориям, ожидаемых и неявных. Указанная модель включает
гипотезы, проверка которых сопровождает осуществление программы.
Дж. Грин отмечает присущую методологии особенность70 в виде сочетания в рамках
оценочных исследований методов количественного и качественного характера. Весьма значимым
является теоретическое обоснование практики, позволяющее оценщикам осмыслить практику.
Автором на основе изучения 58 оценочных исследований определен ряд подходов, связанных
с триангуляцией, взаимодополняемостью, а также с развитием.
Первый из указанных подходов предусматривает наличие ограничений у каждого из методов.
В этой связи в случае, если используется единственный метод, результаты являются ограниченными либо предвзятыми. В случае, если практикуется подход, предполагающий взаимодополняемость для того, чтобы обеспечить понимание исследуемого феномена, применяется
ряд методов.
В качестве примера подобного подхода может выступать использование метода интервью,
когда оно проводится в отношении студентов, чтобы выявить их индивидуальные предпочтения
в учебной сфере, а также количественной анкеты, позволяющей определять положение в
рейтинге учебной группы. Каждая из методик обеспечивает возможность анализа различных
аспектов явления.
При подходе, связанном с развитием, использование методов количественного и качественного характера предполагает развитие одного метода с применением другого. Так, для того,
чтобы сформировать выборку исследования, являющегося количественным, проводится исследование имеющихся у участников программы образовательных предпочтений, являющееся
качественным.
69
Rossi P.H. Evaluation: A Systematic Approach / P.H. Rossi, M.W. Lipsey, H.E. Freeman. Thousand Oaks : Sage,
2004. 490 p.
70
Greene J., Caracelli V., Graham W. Toward a Conceptual Framework for Mixed-method Evaluation Designs //
Educational Evaluation and Policy Analysis. 1989. V. 11, Iss. 3. P. 255–274.
30