Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Эмпирические социологические исследования социальной реальности. Монография
.pdf
Глава 2
51
достигает ли программа эффекта, но и в том, насколько она велика, соответственно, каковы затраты на реализацию программы.
В конце концов, оценочное исследование стремится ответить на вопрос, что произойдет, если программа не будет реализована, т. е. отсутствует конкретное управленческое решение для реализации программы
социальной политики.
2.4. Основные направления оценочных исследований –
программный мониторинг и программное оценивание
Каждое оценочное исследование, а также научное исследование, являются уникальными по своему конкретному дизайну исследования
(исследовательской схеме). Как указывает Шуман, не существует стандартной схемы исследования, потому что не существует фиксированных
вопросов исследования или какого-либо набора методов, которые следует использовать при оценивании [Suchman 1967]. Скорее, схема исследования рассматривается как нечто конкретное [Cook 1981]. Однако если подходы в оценочных исследованиях подлежат некоторой классификации, то можно выделить две основные области, в которых
разрабатываются используемые схемы исследований. Одной из них является так называемый мониторинг или наблюдение социальной программы (программный мониторинг), т. е. объект оценивающего исследования, а другой – оценка социальной программы (оценка программы).
Целью мониторинга программы является определение того, как работает социальная программа и выполняются ли соответствующие действия (т. е. предоставляются ли целевым группам предусмотренные
услуги). Примеры таких программ можно найти в практике Службы занятости по так называемым активным мерам и программам на рынке
труда. Одной из них является программа по переподготовке и переквалификации безработных. В ней работают специалисты, которые проводят занятия и семинары по переподготовке, определяют критерии того,
как безработные (клиенты) должны обучаться (обслуживаться) и т. д.
Программный мониторинг в этом случае необходим для определения
Глава 2
52
того, работает ли программа, как предполагалось, поскольку запуск программы не гарантирует, что она будет выполняется так, как было задумано. Или, как отмечает Паттон [1978], «достижение целей программы
не является ни автоматическим, ни безусловным».
Программный мониторинг может быть реализован в двух вариантах.
Одним из них является так называемый постоянный мониторинг, который проводится, как только программа активируется и участвующие в
ней лица начинают функционировать. Такой вариант крайне желателен,
но обычно пытается вернуться к началу программы. Это определяет, что
бы было достигнуто, если программа работала бы так, как предполагалось изначально, т. е. устраняются возможные отклонения в ходе осуществленного выполнения.
В программном мониторинге исследователь, оценивая, пытается ответить на ряд вопросов, таких как: Каким образом программа реализуется? Каковы ее официально заявленные и фактически достигнутые цели? Кому выгодна программа? Особое внимание уделяется вопросу о
том, реализуется ли программа так, как было задумано. Здесь очень
важно точно определить, как это происходит, например, какие элементы
первоначального замысла были оставлены из-за сознательного выбора
или упущений. Он также оценивает успешность действий исполнителей
программы, чтобы лица, участвующие в программе, получали преимущества (услуги), и были выполнены, в конце концов, соответствующие
действия в соответствии с назначением и т. д.
Должное внимание также уделяется целевым группам, т. е. лицам, на
которые нацелена программа. Проверяется, как они были отобраны для
участия в ней (случайно, добровольно, по назначению административного органа и др.), каковы их основные социально-демографические характеристики, какая часть из них выпала из программы или отказалась
участвовать в ней.
Как только оценщик полностью «вникнет» в программу, ее цели,
действия и приложения, только тогда он сможет полностью оценить ее
влияние на участников программы, т. е. перейти к другому направлению
оценки исследования – оценке программы.
Глава 2
53
Цель оценки программы – определить, может ли социальная программа
достичь ожидаемых результатов (или, по крайней мере, оценить полученные результаты). В случае переподготовки и переквалификации безработных цель состоит в том, чтобы определить, есть ли разница в степени занятости между теми, кто проходил и кто не проходил программу.
При оценке программы исследователь также стремится ответить на
ряд вопросов – например, какая информация необходима для оценки
эффективности программы. Здесь очень важен переход от исследовательских (теоретических) концепций и категорий к измеримым переменным (индикаторам и показателям), с помощью которых можно измерить влияние оценки программы. В связи с этим вопрос о том, что составляет и что является «успешным результатом» программы, является
особенно важным. Решение этого вопроса обычно поручают независимым экспертам, которые по договоренности согласуют стандарт для
удовлетворительной (успешной) реализации программы.
При оценке программы необходимо учитывать два типа эффектов, которые могут возникнуть в ходе реализации программы – ожидаемый и
неожиданный. Ожидаемые эффекты, в свою очередь, могут быть положительными и отрицательными, и они находят свое место в оценке программы. Учитывая непредвиденные последствия, трудно сформулировать
исследовательские модели, чтобы выявить и определить их величину.
Здесь исследователь должен быть готов принять и исправить их, конечно
же, тщательно анализируя условия и причины возникновения.
2.5. Методы оценивающих исследований
Как уже указывалось, для определения того, как реализуется программа, необходима соответствующая информация. Сбор этой информации осуществляется разными методами, которые конкретизируются
(уточняются) в зависимости от направления оценочного исследования –
мониторинга программы или оценки программы.
Мониторинг программы обычно использует наблюдение, анализ документов и полевые исследования с анкетированием или интервью.
Глава 2
54
Наблюдение за повседневным функционированием программы считается лучшим способом «почувствовать» каждый аспект или стадию ее реализации [Bruce et al. 1984: 297]. Таким образом, создается наиболее точное
впечатление и уверенность в том, что охвачены все релевантные элементы исполнения. К ним относятся встречи с персоналом (специалистами),
исполняющим программу, лицами, получающими пользу (услуги), установившиеся отношения между ними и т. д. Рекомендуется, чтобы мониторинг не был пассивным, а наоборот, исследователи должны проводить
неформальные обсуждения с исполнителями и участниками программы, а
также с другими лицами, заинтересованными в ее реализации. При этих
обсуждениях поднимают вопросы об одном или других аспектах действия
программы, оценивают восприятие участниками целей программы, т. е.
поиск объективной картины хода программных действий и операций.
Анализ документов используется для различных административных,
финансовых, материальных и бюджетных записей, которые содержат
полезную информацию для реализации программы. Например, различные административные записи могут использоваться для оценки типов
предоставляемых услуг, когда они были получены участниками программы, их размера и т. д., или какие проблемы возникли при исполнении программы, как они были решены, каковы последствия этих решений и т. д. Анализ документов, связанных с реализацией программы, дает общее представление о правлении и его последствиях, включая
любые изменения в целях и первоначальных намерениях.
Полевые исследования с анкетами и интервью подходят для оценки
уровня услуг, получаемых участниками программы, и их отношения к
качеству этих услуг, включая реализацию программы в целом. В тех случаях, когда полевые исследования являются периодическими, эта информация может в дальнейшем использоваться для оценки эффективности. К сожалению, однако, нет никаких доказательств обоснованности
этого предложения.
При программной оценке исследователи чаще всего обращаются
наряду с экспериментальными и квазиэкспериментальными схемами к
качественным методам. Экспериментальные схемы являются классическими при изучении причинно-следственных связей и считаются иде-
Глава 2
55
альным подходом при оценке программ [Вruce et al. 1984: 300]. Причина
этого заключается в том, что только путем фактической рандомизации
исследуемых элементов (лиц) в экспериментальной и контрольной
группах можно надежно измерить влияние воздействия оцениваемой
программы. В то же время существует множество причин, которые затрудняют применение экспериментальных схем на практике. Например,
многие оценки программы заказываются слишком поздно после запуска
программы, и тогда просто невозможно сформировать экспериментальную и контрольную группу. Часто гаранты оценочного исследования
сами выступают против использования лиц в экспериментальных группах, которые получают какое-то «лечение», которое является неэтичным, нечестным, незаконным и т. д. Следует также помнить, что экспериментальные исследования очень дороги, так как обе группы должны
быть проверены заранее для ряда переменных, касающихся их однородности. Затем они должны быть тщательно проверены на протяжении всей программы и, наконец, перепроверены на предмет полученных
результатов, чтобы сделать соответствующие заключения и выводы.
Все это также занимает много времени, иногда несколько лет, чтобы
успешно завершить запланированный эксперимент.
Хотя соображения по использованию экспериментальных схем носят
в основном научно-теоретический и методологический характер, аргументы против их реализации, очевидно, носят практический и организационный смысл. Поэтому экспериментальные схемы считаются
наиболее эффективными, когда оцениваемая программа является новой
или «лечение» (воздействие) может быть выполнено относительно легко или стандартным способом.
Квазиэкспериментальные схемы считаются более низким уровнем
изучения, чем экспериментальные. Они обычно используются, когда
классические экспериментальные схемы сложно или просто невозможно реализовать. Для квазиэкспериментальных схем главный вопрос состоит в том, как построить контрольную группу, когда экспериментальная группа уже доступна. В примере квалификации и переподготовки
безработных использование квазиэкспериментальной схемы означает
отбор случайной выборки участников программы и противодействие
Глава 2
56
контрольной группе неучастников программы, которая выбирается из
не включенной в нее группы безработных. Это делается с помощью
определенных процедур и критериев с математическим выражением,
так что экспериментальная и контрольная группы выровнены по ряду
переменных, а разница в «обработанной» переменной остается. Это
приближает квазиэкспериментальную схему к экспериментальной. Но
здесь остается вопрос о многих других переменных, которые не привели
в соответствие две группы, и в отношении которых предполагается, что
либо нет различий, либо что, если таковые имеются, они не оказывают
существенного влияния на предполагаемый эффект. К сожалению, однако, нет никаких доказательств обоснованности этого предложения.
Несмотря на эту слабость квазиэкспериментальных схем, они всегда
применяются там, где невозможно выполнить классические экспериментальные схемы, тем более что они дешевле и требуют меньше времени для реализации, что считается важным фактором от заказчиков
оценочного исследования.
В программных исследованиях наряду с экспериментальными и квазиэкспериментальными схемами, которые рассматриваются как количественные методы, также играют роль качественные методы. Выводы
об эффективности программы также могут быть сделаны на основе отчетов, полученных от исполнителей и участников программы, а также
от других лиц, участвующих в ее реализации, не прибегая к количественным измерениям. Например, применяя глубинное интервью с
участниками программы переподготовки и квалификации можно охватить различные аспекты их установок и оценки тех или иных последствий, которые могли бы остаться незамеченными при количественных
измерениях до тестирования, или после. Таким образом, качественные
методы повышают вероятность выявления различий в воздействии
программы на участников и их влиянии на нее. Тем не менее эти ощущения по поводу полезности программы все еще являются косвенными
и могут не соответствовать фактическому эффекту программы.
Таким образом, окончательный вывод заключается в том, что
наилучшим подходом при оценке исследований является использование
ряда методов, как количественных, так и качественных.
Глава 2
57
2.6. Вместо заключения – исследовательский опыт
Хотя оценочные исследования в мировой практике имеют почти сорокалетнюю историю, они все еще находятся на начальных этапах научной
когнитивной идентификации и валидации как новой прикладной области в
социологических и социальных исследованиях. Одна из причин этого заключается в том, что программный подход к решению социальных проблем
в его современном виде также недавно нашел свое место в социальной политике государств. Типичным примером в этом отношении является государственная политика на рынке труда. Сразу после робкого начала структурных реформ быстро выросла безработица в стране. Все началось с пассивных мер на рынке труда, которые включали в основном выплату
пособий по безработице. Всего через несколько лет после этого Служба занятости начала разрабатывать и внедрять так называемые активные меры
и программы по содействию занятости. К концу 1990-х годов на них обучалось 120 000 человек по программам с большим числом участников: Программа временной занятости (69 000), Квалификация и переподготовка
(17 000), Социальное обеспечение занятости (5000 человек), занятость молодежи (1152 человека), а также содействие занятости в определенных секторах экономики – переработка табака (9522 человека), производство сахарной свеклы (210 человек) и т. д.
В тот же период было проведено оценочное исследование на тему
«Система мониторинга и оценки программ и мер на рынке труда». Основная цель исследования – получить информацию, с помощью которой
можно принимать альтернативные решения в управлении процессами,
связанными с занятостью и безработицей, а также улучшать будущие
проекты. По сути, это исследование, направленное на установление валового эффекта6 воздействия программ на рынок труда. Наряду с участ-
6
Любое оценочное исследование активных программ и мер на рынке труда
направлено на анализ вероятности трудоустройства после участия в таких программах. В этом отношении влияние (эффект) активных программ на рынке труда можно
разделить на валовое и чистое. Валовой эффект означает, что безработные нашли
работу после участия в какой-либо программе или мероприятии, даже если они могут найти, то же самое без такого участия в программе или мероприятии. Для чистого эффекта, трудоустройство, найденное в оценочном исследовании, является результатом участия в программе или рассматриваемой мере.
Глава 2
58
никами данных программ были опрошены две группы работодателей,
которые наняли лиц по определенным программам.
Для трех программ, в которых участвует большее число участников,
были созданы непропорционально большие выборки с примерно 2700
респондентами, после чего при обработке первичных данных была проведена соответствующая корректировка. Для программ с небольшим
количеством участников (от 500 до 1000 человек) было осуществлено
комплексное исследование. Относительно работодателей – опрос является исчерпывающим для компаний, которые приняли на работу безработных, включенных в выборку для соответствующей программы.
Влияние программ было оценено по нескольким показателям: процент трудоустройства, затраты на одного участника программы, конкретные цели и затраты на сопутствующие действия, причем первые
два являются основными.
Наибольший эффект от программы стимулирования безработных –
содействовать их участию в самостоятельном бизнесе (58,3% опрошенных). Второй по значимости – профессиональная переподготовка (46,4%
приходилось на тех, кто поступил на работу по приобретаемой специальности, и уже начал работать во время учебы). Далее по эффективности следуют программы: трудоустройство выпускников по государственным закупкам – 36,4%, обеспечение занятости лиц с ограниченной
трудоспособностью – 32,6%. Эффективность программы «Социальное
обеспечение занятости» самая низкая – 12,2%. Для программы временной занятости показатель «занятых» не рассчитывается, так как на
практике заняты 100%, но эта занятость является временной (не более
5 месяцев).
Согласно другому показателю «затраты на участника», самой дорогой
является Программа стимулирования безработных к самостоятельному
предпринимательству – 467 830 российских рублей7 за одного участника,
за которым следует Программа по трудоустройству инвалидов – 422 309
рублей за одного участника и расстановка выпускников по государствен-
7
Это оценки неденоминации национальной валюты 1998 года.
Глава 2
59
ному заказу – 347 699 рублей. Самая дешевая – программа профессиональной квалификации – 40 968 рублей для одного участника.
С целью проведения комплексной оценки изученных программ и мер
была проведена связь между степенью участия в соответствующей программе или мерой и эффективностью этого участия по отношению к основной цели – трудоустройству безработных. Эта связь аналитически
выражена следующим образом:
,
где: – это коэффициент занятости, представляющий отношение ра-
ботников во время исследования на 1000 человек среднегодового уровня безработных. Он показывает, какая часть совокупности безработных
включается в программу или мера, направленная на создание определенных условий для выхода из безработицы;
– это коэффициент участия, представляющий отношение участни-
ков рассматриваемой программы на 1000 человек среднегодового числа
безработных. Он показывает, какая часть общего числа безработных в
течение года включена в соответствующую программу или меру,
направленную на создание определенных условий для выхода из безработицы;
– это коэффициент эффективности, представляющий отношение
сотрудников во время исследования на 1000 человек, участвующих соответствующей в программе. Он показывает, сколько участников программы достигают своей цели – закрепляются на работе в результате ее
воздействия.
Конкретные данные оценочного исследования показывают, что в
целом для оцениваемых программ коэффициент эффективности выше,
чем коэффициент участия (Б > А). Исходя из этого, для каждой программы можно определить, в каком направлении сосредоточены усилия по
улучшению конечного эффекта, т. е. для более высокой занятости за
счет массового участия (фактор А) или за счет увеличения эффекта участия (фактор Б).
Оценочные исследования эффекта воздействия на программы и меры на рынке труда воспринимаются как ориентировочные или приблизительные, поскольку они не уточняют, насколько это влияние связано
Глава 2
60
с самой программой или мерой. Этот недостаток преодолевается в оценочных исследованиях чистого эффекта. Было проведено такое оценочное исследование, посвященное влиянию чистого эффекта на ряд программ рынка труда: временная занятость, самозанятость, переподготовка и повышение квалификации, ассоциации занятости и
субсидирование занятости. Использовалась квазиэкспериментальная
схема с контрольной группой, сформированной «после» запуска программ. Контрольную группу составляли лица, которые были безработными на момент зачисления участников в программы, но таким образом, чтобы лица, включенные в программу, имели характеристики (небольшое количество) подобных участников (например, по возрасту,
полу, образованию, этнической принадлежности и т. д.).
Время проведения оценочного исследования было выбрано так, чтобы с момента участия опрошенных лиц в программе прошло достаточно
времени (при условии, что у участников программ есть не менее 3 месяцев для поиска работы, что считается достаточным, чтобы иметь возможность проверить свои шансы на рынке труда и получить более глубокое представление о том, как участие в программе может помочь им).
Количество участников оцениваемых программ составило 60 500 человек. Для разных программ были выбраны разные модели: для Программы временной занятости – 2440 человек (5% от общей совокупности для переподготовки) и для Программы повышения квалификации –
9250 человек (8% от общей численности населения), для субсидирования занятости – 479 человек, или 35 %, для ассоциаций занятости – 495
человек, или 74%, для самостоятельной занятости – 397 человек, или
46%. Общее количество человек в выборке составляет 4740 человек.
Выборочная контрольная группа из 2773 человек была сформирована
отдельно (она была составлена из совокупности безработных, которые
не участвовали в программах и мероприятиях на рынке труда). Непропорциональный выбор элементов в выборке из программ считается
успешным, поскольку достаточная стохастическая точность также обеспечивается для программ с меньшей долей участия (в выборку включается больший процент участников).
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]