5.3. Оценка эффективности программ

Лабораторный эксперимент обычно проводится в рамках фундаментальных исследований и направлен на уточнение теории. Естественный эксперимент то

же может служить этой цели. Но чаще всего полевое исследование проводится для ответа на вопросы при­кладного характера. Как правило, изучается эффек­тивность какой-то новой программы. Именно с этим типом исследований чаще всего имеют дело социаль­ные работники. Поэтому им нужно хорошо понимать логику экспериментального подхода вообще и специ­фику естественного эксперимента.

Рассмотрим пример. В 1980-х годах на Западе, осо­бенно в скандинавских странах, Италии и Великобри­тании, возникло мощное движение, участники которо­го выступали против помещения людей, нуждающихся в специальном уходе (больные, престарелые, инвали­ды, лица с задержкой умственного развития, сироты), в учреждения стационарного типа, ратуя за создание условий для ухода за ними на дому. В русле этого дви­жения шло закрытие психиатрических больниц, вспо­могательных школ, детских домов и введения альтерна­тивных форм обслуживания, направленных на дости­жение социальной интеграции соответствующих групп населения. Естественно, что существовал и про­тивоположный лагерь защитников традиционных форм социального обслуживания. Главным доводом сторонников реформ было утверждение, что на этом пути можно добиться значительного повышения каче­ства обслуживания без существенного увеличения за­трат. Для обоснования этого довода проводились эмпи­рические исследования по сравнению двух моделей.

Общая схема эксперимента сохраняется. Сравни­ваются две группы людей, различие между которыми выступает как независимая переменная. Например, сравнивается группа больных и группа здоровых лю­дей. Изучаемым фактором в этом случае будет состоя­ние здоровья. Существенное отличие исследований, проводимых в естественных условиях, по сравнению с опытами, проводимыми в лаборатории, заключается в том, что у исследователя нет возможности произ­вольно комплектовать группы испытуемых. Лучшее, что он может сделать — это попытаться максимально уровнять между собой группы по фоновым характери­стикам, таким, как возраст, пол, семейное положение и т. д. Полезно также учесть некоторые дополнитель­ные моменты, которые могут пригодиться на этапе анализа данных. Например, есть смысл учитывать сте­пень тяжести заболевания. Ведь вполне может быть, что в одном случае более эффективной окажется одна модель, а в другом — другая.

Наибольшие трудности при проведении полевых экспериментов обычно представляет разработка сис­темы измерения оценочных показателей. По какой си­стеме оценивать качество обслуживания? Учитывать ли только объективные показатели или также мнение самих клиентов? Если брать несколько показателей, как свести их в один интегральный показатель? Если ориентироваться на мнение специалистов, то и среди них могут быть значительные разногласия. А как затем сопоставить между собой показатель качества обслу­живания и уровень затрат? Для некоторых параметров существуют какие-то принятые системы оценки. Их использование облегчает задачу, а к тому же имеет и то преимущество, что возникает возможность сопос­тавлять результаты разных исследований. Разработка системы оценок, когда нет готовой схемы, всегда ока­зывается делом весьма трудоемким.

При проведении естественных экспериментов не всегда удается создать контрольную группу. Причины могут быть как чисто технического, так и морально-эти­ческого плана. Вспомним опять пример испытания но­вых лекарственных веществ. По схеме эксперимента истинную контрольную группу составили бы больные, не получающие никакого лечения. Понятно, что этот ва­риант неприемлем. В случае отсутствия контрольной группы сравниваются два состояния — до и после вме­шательства. Если наблюдается явное улучшение, то есть основание рассматривать его как следствие проведен­ных мероприятий. Но никогда полностью не исключа­ется влияние посторонних факторов, особенно если учесть, что между исходным и окончательным замером обычно проходит определенное время.

Условия проведения полевого исследования тако­вы, что приходится считаться со многими непредви­денными факторами, нарушающими планы тех, кто его организует. Если реализация программы затягива­ется на довольно длительный срок, то неизбежен отсев участников. Уменьшение выборки само по себе сни­жает надежность получаемых результатов. Но это еще не самое страшное. Часто отсев оказывается не слу­чайным, и это изменяет состав исследуемой группы. Сравнивая исходные и окончательные результаты, мы тогда сравниваем как бы две разные группы. Понятно, что надежность выводов при этом страдает.

По сравнению с лабораторным экспериментом, по­левое исследование обычно сопряжено с более значи­тельными организационными трудностями. И это по­нятно, если учесть, что приходится входить в контакт с самыми разными людьми, объяснять им цели иссле­дования и добиваться их содействия. Еще один отличи­тельный момент всякого прикладного исследования — необходимость внедрять его результаты в практику. А это тоже часто сопряжено с известными трудностя­ми. Во-первых, результаты серьезного исследования не всегда могут быть понятны людям, не знакомым с тонкостями научной работы. Требуются специаль­ные усилия, чтобы донести до них смысл полученных выводов. Во-вторых, выводы могут затрагивать инте­ресы многих людей, так или иначе связанных с данной сферой. Например, вы доказали, что новая программа обучения значительно более эффективна, чем тради­ционная. Какой отсюда следует вывод? Что следует от­казаться от старой программы в пользу новой. Вряд ли подобная перспектива всем понравится. Нужно быть готовым к сопротивлению, к возражениям и отговор­кам. Не так уж редки случаи, когда выводы просто кла­дутся под сукно, так как затрагивают чьи-то политиче­ские интересы.