Гос.политика и администрирование / 02.Учебники РФ / Якунин В.Качество и успешность гос.управления

Достаточно очевидно, что большая часть индексов той или иной успешности все-таки приводятся к одному ценностному знаменателю: успешность по западному образцу. Это может расцениваться как инструмент политического манипулирования и давления, один из инструментов всемирной информационно-психологической войны.

Математический аппарат расчета международных индексов

Выше была проанализирована структурно-методологическая сторона расчета международных индексов успешности. Речь шла главным образом о качественных показателях, связанных с ценностным выбором разработчиков соответствующих проектов и привлекаемых экспертов. Далее будет рассмотрен используемый при расчетах индексов математический инструментарий. Проиллюстрируем его применение на ряде примеров наиболее известных оценочных систем.

Интегральные показатели государственного управления (WGI)69

Интегральные показатели государственного управления разрабатываются Всемирным банком с 1996 г. Выделяют шесть агрегированных показателей, каждый из которых отражает определенный аспект государственного управления.

При вычислении показателей используются данные по восприятию качества государственного управления, полученные из опросов фирм, населения, а также данные коммерческих агентств, оценки рисков неправительственных и международных организаций. В 2008 г. для анализа использовались более 400 отдельных переменных из 35 различных источников, предоставляемых 33 организациями.

Методология агрегирования

Статистический подход, используемый для вычисления интегральных показателей, предполагает, что каждая отдельная переменная представляет собой несовершенный, зашумленный сигнал одного из шести основных показателей, которые нельзя наблюдать непосредственно. Чем

69 Kaufmann D., Kraay A., Mastruzzi M. Policy Research Working Paper 4978, «Governance Matters VIII Aggregate and Individual Governance Indicators 1996–2008». 2009.

91

больше имеется отдельных переменных, относящихся к определенному интегральному показателю, тем точнее можно будет определить его значения. Задача, таким образом, ставится как выделение истинного сигнала (интегрального показателя) из множества зашумленных измерений. Данный подход реализуется с помощью статистической модели с ненаблюдаемыми компонентами. Помимо оценки агрегированных индикаторов данный метод также позволяет указать точность оценки (доверительный интервал). Основное предположение модели состоит в том, что наблюдаемая корреляция между двумя различными переменными, измеряющими тем или иным способом, например, уровень коррупции, связана с общим для них, но ненаблюдаемым сигналом коррупции. Отсюда следует, что источники данных, которые более скоррелированы между собой, дают более надежную информацию и получают при агрегировании больший вес.

В модели с ненаблюдаемыми компонентами предполагается, что сигнал yjk наблюдаемого индикатора k (k = 1 … K) в стране j выражается через ненаблюдаемый показатель качества государственного управления gj следующим образом:

где αk и βk — неизвестные параметры, отображающие влияние ненаблюдаемого показателя на наблюдаемую величину yjk, а εjk — ошибка, имеющая нормальное распределение со средним значением 0 и стандартным отклонением σk.

Среднее значение и дисперсия агрегированного показателя вычисляются по формулам (2) и (3), где веса wk выражаются по формуле (4).

Оценки параметров αk, βk и σk проводятся методом максимального правдоподобия с использованием имеющихся данных по всем переменным. Причем переменные подразделяются на репрезентативные (те,

92

вкоторых учтено достаточное количество стран, чтобы считать распределение качества государственного управления таким же, как в мире) и нерепрезентативные, т. е. такие, которые показывают распределение качества государственного управления только по некоторым группам стран (например, только развитые или только развивающиеся, или только страны Латинской Америки). Репрезентативные и нерепрезентативные индикаторы обрабатываются разными способами.

Полученные оценки агрегированного показателя качества государственного управления затем масштабируют так, чтобы среднее по всем странам значение было равно нулю, а стандартное отклонение — единице. Вследствие этого, агрегированные показатели не отражают мировых трендов изменений качества государственного управления, хотя, по сообщениям авторов индексов, эти тренды отсутствуют. В отсутствие глобальных трендов изменение относительного положения страны в рейтинге по соответствующему агрегированному показателю показывает изменение в абсолютном качестве этого показателя в стране.

Интегральные показатели государственного управления получили широкое распространение и используются бизнес-сообществом для принятия инвестиционных решений, международными организациями — для распределения финансовой помощи развивающимся странам, а также в академических исследованиях. Однако эти индексы имеют ряд существенных недостатков, о которых пользователи часто не задумываются70.

Во-первых, это непрозрачность индексов. Для построения индекса используются данные многочисленных и разнообразных источников, многие из которых сами являются композитными индикаторами. Значительная часть источников не находится в открытом доступе, что приводит к невоспроизводимости расчетов индексов. По словам авторов индексов, агрегирование информации из большого количества источников позволяет избежать систематических ошибок и пристрастности

воценке стран. Однако отбор конкретных переменных из источников и их интерпретация осуществляются без опоры на четко обозначенную теорию качества государственного управления, на явно выраженные нормы, отличающие «хорошее» государственное управление от «плохого». Пользователи индексов часто не вникают, какие именно переменные из взятых источников входят в расчеты, поэтому авторы индексов неявно навязывают свои взгляды на государственное управление, с которыми пользователи могут быть и не согласны.

70 Arndt C. The politics of governance ratings // International Public Management Journal, 2008, V. 11, № 3. Pp. 275–297.

93

Методика вычисления индексов WGI делает их несопоставимыми во времени. Причиной изменения индекса конкретной страны, помимо действительного изменения качества государственного управления, могут быть:

−изменение в восприятии качества государственного управления различными источниками;

−изменение индексов WGI у других стран;

−изменение численности и состава источников, используемых для вычисления индекса в данной стране.

Свертывание большого объема информации о качестве государственного управления в один количественный индикатор не позволяет выяснить конкретные причины получения страной той или иной оценки, определить проблемы и препятствия на пути повышения этого качества.

Индексы WGI полезны как резюме экспертных мнений, помогающее получить первое представление о стране. Однако перечисленные выше проблемы снижают ценность индексов WGI для определения качества государственного управления в стране, а также не позволяют использовать их для измерения последствий предпринятых мер в сфере государственного управления.

Индекс восприятия коррупции (Corruption Perception Index, Transparency International)71

Источники данных

Индекс восприятия коррупции (ИВК) — агрегированный показатель, источником исходных данных для которого служат измерения уровня восприятия коррупции в различных странах. В 2009 г. ИВК вычислен для 180 стран. Использованы материалы 13 исследований, выполненных 10 организациями. В итоговый индекс включались только те страны, информация о которых доступна как минимум в трех исследованиях.

Источники данных подразделяются на два типа. Первый представляет собой опросы предпринимателей, а второй — оценку коррупции в стране группой экспертов-аналитиков. В 2009 г. 6 из 13 источников принадлежали к первому типу и 7 — ко второму. Из источников-опро- сов для вычисления ИВК берутся усредненные данные за последние два года. В случае экспертных оценок — только последний год.

71 «Transparency International Corruption Perceptions Index 2009», Methodological Brief.

94

Вычисление ИВК

Индекс восприятия коррупции лежит в пределах от 0 до 10, где 10 означает наименьший уровень коррупции, 0 — наивысший. Вычисление ИВК происходит в несколько шагов. На первом шаге для каждой страны проводится усреднение данных по каждому источнику в случае, если релевантных вопросов в исследовании несколько.

На втором шаге данные стандартизируются и приводятся к единой шкале. Для приведения данных к общей шкале применяют метод совпадающих процентилей. В этом методе используются не сами значения оценок коррупции по данным источника, а только ранги стран, т. е. их порядковые номера в списке, выстроенном по возрастанию уровня восприятия коррупции согласно источнику.

Метод действует следующим образом.

1.Выбирают мастер-список, на основе которого странам будут присвоены стандартизованные баллы. В 2009 г. в качестве мастер-списка использовали ИВК 2008.

2.Выбирают страны, которые присутствуют одновременно в мастерсписке и в источнике.

3.Ранжируют выбранные страны согласно их баллам в источнике, начиная со страны с наименьшим уровнем восприятия коррупции и заканчивая наибольшим. Сохраняют информацию о странах и их рангах

висточнике.

4.Сортируют оценки стран в мастер-списке от наименьшего к наибольшему уровню восприятия коррупции и проставляют ранги стран. Сохраняют информацию о рангах и соответствующих им баллах в ма- стер-списке (информация о странах из мастер-списка далее не используется).

5.Каждой стране, имеющей определенный ранг в источнике, присваивается столько баллов, сколько этому рангу соответствует в мастерсписке.

После этого проводится преобразование сопоставленных баллов, которое компенсирует уменьшение стандартного отклонения в наборе данных, возникающее в результате применения метода совпадающих процентилей.

После второго шага по каждому источнику имеются стандартизованные оценки, выраженные, как и ИВК, в шкале от 0 до 10. Итоговое значение ИВК по стране получают простым усреднением преобразованных данных из всех источников.

Доверительные интервалы вычисляются бутстреп-методом, вследствие чего точность индекса несколько переоценивается, т. е. реально доверительные интервалы шире, чем приведенные.

95

Следует отметить, что метод вычисления индекса восприятия коррупции не предполагает хронологической сопоставимости результатов для отдельной страны. Несопоставимость усугубляется также частыми изменениями в методологии как отдельных исследований, служащих исходными данными, так и самого индекса. Тем не менее, в СМИ изменение этого индекса часто трактуют как улучшение или ухудшение ситуации с коррупцией в стране.

Вторая проблема с индексами восприятия коррупции заключается в использующихся наборах исходных данных. В методологии вычисления индексов явно или неявно предполагается независимость отдельных источников исходных данных, тогда как на мнения экспертов и других респондентов во многом оказывают влияние одни и те же факторы (например, значения того же самого индекса восприятия коррупции за прошлые годы). Широко известный индекс может в этом смысле отчасти «формировать сам себя».

Третья проблема с индексами коррупции состоит в том, что нет четкого определения измеряемой величины. Агрегированные индикаторы опираются на данные отдельных исследований, каждое из которых измеряет какие-то отдельные аспекты коррупции (на бытовом или на высоком государственном уровне, с точки зрения населения, бизнеса или экспертов и т. д.). Усреднение таких данных, которое тем или иным способом провоизводится при вычислении индексов, приводит к «размыванию» самого понятия коррупции, когда невозможно определить, за счет чего страна получила конкретную оценку. Все эти проблемы затрудняют использование подобных индексов в практике государственного управления. Значение агрегированного индекса дает мало информации о реальной ситуации, а несопоставимость индекса во времени делает его бесполезным для анализа действенности предпринятых антикоррупционных мер.

Индекс глобальной конкурентоспособности (ВЭФ)72

Источники данных

Для расчета индекса в 2009 г. учитывались значения 111 переменных, 34 из которых представляют собой статистические данные из мировых источников, а 77 — результаты экспертного опроса.

Масштабирование данных

Индекс глобальной конкурентоспособности измеряется по шкале от 1 до 7, где 7 отвечает максимальной конкурентоспособности, 1 —

72 The Global Competitiveness Report 2009–2010. 2009 World Economic Forum.

96

минимальной. Значение индекса получают методом последовательного агрегирования значений отдельных индикаторов, входящих в индекс. При этом индикаторы, взятые из статистических источников, перед агрегированием приводятся к шкале от 1 до 7 таким образом, что страна с максимальным значением показателя получает 7, с минимальным 1, а промежуточные значения определяются линейной интерполяцией. В случае неблагоприятных факторов (например, детская смертность или государственный долг) 7 соответствует минимальному значению, а 1 — максимальному. Исключение составляет такой индикатор, как инфляция: за значения инфляции в интервале 0,5–2,9% страна получает 7 баллов, а при бóльших или меньших значениях количество баллов линейно убывает. При расчете влияния фактора заболеваний (малярии, туберкулеза, ВИЧ) комбинируются статистические данные по заболеваемости и ответы экспертов о воспринимаемой стоимости для бизнеса.

Агрегирование данных

Все переменные разделены на три большие группы, относительные веса которых зависят от стадии развития страны, определяемой по уровню ВВП на душу населения по паритету покупательной способности. Предполагается, что для развитых стран большее значение приобретает инновационный потенциал, а для бедных стран важнее работать над инфраструктурой и макроэкономической стабильностью. Три группы делятся далее на 12 «колонн», каждая из которых состоит из разделов, включающих отдельные переменные. Таким образом, индекс глобальной конкурентоспособности представляет собой взвешенную сумму значений отдельных индикаторов.

Мировая конкурентоспособность (рейтинг IMD)73

Источники данных

Как и индекс глобальной конкурентоспособности ВЭФ, рейтинг Международного института менеджмента и развития представляет собой сводный показатель, вычисленный на основе нескольких сотен отдельных индикаторов. В 2009 г. для расчета были использованы 329 индикаторов, из которых 84 представляли собой вводную информацию о стране, а 245 вошли в вычисление итогового рейтинга. Из 245 критериев 135 представляли собой статистические данные, а 110 — результаты экспертного опроса. Исследование было проведено для 57 стран мира.

73 “IMD World Competitiveness Yearbook 2009”.

97

Масштабирование данных

В рейтинге IMD каждый индикатор подвергается предварительному масштабированию. Для этого вычисляется среднее значение и стандартное отклонение каждого индикатора по всему ансамблю стран, после чего каждый индикатор xi представляется в стандартизованном виде Si:

То есть среднемировому значению соответствует стандартизованное значение 0, а измеряется каждый индикатор в единицах своего стандартного отклонения. В случае отсутствия данных по некоторому индикатору в стране стандартизованное значение принимается равным 0, т. е. фактически заменяется среднемировым. Авторы методики не уточняют, как проводится обработка «выпадающих» экстремальных значений индикаторов, которые при таком подходе могут внести существенные искажения в результаты.

Агрегирование данных

IMD выделяет четыре фактора конкурентоспособности (экономическая деятельность, эффективность государства, эффективность бизнеса, инфраструктура), каждый из которых в свою очередь разбивается на пять подфакторов. Каждый из двадцати подфакторов вносит в итоговый индикатор равный вклад в 5%. Для вычисления значений каждого подфактора усредняются относящиеся к нему индикаторы; причем индикаторы, полученные из статистических данных, имеют вес, равный 1, а вес индикаторов результатов опросов подбирается таким образом, чтобы в значение итогового рейтинга эти индикаторы внесли вклад в одну треть. В 2009 г. вес опросных индикаторов был равен 0,55.

Для рейтингов IMD и ВЭФ характерны схожие проблемы — недостаток обоснования выбора факторов и произвольное назначение весов74. Выбор факторов и весов проведен субъективно и не обоснован эконометрическими моделями. Отсутствует разработанная теория, на которой могли бы основываться веса индикаторов. Вследствие этого используют равные веса факторов или назначают их из субъективных соображений. От значений весов факторов результаты страны зависят тем сильнее, чем более поляризованы ее оценки по отдельным факто-

74 Ochel W., Röhn O. Ranking of countries — the WEF, IMD, Fraser and Heritage Indices // CESifo DICE Report 2/2006.

98

рам, т. е. если присутствуют одновременно высокие оценки по одним факторам и низкие по другим.

Использование равных весов вместе с линейным суммированием предполагает, что все факторы идеально взаимозаменяемы — снижение оценки на один пункт в одном индикаторе компенсируется увеличением на один пункт в другом. Индексы конкурентоспособности предполагают, что экономическое развитие подчиняется одинаковым законам во всех странах и регионах (хотя в индексе ВЭФ и сделано различие между стадиями развития стран по уровню ВВП по ППС на душу населения). Географическое положение страны, ее культурные и исторические особенности не принимаются во внимание.

Оба индекса конкурентоспособности широко используют информацию, полученную в результате экспертных опросов. Опросы могут дать информацию по сложно измеримым понятиям при условии качественно составленной анкеты и привлечения компетентных экспертов. Опросы для индексов конкурентоспособности сосредоточены на представителях бизнеса и не охватывают других важных акторов (политиков, ученых и т. д.). Кроме того, эксперты отвечают на вопросы, исходя из обстановки в своей стране, и могут не учитывать или не знать ее относительное положение среди других стран. Каждый эксперт подходит

коценке страны, опираясь на свои стандарты, и от страны к стране эти стандарты могут существенно отличаться, что дает искажения в рейтинге стран.

Кряду проблем может приводить линейное преобразование данных

кединой шкале, если среди значений индикаторов имеются экстремальные значения, которые существенно больше или меньше, чем у основной массы стран. В этом случае происходит «сжатие» шкалы, и небольшие, но важные различия внутри основной группы стран игнорируются. Эта проблема сильнее выражена в индексе конкурентоспособности ВЭФ, но характерна и для индекса IMD. Связь между индексами конкурентоспособности и экономическим ростом проверялась в ряде работ75 и была признана очень слабой. Примеры такого рода связи представлены на рис. 2.29–2.30, на которых показаны рейтинг страны по двум индексам в 2001 г. и средние темпы экономического роста за последующие пять лет. Как видно из рисунков, индексы конкурентоспособности обладают крайне слабой способностью предсказывать будущий экономический рост.

75 Ochel W., Röhn O. Ranking of countries — the WEF, IMD, Fraser and Heritage Indices // CESifo DICE Report 2/2006; Vartia P., Nikinmaa T. What do competitiveness comparisons tell us? // The Finnish Economy and Society, 2004, V. 4. Pp. 74–79.

99

Рис. 2.30. Рейтинг страны по индексу конкурентоспособности IMD в 2001 г.78 и средние темпы роста объема ВВП на душу населения в 2002–2006 гг.

76JW McArthur, JD Sachs — The global competitiveness report, 2001.

77GDP: GDP per capita, annual growth rate. Development Data Group, The World Bank,

2008. <http://earthtrends.wri.org/text/economics-business/variable-641.html>. 78 JW. McArthur, JD. Sachs — The global competitiveness report, 2001.

100