«Проблема современной системы рейтингов высших учебных заведений».

Источник:

http://www.universityworldnews.com/article.php?story=20130627211805732

Данная статья представляет собой отредактированные выдержки из “введения в заблуждение университетских рейтингах: причины и лечение для расхождения между номинальной и достиг веса”, опубликованной в журнале политики высшего образования и управления.

Недавние исследования в университете методологии ранжирования обнаружила методологические проблемы в самых известных систем настоящего времени. Одна из ключевых проблем состоит в суммировании приоритетных показателей для общей оценки. Используемые в ранжировании веса могут дезинформировать и, следовательно, ввести в заблуждение. Рейтинги университетов существует уже последние десять лет, с момента первого появления в 2003 году в шанхайскго академического рейтинга университетов мира (arwu), последующим Quacquarelli Symonds World University Ranking (QSWUR) и Times Higher Education World University Ranking Беглый серф по интернету покажет четко подавляющее ответы от почти всех уголках мира каждый раз набор рейтинга публикуется. Университеты занимают высокие позиции, славно провозглашают свои победы. Уменьшив охват до регионов, чтобы они могли говорить, что являются лучшими в своем регионе. Те, которые недооцениваются, естественно, молчат, чтобы не привлечь внимание к болезненным фактом. С недавних появлений на 100 под 50 и QS Топ-50 по 50, некоторые разочарованные проигравшие получают второй шанс стать перспективным победителей в своем роде. Вызывающ факт отсутствия какого-либо дискурса о методологии, влияющие на обоснованность ранжирования результатов. В рейтингах результаты принимаются со слепой верой, хотя есть и принципиальные методологические проблемы, в том числе мнимая точность, произвольное взвешивание, смысл всех очков, и расхождение между условным и достигнутым весом. Последний из них является наиболее тревожным. (См. Примечание в конце объяснения номинального и достиг веса.) Когда рейтинговая система присваивает различные веса показателям, то это явно говорит пользователю, что конкретный показатель в х раз важнее другого показателя. Веруя, что в нашем рейтинге, все произведено точно, пользователь предпринимает действия в надежде на достижение высшего рейтинга в следующем раунде. Несоответствия, которые имеют серьезные последствия были обнаружены во всех трех из наиболее широко описанных системах. Например, в шанхайский рейтинг присваивает одинаковые веса для индикатора, второго - сотрудников, и пятого - наук. Но показатель сотрудники почти в два раза важнее показателя наук, с коэффициентом 1.8. Это означает, что университетский администратор поверит, что эти два показателя одинаково важны – когда, на самом деле, индикатор сотрудников является более влиятельным, чем индикатор наук в определении позиции университета в рейтинге таблицы. Другой пример-в рейтинге, когда преподаванию назначают вес в шесть раз больше, чем для международного – когда фактическое соотношение составляет лишь 3,8 раза. Без знания таких скрытых несоответствий, пользователь предполагает, что результаты точные, Сколько времени и средств было потрачено на университеты из-за впечатления, созданные из-за необъективности рейтинга результатов можно только догадываться. Очевидно, это одна из областей исследования, достойна усилий и ресурсов. Релиз в прошлом году 100 рейтинга университетов моложе 50 лет были основаны на тех же данных, как и в 2011-12 годах, с небольшой корректировки репутацию. Хотя преподавание, исследования, цитаты и имеют одинаковую номинальную веса на 30% у каждого (т. е. 1:1:1) в рейтингах, обучения и исследований имеют соотношение 0.9, но преподавание и исследования с цитатами имеют коэффициенты от 0,5 и 0,6 соответственно. Эти цитаты указывают на то, что имеет примерно в два раза больше влияния на общий результат в качестве преподавания и исследований.

Переоценка, которую я выполнил для 100 "молодых" университетов, шесть университетов не изменили своих позиций, 33 университета заработали от одной до пяти позиций и 15 университета поднялись на шесть позиций или больше. С другой стороны, 25 вузов потеряли от одной до пяти позиций и 21 снизились на шесть или более позиций.

Вопрос: куда мы идем отсюда? Некоторые могут увидеть необходимость стандартизации как незначительной технической (статистической). Ряд концептуальных и методологических вопросов были выявлены в последние годы и они заслуживают внимательного исследования с целью совершенствования систем. С помощью тех же концептуальных основ и методологии, специфические проблемы, неизбежно увековечиваются и пользователи всегда будут дезинформированы и введены в заблуждение. Чтобы двигаться вперед, рейтинг вузов должен быть поднят до уровня более строгих научных исследований и не должны оставаться на уровне социальных обследований.

Возможно, придется рассмотреть возможное сотрудничество вместо того, чтобы работать отдельно с вежливым, но все таки конкурентом. Возможно, даже необходимо работать совместно в направлении единой системы, которая должна заменить в настоящее время конкурирующие системы.

Примечание: проблемы возникают тогда, когда индикатор баллов имеют различные среды (т. е. разные метрики). В данном случае, разница между самой высокой и самой низкой оценкой по одному показателю может быть очень уж большой (или маленькой).

Иными словами, индикатор баллов на самом деле может приносить гораздо больше пользы (или меньше), чем предполагалось в общий результат из-за разницы единиц измерения. Чтобы предотвратить это и не вводить в заблуждение читателей, баллы должны быть преобразованы в один и тот же показатель до взвешивания и суммирования; это явно не было сделано для этих рейтингов.

Вывод: Оценка эффективности вузов сложна задача, требующая комплексного подхода, а также знания как собиралась данные. Строить модель нужно только после того, как мы четко определили цель этой модели. Будь то оценка эффективности для отчета государству или оценка эффективности для построения рейтинга вузов. Эта задача имеет много специфических проблем, для решения, которых необходимо обратится к мировому опыту.