1.3. Критерії та індикатори оцінювання рейтингів внЗів

Згідно з принципами Шанхайського рейтингу, рейтинг університетів світового рівня розраховується за такими критеріями:

1) якість освіти (10,0 %), що визначається кількістю випускників університету, які здобули Нобелівську премію, або особливі відзнаки у своїх галузях (зокрема медалі Всесвітньої спілки математиків)²²;

2) рівень викладачів (40,0 %), що розраховується у двох субкатегоріях: а) кількість викладачів — лауреатів Нобелівської премії і спеціальних відзнак у своїх галузях — 20,0 %;

3) частота цитування праць викладачів у 21 предметній категорії за версією ISI Highly Cited —20,0%²³;

4) результативність наукових досліджень (40,0 %), що визначається з огляду на кількість публікацій у провідних академічних журналах світу;

5) своєрідна «академічна щільність» університету (10,0 %), коли результати, набуті за першими трьома критеріями, діляться на кількість постійних викладачів університету.

При укладанні рейтингу (рейтинг Таймс або THES – QS World University Rankings) британські дослідники спираються на наступні критерії:

1) імідж в академічному середовищі, тобто, оцінка університету з боку науковців, викладачів та представників адміністрації інших навчальних закладів – 40,0 %;

2) оцінка якості освіти випускників роботодавцями – 10,0 %;

3) індекс цитування наукових праць співробітників – 20,0 %;

4) частка іноземних студентів – 5,0 %;

5) частка іноземних викладачів – 5,0 %;

6) співвідношення кількості студентів до кількості викладачів – 20,0 %.

Укладачі рейтингу Таймс визнають, що університетське життя не зводиться до зазначених критеріїв і пропонують перелік індикаторів, які варто залучити до процесу рейтингування в майбутньому. Найбільш виправдані серед цих потенційних індикаторів є, на наш погляд, наступні: середній рівень цін за навчання; річний обсяг поповнення бібліотечних фондів; якість університетського веб-сайта; базові вимоги до абітурієнтів, які вступають до університету; відсоток реального працевлаштування (та перебування на посаді не менш 3 років) за фахом серед випускників; перелік запропонованих навчальних курсів (за даними упорядників рейтингу, сучасні університети в цілому пропонують студентам близько 65 тис. курсів); наявність програм отримання стипендій для навчання.

Новий рейтинг Таймс буде розраховуватися на основі 13 окремих індикаторів (в подальшому можливе збільшення індикаторів до 16).

Ці індикатори формують 4 основні критерії або ж комплексні індикатори. Найбільш вагомим серед критеріїв є оцінка науково-дослідницької діяльності університету (55,0 %), яка складається, в свою чергу, з 5 індикаторів:

● кількість наукових публікацій в розрахунку на одного співробітника;

● індекс цитування робіт співробітників;

● розмір прибутку від науково-дослідної діяльності в перерахунку на одного наукового співробітника;

● розмір фондів, додатково залучених для дослідницької діяльності від громадських організацій та реального сектору економіки;

● репутація університету як науково-дослідної установи за підсумками опитування представників академічної спільноти.

Другим за вагою критерієм є оцінка інституційних характеристик університету (25,0 %). Вона складається з наступних індикаторів:

1) кількість студентів в перерахунку на одного викладача;

2) співвідношення випускників з докторським ступенем (PhD) і випускників з іншими ступенями;

3) оцінка якості викладання в університеті з боку академічної спільноти;

4) розмір прибутку університету в перерахунку на одного співробітника.

Третій критерій, який оцінює економічну та інноваційну активність університету (10,0 %) в цьому році складається з одного індикатора – прибуток, отриманий від науково-дослідницької діяльності від реального сектору економіки в перерахунку на одного наукового співробітника. У подальшому до цього критерію планується додати оцінку кількості робіт, надрукованих спільно з партнерами, які представляють реальний сектор економіки, а також оцінку випускників університету з боку роботодавців. І, нарешті, четвертий критерій оцінює рівень інтернаціоналізації університету (10,0 %) і складається з двох індикаторів:

1) співвідношення іноземних та вітчизняних студентів ;

2) співвідношення іноземних та вітчизняних викладачів.

Слід зазначити, що загальна кількість індикаторів у новій методології зросла із шести (у методології THE-QS) до 13. На жаль, поки що не вказано «вагу» кожного конкретного індикатора, але можна констатувати тенденцію до збільшення значення фінансової діяльності університету як критерію його ефективності. У цілому ж, на думку авторів, використання саме комплексних критеріїв поліпшить якість рейтингу і зробить його більш об’єктивним.

Рейтинг Вебометрикс підраховується у відповідності з наступними індикаторами:

1) кількість надрукованих Інтернет-сторінок – 25,0 %;

2) кількість виставлених файлів в форматі .pdf, .ps, .doc та .pps - 12,5 %;

3) кількість статей, які знаходяться в Академічній базі даних Гугл (Google Scholar Database) – 12,5 %;

4) загальна кількість зовнішніх посилань – 50,0 %.

Останнім часом інтенсивно розроблюється європейський рейтинг світових університетів U-Multirank, який уже найближчим часом буде апробовано в пілотному режимі. Його появі передувала розробка системи класифікації вищих навчальних закладів, U-map, що дає можливість порівнювати справді порівнянні університети. Таким чином, Європа зробила те, що США мають уже понад 35 років. Відповідно до цієї класифікації, кожен тип закладів матиме свій рейтинг, і упорядники не будуть, образно кажучи, порівнювати "зелене з холодним". Цей рейтинг оцінюватиме університетську діяльність за п’ятьома основними напрямками:

1) викладання і навчання (чотири індикатори);

2) дослідницька активність (дев’ять індикаторів);

3) передавання знань (вісім індикаторів );

4) інтернаціоналізація (шість індикаторів);

5) регіональна включеність (п’ять індикаторів).

Базові методологічні принципи цього рейтингу передбачають, що його результати не будуть підсумовуватися у загальний бал. Також не буде фіксованої "ваги" для окремих індикаторів, і, відповідно, рейтинги будуть інтерактивними, або ж користувальними. Результатами рейтингу стане не таблиця університетів із чітко визначеними місцями, а групи інститутів з більш-менш подібними показниками. Передбачається, що в пілотній стадії проекту братимуть участь 150 освітніх закладів, розподілених на дві основні групи:

● інтернаціонально орієнтовані дослідні університети, в яких магістри та аспіранти становлять не менше 30,0 % від загальної кількості студентів, іноземні студенти — не менше 10,0 %, а за бібліометричними показниками ці університети входять до числа п’ятисот найкращих у світі;

● регіонально орієнтовані університети, більшість студентів яких (понад 70,0 %) навчаються на рівні бакалаврату, а сам навчальний заклад орієнтований на задоволення потреб цього регіону.

У рамках створення теоретико-методологічного поля складання університетських рейтингів, формування наукового підґрунтя та певної уніфікації цього процесу в 2009 році Інститутом вищої освіти Академії педагогічних наук України було розроблено і схвалено концепцію формування університетських рейтингів, в якій зроблено спробу синтезувати існуючі в провідних світових та національних рейтингах критерії та індикатори з метою оптимізації розробки університетських рейтингів в Україні. При розробці концепції використовувався як світовий досвід в певній галузі, так і вітчизняні напрацювання. У результаті, було запропоновано базову тріаду критеріїв:

1) якість викладання;

2) якість наукових досліджень;

3) імідж університету серед основних цільових аудиторій.

Ця методологія фіксує принципові підходи до оцінки стану університетської освіти. Вибір таких критеріїв обумовлений:

1) присутністю цих фундаментальних підходів в міжнародних університетських рейтингах та найбільш авторитетних національних рейтингах західних країн;

2) специфікою сучасного розуміння університету як інноваційного центру продукування нових знань та технологій та, відповідно, адекватним баченням його місця та ролі в майбутньому (тобто, рейтинг стимулює трансформаційні процеси в університетському середовищі у відповідності з вимогами сучасності та задає для них відповідні орієнтири);

3) необхідністю подальшої інтеграції української університетської освіти до європейського та світового освітнього простору та потребою у визначенні сильних та слабких сторін вітчизняних університетів з метою підвищення їх конкурентоспроможності.

При оцінці якості навчання логічно звернути увагу на наступні індикатори:

● Якість викладацького складу. Ураховуючи надто високі вимоги міжнародних рейтингів до цього індикатора (так, Шанхайський рейтинг спирається на кількість викладачів, які отримали Нобелівську або Філдсівську премію), доцільно оцінювати через відсоток професорів, доцентів, докторів та кандидатів наук серед штатних співробітників (як це робиться у рейтингу Міністерства освіти, науки молоді та спорту України та рейтингу «ТОП-200 Україна»);

● Співвідношення викладачів та студентів. Усвідомлюючи відсутність єдиної когнітивної парадигми в умовах сучасності та домінування індивідуального, орієнтованого на студента підходу (“student oriented approach”), цей показник фіксує кількісний еквівалент можливості індивідуальної праці викладача з кожним студентом. Саме цей індикатор визначає якість викладання рейтингу світових університетів «Таймс» («The Times Higher Education – QS World University Rating») та використовується в національних рейтингах US News and World Report та Times.

● Рівень інтернаціоналізації університету. В умовах глобалізації та активного формування європейського та світового освітнього простору якість міжнародних зв’язків університету, його інтегрованість в світові освітні процеси та рівень академічної мобільності серед викладачів та студентів значною мірою визначають здатність бути конкурентоспроможною освітньою інституцією. Доцільно розраховувати цей індикатор через частку іноземних викладачів та іноземних студентів, як робиться в рейтингу світових університетів «Таймс» та, частково, в вітчизняному рейтингу «ТОП-200 Україна»(в якому враховується лише відсоток іноземних студентів).

● Рівень інформаційно-технологічного забезпечення процесу навчання. Враховуючи роль університету як інноваційного майданчика та місця створення і апробації новітніх знань та технологій, рівень техніко-технологічного забезпечення процесу навчання стає визначальним. В умовах, коли мережа Інтернет стає провідним інформаційним ресурсом, віртуальна присутність університету в цій мережі та наявність якісних онлайн-ресурсів є показником адекватності певної освітньої установи вимогам сучасності. Тому для розрахунку цього індикатора пропонується оцінювати кількість сторінок, які видають на пошуковий запит чотири пошукові системи: Google, Yahoo, Yandex та Мета. Цей індикатор використовується в рейтингу Інтернет присутності світових університетів Вебометрикс (Webometrics), який використовує лише західні пошукові системи, які ми вважаємо за доцільне частково замінити на вітчизняну (Мета) та російську (Yandex).

Аналізуючи якість наукових досліджень, слід ураховувати наступні індикатори:

а) Кількість свідоцтв про відкриття та патентів на винаходи, отримані викладачами та студентами. Цей індикатор має абсолютний вимір та використовується в Новому глобальному рейтингу світових університетів, розрахованому російською агенцією РейтОР в 2009 році. Відповідні дані фіксують стан реальної наукової роботи в освітньому закладі;

б) Кількість наукових статей співробітників, надрукованих в провідних фахових виданнях. Цей індикатор використовується у Шанхайському рейтингу як критерій ефективності наукової роботи (підраховуються лише статті, надруковані в журналах Nature та Science) та в Новому глобальному рейтингу світових університетів (які використовують загальну кількість публікацій професорсько-викладацького складу протягом навчального року);

в) Індекс цитування праць викладачів. Традиційний для світових університетських рейтингів індикатор. Використовується як в рейтингу світових університетів «Таймс» (який спирається в даному випадку на базу анотацій та цитувань дослідницької літератури Scopus), так і в Шанхайському рейтингу (використовує індекс цитування наукових робіт викладачів за версією ISI Highly Cited). Можливим є об’єднання кількості наукових статей та індексу цитування праць в єдиний індикатор, використовуючи запропонований в 2005 році індекс Хірша (h-index);

г) Розмір грантових коштів, залучених на наукові дослідження, у розрахунку на одного співробітника. Цей індикатор відображає фандрайзинговий потенціал освітнього закладу та рівень його привабливості для споживачів наукової продукції.

Оцінка іміджу університету серед основних цільових аудиторій повинна враховувати наступні індикатори:

● Оцінка роботодавцями конкурентноздатності випускників на ринку праці. Цей індикатор використовується у рейтингу світових університетів «Таймс», а також у вітчизняних університетських рейтингах «Софія Київська» і «Компас» та дозволяє визначити відношення до відповідного освітнього продукту його головних споживачів.

● Оцінка університету студентами та випускниками. Цей індикатор дозволяє оцінити відношення студентів та випускників до власного навчального закладу, ступінь їх задоволення отриманими там знаннями, уявлення про корисність та прагматичну, прикладну спрямованість процесу навчання. Використовується в британському національному рейтингу Times та вітчизняному рейтингу «Компас».

● Оцінка університету експертами в освітній галузі. Дозволяє оцінити репутацію навчального закладу серед колег. Використовується в національному рейтингу US News and World Report (як оцінка репутації серед керівників інших навчальних закладів) та рейтингу світових університетів «Таймс» (опитування експертів у п’яти основних категоріях: мистецтво і гуманітарні дисципліни, інженерні дисципліни, біологічні та медичні науки, природничі науки, соціальні науки).

Рейтинг українських ВНЗів «Компас» 2010 р. спирається на наступні критерії:

– Задоволеність випускників ВНЗів отриманою ними освітою, і можливістю застосування її в трудовій діяльності (КР1). Думка молодих фахівців (випускників ВНЗів за останні 5 років) стосовно можливостей отримати випитану освіту у ВНЗі, де вони проходили навчання. Включає такі аспекти, як оцінка випускниками практичної значимості навчання, задоволеність сприянням ВНЗа працевлаштуванню випускників, досвід трудової діяльності випускників, задоволеність власним ВНЗом, і визначення випускниками ВНЗів, які дають найкращу підготовку в цілому. Вага в загальному рейтингу = 0,10.

– Сприйняття роботодавцями якості освіти в українських ВНЗах (КР2). Визначення роботодавцями українських ВНЗів, які дають випускникам найкращу підготовку для роботи в їхній компанії. Вага в загальному рейтингу = 0,31.

– Сприйняття експертами якості освіти в українських ВНЗах (КР3). Визначення компаніями-експертами українських ВНЗів, які дають найкращу підготовку для роботи в їхній компанії. Вага в загальному рейтингу = 0,29.

– Співпраця між ВНЗами і компаніями-роботодавцями (КР4). Кількість компаній-роботодавців і експертів, які співпрацюють із ВНЗами. Вага в загальному рейтингу = 0,30.

При цьому рейтинг ВНЗів за підготовкою фахівців окремих фахів ґрунтується на таких критеріях:

– Думка випускників. Критерій розраховується на основі відповідей випускників на питання анкети "Які ВНЗи України готують кращих фахівців з Вашої спеціальності (фаху)?". Під час опитування випускники могли назвати до дев’яти ВНЗів, які, на їхню думку, дають найкращу підготовку за їхнім фахом: три найкращі (перше місце), і по три на другому і третьому місцях. За кожну згадку на першому місці ВНЗ отримував 3 бали, на другому – 2 бали, на третьому – 1 бал. За кожним напрямком підготовки для кожного ВНЗа в рейтингу розраховувалася сума балів; для порівнюваності результатів, отримані суми балів нормувалися як відсоток від найбільшого значення. 

– Думка роботодавців: Критерій розраховувався на основі відповідей роботодавців на питання анкети "Уявіть, що Ви набираєте на роботу фахівців (назва напрямку). Скажіть, будь ласка, випускникам яких ВНЗів Ви віддали б перевагу в першу чергу, в 2-гу, в 3-тю? (не більше 3-х ВНЗів для кожного вибору)". Подальша процедура розрахунку – аналогічна до розрахунку балу за відповідями випускників.

– Думка експертів. Розраховувався на основі відповідей експертів на питання анкети, аналогічно до опитування роботодавців. 

Загальна процедура підрахунку рейтингу за фахами аналогічна до процедури підрахунку загального рейтингу. Але оскільки оцінки випускників, роботодавців і експертів виявилися однаковою мірою взаємопов’язаними, "вага" для цих трьох компонентів у спеціалізованому рейтингу не розраховувалася.