4. Рефлексивний етап

4.1. Контроль якості системи рейтингового оцінювання здійснюється впродовж рефлексивного етапу, результатом якого є оцінка якості реалізованої системи рейтингового оцінювання, визначення необхідності та доцільності її подальшого корегування в контексті забезпечення досконалості та довіри до результатів рейтингу вищих навчальних закладів з боку користувачів

4.2.Для досягнення кінцевої мети ранжування – побудови об’єктивної системи рейтингового оцінювання – замало формального запровадження її принципів. Застосовуються прозорі та зрозумілі методології та технології. Обов’язковою вважається наявність внутрішніх та зовнішніх державних і громадських систем контролю за достовірністю, об’єктивністю та точністю оцінювання результатів діяльності, що буде адекватно віддзеркалювати досягнутий рівень якості вищої освіти, який надається вищим навчальним закладом.

Методика контролю якості передбачає застосування процедур щодо забезпечення якості самого процесу ранжування та підвищення довіри до результатів ранжування. Ці процедури базуються на контролі якості первинної інформаційної бази, яку подають суб’єкти ранжування. Це можливо досягти у разі дотримання суб’єктами ранжування рекомендацій групи супроводу щодо формування звітних даних.

Компетентність та відповідальність груп супроводу, на які покладено відповідальність за якість формування складових первинної інформаційної бази у вищих навчальних закладах, є визначальними в структурі чинників впливу на якість результатів рейтингу.

Причини неякісної первинної інформаційної бази ранжування вищих навчальних закладів породжують певні конфліктні ситуації, а саме: змагальні (синергетичні) та антагоністичні. Антагоністичні ситуації є негативними, знижую довіру користувачів до результатів рейтингу та не дозволяють робити висновки відносно валідності та релевантності первинної інформаційної бази ідентифікованих груп без методики їх оцінювання, яка базується на порівнянні та співставленні впливу артефактів на системному рівні.

Методика контролю якості системи рейтингового оцінювання базується на результатах аналізу реальних параметрів та критеріїв рейтингу в послідовності за такими етапами.

Перший етап. Здійснюється контроль валідності, який базується на проведенні статистичного аналізу масиву певних параметрів і передбачає обчислення числових характеристик розподілу: максимальний та мінімальний вимір, математичне сподівання, мода, медіана, дисперсія, стандарт відхилення, коефіцієнт асиметрії, ексцес.

Підтверджується або спростовується гіпотеза щодо принципу незалежності тематичних напрямів (профілів), які формують змістовну структуру на підставі визначення та аналізу попарних коефіцієнтів кореляції індексів тематичних напрямів (профілів).

Підтверджується або спростовується гіпотеза щодо принципу однорідності та рівноточності. тематичних напрямів (профілів).

За даними здійснюється аналіз законів розподілу ймовірностей параметрів та їх числових характеристик, виявляється вплив наявності артефактів на валідність змістовної складової та індексів тематичних напрямів, які найбільш вражені появою артефактів, вносяться пропозиції щодо подолання цієї проблеми.

Другий етап. Оцінювання релевантності системи ранжування є заключним етапом в забезпеченні якості системи ранжування, яка передбачає відповідність отриманого результату ранжування очікуваному. Артефакт є дестимулюючим фактором. Більший вимір артефакту індексу тематичного напряму по відношенню до системи має меншу релевантність. Зростання виміру артефакту зменшує релевантність вибірки, тобто отриманий результат менше буде відповідати очікуваному.

В основу методики покладено ранжування ідентифікованих груп вищих навчальних закладів за вимірами коефіцієнтів релевантності індексів тематичних напрямів, які можуть перебувати під впливом артефактів. Предметом узагальнення та визначення релевантності на системному рівні може розглядатися позиціонування груп на рейтинговій шкалі за сумарним коефіцієнтом релевантності індексів тематичних напрямів по відношенню до системи.

Для оцінювання релевантності у форматі груп обрано формулу для нормування масивів показників-дестимуляторів, зростання яких сприяє зниженню релевантності і відповідно довіри до результатів ранжування:

(4.1),

де: Х_і – і – ий нормований показник;

М_max – максимальне значення показника вибірки;

M_min – мінімальне значення показника вибірки;

М_і – значення і – го показника вибірки.

У контексті цієї моделі досліджується релевантність індексів тематичних напрямів та системи ранжування в цілому у форматі ідентифікованих груп вищих навчальних закладів. За різних причин кожна група має свою культуру ранжування та відношення суб’єктів до рейтингів вищих навчальних закладів на етапі формування первинної інформаційної бази, які зумовлюють певні негативні прояви в процесі обчислення глобального критерію рейтингу вищих навчальних закладів та породжують кризу довіри до результатів ранжування.

Релевантність, як міра відповідності отриманого результату очікуваному, можна визначити за шкалою розподілу величини коефіцієнтів релевантності, а саме: висока - (1,0 ≥ β ≥ 0,75), середня - (0,75 > β ≥ 0,5), низька - (0,5 > β ≥ 0,25) та не релевантна - (0,25 > β ≥ 0).

Коефіцієнти релевантності обчислюються на підставі вибірки максимальних вимірів індексів тематичних напрямів кожної ідентифікованої групи вищих навчальних закладів як суб’єктів ранжування.. Базуючись на масиві максимальних вимірів індексів тематичних напрямів ідентифікованих груп, коефіцієнти релевантності за кожним індексом тематичного напряму визначаються за формулою:

( 4.2 ),

де: β_tJ – коефіцієнт релевантності індексу t – го тематичного

напряму j-ої ідентифікованої групи вибірки;

І_tmax – максимальне значення вибірки індексу t- го тематичного

напряму;

І_ts – значення індексу системи t – го тематичного напряму ;

І_tJ – поточне значення t-го тематичного напряму j-ої

ідентифікованої групи вибірки.

Коефіцієнти релевантності тематичного напряму визначається як середнє арифметичне коефіцієнтів релевантності ідентифікованих груп у даному тематичному напрямі за формулою 4.3:

( 4.3 ),

β_tJ –коефіцієнт релевантності t-го тематичного напряму

j-ої ідентифікованої групи, 1 ≤ j ≤ m;

m - кількість ідентифікованих груп.

Коефіцієнт релевантності ідентифікованої групи визначається як середнє арифметичне відповідних коефіцієнтів релевантності тематичних напрямів групи за формулою:

( 4.4 ),

де: β_sJ –коефіцієнт релевантності j-ої ідентифікованої групи

вищих начальних закладів;

d - кількість тематичних напрямів (профілів) системи, 1 ≤ t ≤ d.

Коефіцієнт релевантності системи рейтингового оцінювання обчислюється як середнє арифметичне сумарних коефіцієнтів релевантності ідентифікованих груп вищих навчальних закладів за формулою:

(4.5),

де: β _s - коефіцієнт релевантності системи рейтингового оцінювання

4.3. Результати дослідження валідності та релевантності рейтингових індикаторів, коефіцієнтів пріоритетності, індексів за тематичними напрямами та ідентифікованими групами покладаються в основу визначення якості системи рейтингового оцінювання діяльності вищих навчальних закладів і є підгрунттям для визначення необхідності та доцільності подальшого удосконалення через процеси корегування змістовної та технологічної складової системи. Групою супроводу формується аналітична записка, яка включає ситуаційну модель за результатами досліджень, сильні й слабкі сторони системи ранжування та пропозиції щодо підвищення валідності та релевантності, подолання кризи довіри до результатів ранжування.