8.3.1. Загальні положення

Оцінка наукової роботи здійснюється в цілях управління процесом наукових досліджень (розробок) і полягає у визначенні показників, що характеризують плановані і/або досягнуті результати за цілком певний період. Одержувані оцінки можуть бути використані як для порівняння результатів наукової діяльності окремих фахівців і наукових підрозділів, так і для порівняльного аналізу ступеня розвитку різних наукових напрямів в науково-дослідних установах і організаціях. Розумне поєднання методів оцінки і стимулювання наукової роботи орієнтує авторів і колективи, що займаються науковою діяльністю, на підвищення вимог до наукового рівня публікацій, на пошук і впровадження оригінальних рішень задач в процесі досліджень і розробок, на забезпечення вищої наукової значущості і практичної реалізовується одержуваних результатів, на глибоке теоретичне обгрунтування і експериментальну перевірку висновків і рекомендацій, на високу якість технічного і літературного оформлення і викладу наукових положень.

При створенні методик планування і оцінки наукової роботи повинен враховуватися ряд вимог, багато хто з яких є суперечливим:

облік всіх основних форм наукової роботи, використовуваних в установах;

простота і зручність використання;

використання як початкові документально підтверджувані дані;

форма документування, прийнятна для реалізації на ЕОМ;

можливість обліку змін умов діяльності (уточнення цілей діяльності, зміна стану фінансування і т.д.);

відповідність оцінки наукового результату реальному рівню його новизни і значущості для науки і практики.

Всебічна і повна оцінка наукової роботи є завданням, що упирається в багатьох аспектах в "прокляття розмірності". Мистецтво розробки методики оцінки полягає в допустимому спрощенні завдання, відповідному практичним потребам.

Реально створювані методики оцінки наукової роботи засновані на обчисленні суми вагових коефіцієнтів (з поправками, що передбачаються), відповідних видам, що враховуються, і результатам наукової діяльності.

Як приклад нижче описується методика конкурсного відбору кращих наукових робіт серед тих, що висуваються на внутрішньовузівський конкурс, а також необхідної кількості найбільш гідних робіт, що представляються від вузу на зовнішні (всеросійські, регіональні, відомчі та інші) конкурси.

8.3.2. Методика рейтингового оцінювання наукових робіт, що висуваються на конкурс

Основна мета впровадження рейтингового оцінювання наукових робіт, що висуваються на конкурс (далі конкурсних робіт), – підвищення об'єктивності оцінки якості наукових робіт на основі впровадження системи кількісних показників.

Організація вироблюваної у вузі експертизи конкурсних робіт з їх рейтинговим оцінюванням покладається на спеціалізований підрозділ, званий далі науково-дослідним відділом (НДВ|), який:

готує наказ начальника вузу про створення конкурсної комісії;

доводить до учасників конкурсу встановлений наказом термін представлення конкурсних робіт в НДО| для проведення експертизи і роздає кожному учасникові конкурсу необхідний для рейтингового оцінювання його роботи оцінний лист, виготовлений друкарським способом або за допомогою комп'ютерного друку;

призначає експертів для рейтингового оцінювання конкурсних робіт, організовує проведення ними експертизи, збирає і узагальнює результати проведеної експертизи;

виробляє пропозиції для конкурсної комісії з конкретного складу кращих наукових робіт, виявлених за наслідками конкурсу, і(або) що представляються від інституту на зовнішній конкурс.

Оцінний лист оформляється як додаток до кожної конкурсної роботи і містить таблицю, рядки якої відповідають приватним рейтинговим показникам, що оцінюють різні аспекти наукової роботи. Рядки таблиці призначені для виставляння експертних значень приватних рейтингових показників, при цьому перший рядок заповнюється виконавцями роботи - автором і його науковим керівником перед здачею остаточно оформленої роботи для експертизи в науково-дослідний відділ|, а другий рядок призначається для виставляння відповідних оцінок експертом, призначеним науково-дослідний відділом|.

Пропозиції науково-дослідного відділу| про склад кращих наукових робіт, виявлених за наслідками експертизи, формуються, виходячи зі встановленої їх кількості за ознакою найбільших значень інтегральних рейтингових показників, одержаних підсумовуванням уручну або за допомогою обчислювальної техніки значень приватних рейтингових показників, визначених в ході експертизи.

Результати експертизи і висновки по кожній конкурсній роботі, пропонованій до складу кращих, розглядаються і затверджуються на засіданні комісії під головуванням начальника інституту або його заступника по учбовій і науковій роботі.

а) Перелік окремих рейтингових показників

Формування рейтингу конкурсної роботи включає оцінку наступних приватних показників:

P1 - ступінь публікації матеріалів конкурсної роботи в наукових виданнях;

P2 – рівень аналізу в конкурсній роботі відомих публікацій по даній проблематиці;

P3 – рівень новизни наукових результатів конкурсної роботи;

Р4 – складність об'єкту і(або) обгрунтування новизни;

P5 – рівень обгрунтування достовірності наукових результатів конкурсної роботи і(або) оцінки точності отриманих результатів;

P6 – ступінь теоретичної значущості наукових результатів конкурсної роботи для відповідної області знань;

P7 – ступінь практичної значущості наукових результатів конкурсної роботи;

P8 – рівень реалізації наукових результатів конкурсної роботи.

б) Визначення значень приватних рейтингових показників

Значення всіх показників, окрім одного (P1), значення якого не обмежене зверху, оцінюються по десятибальній системі, при цьому можуть використовуватися дробові значення, що не виходять з меж допустимих інтервалів оцінних значень.

Нижче приводяться рекомендовані значення приватних показників.

P1 - ступінь публікації матеріалів конкурсної роботи в наукових виданнях. Значення показника визначається як зважена сума балів, що присуджуються за кожний з тих, що є у автора конкурсної роботи вид публікації по даній науковій проблематиці:

.

де qi – ваговий коефіцієнт, що характеризує частку участі автора конкурсної роботи в творчій підготовці i-го виду публікації (i=1.,n);

ci – кількість балів, що присуджуються за i-й вид публікації.

Величина ci визначається за кожну публікацію за участю автора конкурсної роботи відповідно до даними що додається табл. 8.1.

Величина qi визначається по даним, вказаним в науковій роботі, а за відсутності відповідних даних значення коефіцієнта qi приймається рівним 1/n, де n-кількість авторів, вказаних в науковій роботі (для звіту про НДР враховуються співавтори тільки одного з підрозділів або розділів, автором якого є автор конкурсної роботи). За відсутності публікацій матеріалів конкурсної роботи в наукових виданнях (n=0) виставляється 0 балів.

P2 - рівень аналізу в конкурсній роботі відомих публікацій по даній проблематиці. Найбільш низькому рівню - відсутності аналізу публікацій відповідає оцінка 0, а найбільш високому рівню – всесторонньому, повному і глибокому аналізу відомих постановок і методів рішення загальною і приватних наукових завдань по проблематиці конкурсної роботи – оцінка 10.

P3 - рівень новизни наукових результатів конкурсної роботи. Найбільш низькому рівню - відсутності новизни відповідає оцінка 0, а найбільш високому рівню – випадку світової новизни (наприклад, винахід або приватний результат на рівні дисертації) – оцінка 10. Рекомендовані опорні оцінки проміжних рівнів новизни:

новизна на рівні організації (наприклад, для учбового процесу вузу) - оцінка 2;

новизна на рівні відомства – 4;

новизна на рівні держави – 6.

P4 - складність об'єкту і(або) обгрунтування новизни. Найбільш низькій складності - відсутності об'єкту новизни і(або) його опису, відповідає оцінка 0, а найбільш високій складності – оцінка 10. Рекомендовані оцінки проміжної складності:

опис новизни на чисто якісному рівні (без яких-небудь кількісних обгрунтувань) - 2

коефіцієнт, що знов враховується, - 3;

нова розрахункова формула (співвідношення) – 5;

новий математичний метод (ланцюжок розрахункових співвідношень), наявність теорем – 8.

Р5 - рівень обгрунтування достовірності наукових результатів конкурсної роботи і(або) оцінки точності отриманих результатів. Найбільш низькому рівню – відсутності оцінок достовірності і точності відповідає оцінка 0, а найбільш високому рівню – повному і глибокому аналізу достовірності і точності – оцінка 10. Рекомендовані оцінки проміжних рівнів:

описане в конкурсній роботі якісне обгрунтування достовірності або точності – 3;

описаний в роботі аналітичний доказ достовірності або кількісна оцінка точності – 6

описане в роботі теоретичне обгрунтування і експеримент, підтверджуючий достовірність або точність, – 9.

Р6 - ступінь теоретичної значущості наукових результатів конкурсної роботи для відповідної області знань. Найбільш низькому ступеню - відсутності відомостей про теоретичну значущість відповідає оцінка 0, а найбільш високому ступеню – глибоко аргументованому і всебічному кількісному обгрунтуванню видатної теоретичної значущості у відповідності і раніше відомими теоретичними результатами - оцінка 10. Рекомендовані оцінки проміжних ступенів теоретичної значущості:

істотна (помітна) теоретична значущість – 3;

велика теоретична значущість – 6

дуже велика теоретична значущість – 8.

Р7 - ступінь практичної значущості наукових результатів конкурсної роботи. Найбільш низькому ступеню - відсутності відомостей про практичну значущість відповідає оцінка 0, а найбільш високому ступеню - глибоко аргументованому і всебічному кількісному обгрунтуванню видатної практичної значущості порівняно з раніше відомими практичними результатами - оцінка 10. Рекомендовані оцінки проміжних ступенів практичної значущості:

істотна практична значущість – 3;

велика практична значущість – 6

дуже велика практична значущість – 8.

Р8 - рівень реалізації наукових результатів конкурсної роботи. Найбільш низькому рівню - відсутності відомостей про реалізацію відповідає оцінка 0, а найбільш високому рівню – наявність достовірних відомостей про реалізацію в міждержавному масштабі – оцінка 10. Рекомендовані оцінки проміжних рівнів реалізації:

реалізація на рівні організації (раціоналізаторська пропозиція, акт про реалізацію в учбовому процесі вузу і т.п.) - оцінка 3;

реалізація на рівні відомства - оцінка 6;

реалізація на рівні держави – оцінка 9.

На відміну від реалізації, що відбулася, у разі потенційної реалізації (лише переконливо аргументовані конкретні пропозиції по реалізації відповідного рівня) одержана оцінка рівня реалізації умножається на вказуваний в явному вигляді в таблиці оцінного листа коефіцієнт, рівний 0,25.

в) Інтегральна рейтингова оцінка конкурсної роботи і особливі умови

Виходячи з визначених експертом значень приватних рейтингових показників, знаходиться інтегральна рейтингова оцінка конкурсної роботи відповідно до співвідношення

P = P1x(P2+P3+P4+P5+P6+P7+P8) /7.

Автори конкурсних робіт, що представляються для висунення на зовнішній конкурс, що всі підлягають оцінюванню факти реалізації наукових результатів повинні оформити актами, що додаються до роботи, про реалізацію.

Додаткові вимоги для осіб, що представляють наукові роботи на конкурси, що проводяться серед студентів (курсантів, слухачів):

1) робота приймається на конкурс за умови, що автор завершив не менші два роки навчання у вищому учбовому закладі;

2) факт творчої участі автора конкурсної роботи в підготовці матеріалів звіту про НДР винен на листі, що містить список виконавців, оформлений підтверджуючим записом заступника начальника вузу по учбовій і науковій роботі і скріпляє друком;

3) для автора конкурсної роботи публікація у виданні Російської Академії Наук і в працях міжнародної (або з міжнародною участю) і всеросійської наукової конференції, виконана в співавторстві з іншими особами, враховується лише у разі наявності у даного автора публікації цих же матеріалів у відомчому виданні (депонуюча робота, доповідь на науковій конференції вузу і т.д.).