2.2. Вибір розмірності шкали.

При використанні методу безпосередньої оцінки діапазон зміни будь-якої якості, тобто діапазон змінної розбивається на декілька інтервалів (класів у номінальних шкалах), кожному з яких привласнюється визначена оцінка (бал). У різних країнах традиційно використовуються 4, 5, 10, 12, 36 і 100 бальні шкали.

Проблема вибору числа розподілів шкали оцінок (дрібність шкали), це проблема забезпечення необхідної точності, розрізненню і достатній надійності, вірогідності. Точність виміру – це деякий оптимум між чутливістю засобу виміру, дрібність шкали і стійкістю (надійністю) результатів виміру. Якщо градацій занадто мало, то шкала буде грубою, і в цьому випадку губиться велика частина розпізнавальної здатності системи виміру (потенційної чутливості), однак зростає стабільність результатів виміру, тобто надійність. Якщо зробити дрібність шкали занадто великою – зростає розрізнення, але ймовірність того, що вимірювана величина дійсно збігається з цим значенням, буде падати.

Оптимум повинен задовольняти два критерію: максимум дрібності шкали за умови високої стійкості (надійності) результатів виміру. Його досягнення здійснюється експериментально, шляхом підвищення дрібності шкали і перевірки стійкості результатів виміру.

У теорії вимірів є основне правило – ціна розподілу шкали повинна бути не менше помилки виміру. З цього правила і варто виходити в педагогічній кваліметрії.

З дослідних даних відомо, що процедура ранжуванняфакторів експертами найбільш надійна при n<10, при подальшому збільшенні n стабільність розрізнення класів значно погіршується. Тому при відсутності чітких критеріїв, при оцінці, більшою мірою за враженням експерта, доцільно використовувати максимум 10-бальну шкалу. При n=7 середня надійність знаходиться в межах 0,55-0,6, у такий спосіб оптимальною є 4 - 5-бальна шкала. Така шкала узаконена в системі вищої освіти України, тому що тут більш важлива надійність, тобто справедливість, аніж розрізнення результатів.

При оцінюванні результатів конкурсних іспитів абітурієнтів з метою скорочення "зони невизначеності" рейтингового списку необхідно підвищити розрізнення, точність виміру. У нашому університеті для цього використовується 36-бальна шкала. Для забезпечення достатньої надійності оцінок всі іспити проводяться в письмовій формі, завдання пропонуються у формі тестів, чіткі критерії оцінки на основі еталонів відповідей дозволяють забезпечити високу надійність (як правило, без апеляцій).

У системі загальної середньої освіти з 2000-2001 навчального року використовується 12-бальна шкала оцінювання навчальних досягнень учнів.

3. Аналіз існуючих систем оцінювання рівня підготовки.

У системі вищої освіти України офіційно прийнята чотирьох бальна шкала оцінок "відмінно", "добре", "задовільно", "незадовільно" (не 5, 4, 3, 2) і двобальна - "зараховано", "не зараховано" для заліків.

Чотирьох бальна шкала має ряд безумовних переваг: інтуїтивна зрозумілість, простота у вживанні і методичному освоєнні, психологічна звичність, відносна точність. Недоліками цієї шкали є відсутність кількісних критеріїв і недостатня диференціація рівнів засвоєння навчального матеріалу.

Відсутність кількісних критеріїв оцінки призводить до того, що оцінки, що виставляються, відносні і не показують абсолютний рівень знань студентів. Кажучи по суті, оцінки відображають результат психоаналітичних процесів порівняльного аналізу викладачем деякої міри знань тих, хто навчається. Знання конкретного студента порівнюються зі знаннями, відомими викладачеві, інших студентів (навіть за кілька років). Викладач прагне відобразити в оцінці відповідність знань, навичок і умінь вимогам навчальної програми, але в силу того, що процеси оцінювання є психоаналітичними, тобто мають людську, суто випадкову природу, залежать від досвіду, психофізичного стану викладача, обстановки тощо, відповідний результат (оцінка) певною мірою випадковий. ("Іспит - лотерея"!)

Попривідносність оцінки, інтуїтивний характер оцінювання і випадковість у середньому, бали вимірюють відносну систему знань тих, хто навчається, і пов'язаних з ним факторів з досить високою точністю. Так, експериментально встановлено статистичний зв'язок екзаменаційної оцінки (Q) і частки (d) відвіданих студентом занять.

Q= 7*d + 0,7

Відхилення середнього бала не перевищують ±0,1 бала.

Оцінка, як уже зазначалося вище, виконує функції, що виховують і управляють. Її завдання – забезпечити і підтримати високий рівень мотивації того, хто навчається. Рівень мотивації (М) пропорційний невизначеності результату оцінювання. Це можна продемонструвати на двох крайніх прикладах. Якщо апріорі студенти знають, що в даного викладача на іспиті більшість запросто одержать 5, то в цьому випадку стимули напружено учитися слабшають. У тому випадку, коли більше 3 у викладача практично одержати не можна, то в студентів як кажуть "опускаються руки" і, відповідно, мотивація різко знижується.

Іншими словами, якщо у всіх тих, хто навчається, оцінки будуть недостатньо диференційованими, вони перестануть показувати, у кого знання кращі, у кого гірші. Тоді вони не будуть містити інформацію і виявляться не потрібними. Оцінки використовуються тільки тому, що вони містять порівняльну інформацію про знання тих, хто навчається.

Кількісною мірою невизначеності є ентропія (Н), отже

М = к ∙ Н.

Як відомо з теорії інформації, ентропія по Шеннону визначається наступним виразом Н = ─ ∑ P_і ∙ ℓog P_і

В обох розглянутих вище випадках ентропія системи оцінювання знань, як і психологічно сформована мотивація мінімальні.

Ентропія максимальна за умови рівних ймовірностей можливих подій (вихід). З цього випливає, що викладач, прагнучи максимізувати виховний і управляючий вплив оцінок на тих, хто навчається, повинен в ідеальному випадку забезпечити приблизно рівно вірогідний розподіл результатів іспиту P_і=0,25. Кожен викладач хоча б інтуїтивно розуміє і враховує це в роботі. Проводячи іспит, він психологічно може відчувати наступне: "Щось забагато п'ятірок. Це не нормально".

Але ідеальність спотворюється реальністю, у якій оцінки виконують й інші функції, зокрема функцію атестації студентів. Тому, якщо для поточного контролю й оцінювання підготовки студентів рівно вірогідний розподіл оцінок є оптимальним, то у випадку іспитів, коли оцінки використовуються для зовнішньої звітності, перекладу студента на наступний курс або відрахування, двійки стають "небажаними". Тоді найкращим розподілом буде таке: P₂=0,1; P₃=P₄=P₅=0,3. У цьому випадку розподіл частот оцінок здобуває наступний вид.

У реальних умовах ідеальні співвідношення оцінок завжди зсуваються через фактори, що впливають на психологічний комфорт викладачів і студентів. Психоаналітична природа оцінок, усвідомлення того, що двійка впливає на одержання стипендії, приводить до наступної деформації закону розподілу. П'ятірка ставиться тільки "для всіх очевидна", а четвірка – коли вона явно "безперечна". Трійку психологічно ставити безпечніше, оскільки її можна розуміти широко (і 4- і 2+). Таким чином, приходимо до результату: P₂=0,1; P₃=0,4; P₄=0,35; P₅=0,15. Цей розподіл відповідає й акредитаційним вимогам до рівня засвоєння студентами навчального матеріалу. Крім того, можна помітити, що такий розподіл наближається до дискретного нормального. З теорії ймовірностей відомо, що при впливі більш ніж 10 незалежних факторів на ймовірності подій закон розподілу наближається до нормального. Зрозуміло, що факторів, що впливають на рівень успішності значно більше. Можна нагадати деякі з них. Це рівень попередньої підготовки студента, його природні здібності і схильності, психологічні особливості (пам'ять, розвиненість абстрактного й асоціативного мислення, посидючість, завзятість, воля і т.п.), мотивація, час, витрачений на засвоєння дисципліни, педагогічна майстерність викладача і багато іншого. Тому розподіл оцінок у принципі повинен бути нормальним. Це підтверджується і нормальним розподілом ІQ і нормальним розподілом результатів єдиного державного екзамену з різних предметів (100-бального тестування) випускників шкіл Російської Федерації.

На підставі проведеного аналізу можна дати деякі рекомендації з розподілу результатів контролю.

Стиль оцінювання	Розподіл	АУ %	КУ %	Xcp	V
Оптимальний для поточного контролю, рівно вірогідний (максимум ентропії і мотивації)		75	50	3,5	0,32
Оптимальний для рубіжногоконтролю		90	60	3,8	0,26
Наджорсткий		70	40	3,2	0,306
Оптимально жорсткий для семестрового контролю		90	50	3,6	0,254
Оптимально ліберальний для семестрового контролю		95	70	3,9	0,213
Над ліберальний (допустимий при державній атестації)		100	80	4,15	0,175
Недопустимий		100	100	4,5	0,11
Недопустимий		50	0	2,5	0,2

Дванадцятибальна шкільна система оцінювання з метою забезпечення розрізнення класів бальних оцінок використовує відомі 4 рівні засвоєння знань і сформованості навичок і умінь (знайомства – початковий, стереотипний – середній, умінь – достатній і евристичний – високий). Для кожного з цих рівнів встановлюються 3 ступені оволодіння (4 х 3 = 12). Розглянемо опис ознак відповідних оцінок.

І рівень:

1 бал – учень здатен розрізняти, пізнавати об'єкти вивчення;

2 бали – учень здатен фрагментарно відтворювати частину навчального матеріалу.

3 бали – учень здатен відтворювати до 50% навчального матеріалу.

ІІ рівень:

4 бали – учень здатен виконати за зразком визначених операції;

5 балів – учень розуміє основний матеріал, поняття, визначення, правила;

6 балів – учень може використовувати отримані знання для виконання завдань за зразком.

ІІІ рівень:

7 балів – учень знає навчальний матеріал, доказово його пояснює, може використовувати в стандартних ситуаціях;

8 балів – досить повні знання, учень здатний аналізувати, установлювати зв'язку, робити висновки;

9 балів – вільне володіння матеріалом, здатність систематизувати й аналізувати інформацію, використовувати її в змінених ситуаціях.

ІV рівень:

10 балів - глибокі, міцні знання, здатність використовувати них у нестандартних ситуаціях, критично оцінювати окремі факти і явища;

11 балів - володіння узагальненими знаннями, аргументовано використовувати них у нестандартних ситуаціях, самостійно оцінювати події, факти і явища;

12 балів - уміння самостійне здобувати і використовувати інформацію, ставити і розв'язувати проблеми.

Таким чином, у 12-бальній системі оцінювання, задаючи учням відповідний рівень контрольного завдання, викладач визначає, яку ступінь володіння навчальним матеріалом (високу, середню або низьку) демонструє учень.

Відповідно до ідей Болонского процесу в єдиному європейському освітньому просторі рекомендується використовувати зрозумілі для всіх системи оцінювання. У Європі співіснують багато різних систем оцінювання, тому питання перезаліку оцінок є однієї з найважливіших проблем інтеграції. Європейська комісія скликала групу експертів для рішення суперечливих питань перезаліку оцінок. Експерти проаналізували інформацію, коментарі і статистичні дані, представлені 80 вузами і запропонувала шкалу оцінювання ECTS (European Credіt Transfer System – європейська система трансфертних кредитів). Шкала оцінювання ECTS була розроблена для того, щоб допомогти вузам перевести оцінки, виставлені іншим навчальним закладом, для перезаліку оцінок студентів.

Концепція шкали ECTS полягає в тому, що:

- шкала повинна бути досить добре охарактеризована, щоб будь-який вуз зміг використовувати її для своїх навчальних дисциплін;

- шкала ECTS повинна надати додаткову інформацію до оцінки навчального закладу, але не заміняти неї;

- шкала оцінювання ECTS повинна бути зрозумілою іншим вузам, що виставляють відповідну оцінку відповідно до власної системи оцінювання студентам, що вступають, або випускникам;

- оцінка по системі ECTS повинна визначати поряд з оцінкою, виставленою вузом у перелік оцінок студента по дисциплінах, досягнення кожного студента до і після періоду навчання.

Шкала має міцну статистичну підставу, але статистичні дані об'єднані з реалістичним описовим підходом. Під час дискусій по шкалі оцінювання ECTS особлива увага приділялася строгому чисельному визначенню, яке б базувалося на класифікації студентів по знаннях у групі і на найбільш якісному визначенні, яке б базувалося на загальному розумінні ключових слів, таких, як "добре" і "відмінно".

Оцінка ECTS	Відсоток студентів, котрі звичайно досягають відповідної оцінки	Визначення
А	10	ВІДМІННО - відмінне виконання лише з мінімальною кількістю незначних помилок
В	25	ДУЖЕ ДОБРЕ - вище за середній рівень з декількома несуттєвими помилками
С	30	ДОБРЕ - загалом , правильна робота з деякою кількістю несуттєвих помилок
D	25	ЗАДОВІЛЬНО - непогано, але з деякою кількістю грубих помилок
Е	10	ДОСИТЬ - виконання задовольняє мінімальні критерії
FX	-	НЕЗАДОВІЛЬНО - потрібно попрацювати, перш ніж одержати залік
F	-	НЕЗАДОВІЛЬНО - необхідна серйозна робота

Кількість оцінок у шкалі оцінювання ECTS є компромісною. Менша кількість оцінок дала б занадто мало інформації, більша кількість оцінок привело б до зниження надійності оцінок. Подвійне використання терміна "відмінно" і статистичного вираження "найвищі десять відсотків студентів" представляє два підходи до загальної мети. Шкала не нав'язує визначення "відмінно" кожному вузові, більше вона нав'язує це визначення оцінці "А" шкали ECTS. Багато обґрунтувань присвячено виборові цифри 10%. Зниження цього відсотка було б складно досягти в деяких вузах, а збільшення більш 10% знизило б стимул для більш здібних студентів.

Хоча більша увага приділяється оцінці "відмінно", визначення нижчих оцінок відіграє важливу роль для дуже великої кількості студентів і вимагає використання шкали ECTS на всіх рівнях досягнень.

Розподіл балів для встановлення оцінок є важливим, але не абсолютним. Розподіл балів навчальної дисципліни може змінюватися від року в рік, у залежності від якісного складу студентів, якості проведених занять, їхньої кількості тощо.

При малій кількості студентів чіткий розподіл по моделі 10-25-30-25-10 недоцільний.

Проте досвід говорить, що:

- при великому числі занять (великій базі оцінок) підсумкові оцінки розподіляються по запропонованій моделі;

- розподіл балів за п'ятирічний період більш ймовірно приведе до збалансованого результату.

Чим більше наближення вузу до єдиного критерію між своїми балами і шкалою оцінювання системи ECTS, тим легше пройде процес порівняння. Для того щоб одержати розподіл балів відповідно до моделі 10-25-30-25-10, границі між оцінками вузу повинні відповідати 10%, 35%, 65% і 90% загальної кількості успішних студентів.