Міністерство освіти і науки, молоді та спорту України

Вінницький національний технічний університет

Інститут Інформаційних технологій та комп’ютерної інженерії

Кафедра КН

Звіт з комплексної науково-дослідної роботи: «Розробка засобів генерації завдань для фахових випробувань»

«Модуль формування теоретичних і практичних завдань з урахуванням ступеня їх важливості»

Виконала:

ст. гр. 2 КН-10б

Паламаренко Л.О.

Перевірила:

к.т.н., професор

Савчук Т.О.

Вінниця 2012

Зміст

ВСТУП 3

1 ПРИНЦИПИ ФОРМУВАННЯ МОДУЛЯ ФОРМУВАННЯ ТЕОРЕТИЧНИХ І ПРАКТИЧНИХ ЗАВДАНЬ З УРАХУВАННЯМ СТУПЕНЯ ЇХ ВАЖЛИВОСТІ 5

1.1 Принцип Парето як основа прийняття власних рішень 5

1.2 Виявлення пріоритетів за допомогою аналізу АБВ 5

1.3 Реалізація рішень на основі принципу Ейзенхауера 6

2 ІСНУЮЧІ РЕАЛІЗАЦІЇ МОДУЛЯ ФОРМУВАННЯ ТЕОРЕТИЧНИХ І ПРАКТИЧНИХ ЗАВДАНЬ З УРАХУВАННЯМ ЇХ ВАЖЛИВОСТІ 8

ВИСНОВКИ 12

СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 13

ВСТУП

Актуальність. Система оцінки знань, якості освоєння загальноосвітніх програм студентами є найважливішим елементом загальноосвітнього процесу. Традиційна система знань студентів, заснована на підсумковому контролі у формі іспиту або заліку, не стимулює належною мірою роботу студентів. Оцінка на екзамені в певній мірі залежить від багатьох випадкових факторів, таких як вибір квитка, психологічного стану студента і викладача. З досвіду багатьох зарубіжних і вітчизняних вузів це змушує звернутися до рейтинговою системою оцінки успішності.

Один із способів забезпечення об'єктивної оцінки знань - використання індивідуальних варіантів теоретичних і практичних завдань для кожного студента. Такий підхід знижує ймовірність списування і допомагає в ранньому виявленні невстигаючих студентів.

Призначення системи - адекватне оцінювання спеціальних знань особи проходить тестування на основі адаптивного комплексного тестування по заданій предметній області.

Контроль знань студентів може бути здійснений з використанням різних методів формування оцінки. Існують методи оцінки знань з використанням моделей, що враховують тільки правильність відповідей студентів, і моделей, що враховують параметри завдань і рівень засвоєння знань.

Ряд загальних недоліків сучасних методів автоматизованого оцінювання знань за результатами тестування:

1. використання однієї методики складання тесту, що звужує можливості тестування;

2. висока трудомісткість формування високоефективних тестів, або зведення процедури формування тесту до випадкового вибору питань;

3. використання заздалегідь сформованих тестів, що виключає можливість використання адаптивних методик тестування або робить їх недостатньо гнучкими.

Об’єкт – процес формування теоретичних і практичних завдань з урахуванням ступеня їх важливості.

Предмет – засоби формування теоретичних і практичних завдань з урахуванням ступеня їх важливості.

Мета: підвищення ступеню об’єктивності формування завдань.

Задачі:

1. Масштабуємий перелік теоретичних і практичних завдань;

2. Визначення ступеня важливості теоретичних і практичних завдань;

3. Створення рівнозначних білетів за складністю.

1. Принципи формування модуля формування теоретичних і практичних завдань з урахуванням ступеня їх важливості

1. Принцип Парето як основа прийняття власних рішень

Принцип був сформульований італійським економістом Вільфредо Парето. Принцип Парето означає, що не слід братися спочатку за найлегші, цікаві або потребують мінімальних витрат часу справи. Необхідно приступати до питань, погодившись з їх значенням і важливістю: спочатку - деякі «життєво важливі» проблеми, а потім - численні «другорядні».

У зв'язку з принципом Парето говорять також про «співвідношенні 80:20».

Перенесення цієї закономірності на створення модуля формування завдань полягає у визначенні процентного відношення теоретичних і практичних завдань у білеті згідно однієї теми чи залучення усіх вивчених тем.

2. Виявлення пріоритетів за допомогою аналізу абв

Техніка аналізу АБВ походить з наявного досвіду, згідно з яким частки у відсотках більш важливих і менш важливих завдань в усій їх загальній кількості залишаються в цілому незмінними.

За допомогою букв А, Б, В окремі задачі підрозділяються на три класи, а саме - відповідно до їх важливості з точки зору досягнення професійних і особистих цілей.

Аналіз АБВ грунтується на наступних закономірностях:

1. найважливіші завдання (категорія А) складають приблизно 15% від загальної кількості всіх завдань і питань, який формулює викладач. Власна важливість цих завдань (в сенсі вкладу в досягнення мети) становить приблизно 65%;

2. на важливі завдання (категорія Б) припадає в середньому 20% від загального числа і також 20% значимості завдань і питань викадача;

3. менш важливі і несуттєві завдання (категорія В) складають 65% від загальної кількості завдань, але мають незначну частку - приблизно 15% у загальній «вартості» всіх завдань, які повинен виконати студент.

Згідно з аналізом АБВ, рекомендується за найважливіші, тобто приносять найбільший результат, завдання (категорії А) брати в першу чергу, щоб за допомогою небагатьох дій забезпечити більшу частину загального ефекту. На наступні за значимістю завдання (категорії Б) припадає також суттєва частина сукупного результату, тоді як виконання відносно великого числа, але менш важливих завдань в цілому дає невеликий підсумок.

3. Реалізація рішень на основі принципу Ейзенхауера

За принципом Ейзенхауера пріоритети встановлюються за такими критеріями, як час на виконання і важливість завдання.

У залежності від ступеня затраченого часу і важливості завдання різняться 4 можливості їх оцінки і (у підсумку) виконання:

1. мало часу / важливі завдання. За них слід братися негайно і самому їх виконувати;

2. багато часу / менш важливі завдання Тут існує небезпека потрапити під «тиранію» поспішності і в результаті цілком віддатися вирішенню конкретного завдання, тому що на нього надається багато часу. Якщо ж вона, однак, є не настільки важливою, то повинна бути в будь-якому випадку делегована, оскільки для її виконання не потрібно якихось особливих якостей;

3. багато часу / важливі завдання. Їх не треба виконувати терміново, вони, як правило, можуть зачекати.

2 Існуючі реалізації модуля формування теоретичних і практичних завдань з урахуванням їх важливості

В даний час в Томському державному педагогічному університеті розробляється подібна система, проведені перші практичні випробування (рис.1).

Рисунок 1 – Сервіс генерації екзаменаційних білетів

В Томському державному педагогічному університеті на даний момент існує успішний досвід розробки системи автоматизації прийому вступних випробувань [2]. Оригінальна технологія проведення вступних іспитів забезпечувала:

- автоматичну генерацію індивідуальних екзаменаційних білетів;

- підтримку бази даних екзаменованих осіб;

- шифрування і дешифрування робіт за допомогою штрих-кодування;

- анонімну перевірку робіт абітурієнтів шляхом сканування в автоматичному режимі.

У зв'язку з тим, що кінцеві цілі діагностики знань абітурієнтів та контролю залишкових знань дещо розходяться, було прийнято рішення про деяке спрощення технології шляхом відмови від шифрування робіт.

З іншого боку, різко зросло число предметних напрямів, за якими слід проводити тестування (від 6 до 58). У зв'язку з цим стала неможливою підтримка оригінальної структури тест-квитка по кожному з предметів, і треба було якийсь уніфіковане рішення. За погодженням із фахівцями-предметниками було вирішено зупинитися на наступних вимогах.

1) обсяг банку даних тестових завдань з кожного предметного напрямку 400 або 200 в залежності від обсягу курсів, що входять в цей напрямок.

2) структура банку тестових завдань представлена в табл. 1.

Блок 1	Рівень (важкість) 1	Завдання 1	Завдання 1	Завдання 1	Завдання 1	Завдання 1
		Завдання 2	Завдання 2	Завдання 2	Завдання 2	Завдання 2
		Завдання 3	Завдання 3	Завдання 3	Завдання 3	Завдання 3
		Завдання 4	Завдання 4	Завдання 4	Завдання 4	Завдання 4
Блок 1	Рівень (важкість) 2	Завдання 1	Завдання 1	Завдання 1	Завдання 1	Завдання 1
		Завдання 2	Завдання 2	Завдання 2	Завдання 2	Завдання 2
		Завдання 3	Завдання 3	Завдання 3	Завдання 3	Завдання 3

Табл. 1. Структура банку тестових завдань

Банк складається з 10 блоків по 40 (20) завдань, при цьому завдання класифікуються по 5 типам відповіді і по 2 рівнями складності, вибираним предметниками. Розбиття по блокам здійснюється в хронологічному порядку вивчення курсу. Приклади типів відповідей: число, слово, словосполучення, схема, таблиця, малюнок і т.д. Таким чином, в кожному осередку, визначається блоком і типом, міститься по 8 (4) тестових завдань: 4 (2) «легких» і 4 (2)«складних». Завдання в одній комірці повинні мати близькі не тільки за формою, але й за змістом відповіді, так як вони утворюють комірку банку даних, з яких випробовуваний вибирає відповідь, наприклад:

Код відповіді	Відповідь
0862	Мережеві моделі
1245	Логічні моделі
3456	Реляційні мови
4712	Нейронні мережі
5431	Продуктивні моделі

Таким чином, правильна відповідь до кожного завдання виконує роль дистракторами для сусідніх 7 (3) завдань в осередку.

Підготовка макетів завдань і банків відповідей по кожному з предметів виконується в автоматично, далі за допомогою макета видається спеціальне методичний посібник, що містить всі тестові завдання. Тест-квиток, що видається студенту, містить лише номери завдань, які повинен виконати студент, і трафарети, в які студент стилізованими цифрами вписує код відповіді, що міститься в макеті. В спеціальні поля студент також вносить номер групи і свій ідентифікаційний код (порядковий номер всередині групи).

В даний час реалізована і апробована на 58 предметних напрямках система бланкового тестування, і ведеться розробка підсистеми комп'ютерного тестування через Інтернет, подібна існуючої розробки для приймальної комісії [3].

Основні компоненти розробленої системи:

1. Підсистема автоматичної обробки тестових матеріалів (формування макета, кодування відповідей і т.д.).

2. Генератор бланків, призначений для генерації унікальних екзаменаційних білетів шляхом з використанням випадкового вибору завдань з бази; процес повністю автоматизований.

3. Підсистема розпізнавання відповідей.

4. База даних екзаменованих осіб. Містить інформацію про тестованих, підсистему оцінювання знання (версії запиту «бали» для кожного предмета), генератор підсумкових відомостей, статистику результатів тестувань.