2. Параметры статистической обработки информации

Статистики, характеризующие обучаемых, анализируются при помощи уровня знаний и уровня умений.

Уровень знаний определяется на основе тестирования, реализованного в обучающих веб-ИЭС. Результаты тестирования представляют из себя список тем, по которым обучаемый отвечал на вопросы, баллы, рассчитанные по обобщенной оценке Ричардсона, а так же общий балл за каждое тестирование. Количество прохождений тестов для всех курсов равно n >=2.

Рис.10. Параметры аналитической и статистической обработки результатов использования обучающих ИЭС

Определение уровня умений варьируется в зависимости от курса, однако результаты его единообразны и представляют из себя сводный балл за прохождение задания по выявлению уровня умений в конкретном курсе.

В данной работе уделяется внимание следующим статистикам:

1. Степень достижение целевых компетенций по конкретным курсам и дисциплинам: определение текущих компетенций обучаемых в зависимости от их уровня знаний и умений.

2. Прогноз уровня компетенций: прогнозирование компетенций обучаемых в будущем на основе статистики по имеющимся компетенциям до текущего момента.

2. Экспериментальное программное исследование базовой версии модуля статистической обработки данных

В ходе экспериментального исследования базовой версии модуля статистической обработки даннх были выявлены следующие функциональные возможности:

На рис.11-12 приведен пример выявления степени корреляции между уровнем знаний и уровнем умений обучаемых. Выборка уровня знаний и уровня умений была произведена у студентов К6-22 2009 и 2010 года поступления. В выборку попало примерно 55 студентов из каждого года. Изображена точечная диаграмма, с проведенными на ней линиями тренда.

Рис.11. Точечная диаграмма ( выборка за 2009 год)

Зеленые ромбы относятся к зависимости оценок за тестирование и прямого вывода, красные ромбы относятся к зависимости оценок за тестирование и обратного вывода. Сверху диаграммы, для обоих зависимостей, посчитаны коэффициенты корреляции Пирсона. Из таблицы 2, приведенной в первом разделе, можно сделать вывод, что на рис.11 зависимости практически нет, а на рис.12 прослеживается слабая зависимость.

Рис.12. Точечная диаграмма (выборка за 2010 год)

На Рис.13 приведен пример прогнозирования оценки за экзамен.

Рис.13. Тест-пример прогноза оценки за экзамен.

Ниже, на рис.14, приведена диаграмма, показывающая на сколько эффективным оказался алгоритм прогноза оценки за экзамен. Алгоритм прогнозирует верную оценку, примерно в 65% случаях.

Рис.14. Диаграмма качества прогнозирования оценки.

3. Современные статистические методы, применяемые к задаче оценки компетенций обучаемых

Оценивание компетенций в крупных компаниях и ассессмент-центрах:

• оценка прямого начальника;

• оценка специалиста из HR-отдела;

• оценка, данная коллегами («360 градусов»);

• деловые игры.

Как правило, оцениваются от 3 до 15 компетенций.

Компетенции в российских вузах:

• Задача оценивания 200+ компетенций.

• Оценить компетенции (по определению) можно или в реальной деятельности или в симуляторе.

• Методика — Метаигры (симулятор реальности).

• Метаигра = игровые сессии + онлайн-пространство.

• Участники — студенты из МИФИ, МГИМО, МГУ, МГТУ им. Баумана, ГУ ВШЭ и др.

Оценивание компетенций на Метаиграх:

• Для таких масштабов оценивания необходимо ПО (2 недели игры — до 10000 оценок).

• http://devyourself.ru/ помогает автоматизировать оценивание.

• Результаты оценивания:

1) компетенционные карты

2) соответствие студента профессиограммам

• На основе полученных данных можно улучшать процесс оценивания и решать задачи, которые ранее решить было невозможно.