1. Общая характеристика функциональных возможностей базовой версии компонента выявления текущего уровня компетенций обучаемого и модуля статистической обработки результатов

Задачно-ориентированная методология (ЗОМ) построения ИЭС [1] и поддерживающий ее инструментарий нового поколения - комплекс АТ-ТЕХНОЛОГИЯ позволяют осуществлять разработку широкого класса обучающих ИЭС, обладающих развитыми интеллектуальными средствами обучения, мониторинга и тестирования обучаемых.

Инструментальный комплекс АТ-ТЕХНОЛОГИЯ является динамически развивающимся отечественным инструментарием типа WorkBench, т.е. в контексте автоматизации программирования – это интегрированная инструментальная система, поддерживающая полный жизненный цикл создания на основе ЗОМ и сопровождения прикладных ИЭС в статических проблемных областях, включая интеллектуализацию процессов построения ИЭС. Важнейшими особенностями современных компьютерных технологий обучения являются процессы индивидуализации, интеллектуализации и веб-ориентации традиционных обучающих систем, программ и технологий, что в значительной степени определяется практическим использованием при их разработке методов и средств искусственного интеллекта, в частности экспертных систем и интегрированных экспертных систем, а также успехами бурно прогрессирующей технологии обучения через веб [2]. Важной особенностью комплекса АТ-ТЕХНОЛОГИЯ является наличие специальных инструментальных средств в виде подсистемы поддержки построения обучающих веб-ИЭС.

Этап детального проектирования компонентов обучающей веб-ИЭС проводится при помощи средств подсистемы поддержки построения обучающих веб-ИЭС и включает в себя:

• построение эталонной модели курса Ме

• построение модели обучаемого M1

• построение модели обучения M2.

Построение модели проблемной области (ПрО) M3 и модели объяснения M4 обеспечивается базовыми средствами комплекса АТ-ТЕХНОЛОГИЯ. Построение Ме осуществляется в режиме работы преподавателя (DesignTime), а построение M1 и М2 - в режиме работы с обучаемым (RunTime). Общая архитектура подсистемы поддержки построения обучающих веб-ИЭС, включая средства взаимодействия подсистемы с другими средствами комплекса, представлена на Рис. 1.

Подсистема поддержки построения обучающих веб-ИЭС состоит из следующих средств: средства построения модели обучаемого M1, средства построения модели обучения M2, средства построения эталонной модели курса Ме, средства мониторинга процесса функционирования обучающей веб-ИЭС.

Рис.1. Общая архитектура подсистемы поддержки построения обучающих веб-ИЭС и её взаимосвязь с остальными средствами комплекса АТ-ТЕХНОЛОГИЯ

В фокусе внимания данной работы находятся программные средства формирования модели обучаемого М1, а также - средства мониторинга процесса функционирования обучающей ИЭС, поэтому подробно рассмотрим функциональность этих средств.

Средства мониторинга процесса функционирования обучающей ИЭС

Мониторинг ( лат. Monitor - тот, кто напоминает, предупрежда­ет; англ. Monitoring - осуществление контроля, слежения) представляет собой специально организованное, систематическое наблюдение за состоянием объектов, явлений, процессов с целью их оценки, контроля или прогноза. Образовательный мониторинг представляет собой систему сбора, хранения, анализа и представления информации о качестве образовательного процесса в образовательном учреждении.

В процессе мониторинга выявляются тенденции в развитии системы образования, соотнесенные во времени, а также последствия принимаемых решений. В рамках мониторинга проводится выявление и оценивание проведенных педагогических действий. При этом обеспечивается обратная связь, осведомляющая о соответствии фактических результатов деятельности педагогической системы ее конечным целям.

К основным функциям мониторинга относятся[17]:

диагностическая – сканирование состояния системы образования и происходящих в ней изменений, что позволяет дать оценку данным явлениям;

экспертная – в рамках мониторинга возможно осуществление экспертизы состояния, концепции, форм и методов развития системы образования, ее компонентов и подсистем;

информационная – мониторинг является способом регулярного получения сопоставимой информации о состоянии и развитии системы, необходимой для анализа и прогноза состояния и развития системы;

интегративная – мониторинг является одним из системообразующих факторов, обеспечивающих комплексную характеристику процессов.

При организации мониторинга важно выполнить следующие задачи[18,19]:

1. Определить критерии качества реализации мониторинга, выработать комплекс показателей, обеспечивающих целостное представление о состоянии системы, качественных и количественных изменениях в ней.

2. Отобрать средства диагностики.

3. Установить уровень соответствия реального состояния объекта ожидаемым результатам.

4. Систематизировать информацию о состоянии и развитии системы.

5. Обеспечить регулярное и наглядное представление информации о происходящих процессах.

6. Организовать информационное обеспечение анализа и прогнозирования состояния и развития системы образования, выработки управленческих решений.

Информация, собираемая в процессе мониторинга, должна соответствовать требованиям объективности, точности, полноты и достаточности[20].

Архитектура средств мониторинга процесса функционирования обучающих ИЭС представлена на рис.2. Данная архитектура включает два основных компонента: компонент обработки данных и компонент формирования отчетов для преподавателя.

Рис.2. Архитектура средств мониторинга процесса функционирования обучающих веб-ИЭС

База данных проекта. Обеспечивает хранение информации веб-ИЭС. Логическая схема текущей базы данных, с описанием её сущностей описана в приложении.

База данных находится под управлением СУБД MySQL 5. Текущая информация хранится в БД FBSTS. Периодически происходит резервное копирование данных.

Компонент обработки данных. Данный компонент обеспечивает сбор, хранение и анализ данных.

Компонент формирования отчетов. Данный компонент обеспечивает визуальное представление отчетов и сохранение отчетов в виде документов заданного формата.

Далее рассмотрим подробнее компонент обработки данных, а именно, - параметры статистической обработки информации и модуль статистической обработки данных.

Параметры статистической обработки информации

Статистики, характеризующие обучаемых, анализируются при помощи уровня знаний и уровня умений.

Уровень знаний определяется на основе тестирования, реализованного в обучающих веб-ИЭС. Результаты тестирования представляют из себя список тем, по которым обучаемый отвечал на вопросы, баллы, рассчитанные по обобщенной оценке Ричардсона, а так же общий балл за каждое тестирование. Количество прохождений тестов для всех курсов равно n >=2.

Рис.4. Параметры аналитической и статистической обработки результатов использования обучающих ИЭС

Определение уровня умений варьируется в зависимости от курса, однако результаты его единообразны и представляют из себя сводный балл за прохождение задания по выявлению уровня умений в конкретном курсе.

В данной работе уделяется внимание следующим статистикам:

1. Степень достижение целевых компетенций по конкретным курсам и дисциплинам: определение текущих компетенций обучаемых в зависимости от их уровня знаний и умений.

2. Прогноз уровня компетенций: прогнозирование компетенций обучаемых в будущем на основе статистики по имеющимся компетенциям до текущего момента.

Модуль статистической обработки информации

Архитектура модуля представлена на рис 3.

Рис.3. Архитектура модуля статистической обработки данных

Данная архитектура включает в себя 6 подмодулей: Подмодуль анализа текущего уровня компетенций обучаемых, подмодуль прогноза результатов экзамена, подмодуль анализа “проблемных зон” по конкретным курсам/дисциплинам, подмодуль анализа корреляции умений и знаний обучаемых по конкретным курсам/дисциплинам, подмодуль анализа эффективности применения индивидуальных планов обучения по конкретным курсам/дисциплинам.

Так как при мониторинге важную роль играет обработка данных, то рассмотрим параметры статистической обработки информации, используемой в процессе функционирования обучающих веб-ИЭС, характеризующих обучаемого и контингент обучаемых, сформулированные Рыбиной Г.В., для анализа огромного количества накопленных данных, с целью улучшения качества обучения и выполнения функций мониторинга.

Средства построения модели обучаемого

Процессы формирования модели M1 реализуются средствами построения модели обучаемого, детальная архитектура которых представлена на Рис.2. Средства построения модели M1 обеспечивают: выявление текущего уровня знаний обучаемого; выявление текущего уровня умений обучаемого; выявление личностных характеристик обучаемого; выявление текущего уровня компетенций обучаемого; формирование модели M1; сравнений моделей M1 и Mе.

Следует отметить, что такие элементы модели М1, как текущий уровень знаний, текущий уровень умений, личностные характеристики выявляются в режиме диалога с обучаемым, как это видно на функциональной архитектуре средств построения модели обучаемого на Рис. 5. В то же время текущий уровень компетенций обучаемого определяется исходя из результатов выявления уровня знаний, умений, личностных характеристик.

Рис.5. Архитектура средств построения модели обучаемого

Еще один важнейший компонент средств построения модели М1 – компонент отображения текущей М1 на Ме. Данный компонент, фактически, производит следующие действия: сравнение М1 на Ме; анализ результата сравнения и формирование списка «проблемных» тем обучаемого.

В результате выявления вышеперечисленных элементов формируется модель M1.

В центре внимания данной работы находятся вопросы, связанные с разработкой подмодуля анализа текущего уровня компетенций обучаемых на базе текущей версии компонента выявления текущего уровня компетенций обучаемого.

Компонент выявления текущего уровня компетенций обучаемого.

Средствами построения модели обучаемого М1 поддерживается М1^зн_тек, которая представляет собой ориентированный граф следующего вида:

М1^зн_тек =<V, U>, где

V=<V¹,V²> – множество вершин, которые в свою очередь делятся на V¹={v¹₁,…,v¹_n} – множество изучаемых понятий, n – количество изучаемых понятий, элемент v¹_i= <N,T,W,K_текi>, i =1,…,n, где N – изучаемое понятие; Т=(0,1), принимает значения знает/не знает; W=(0,..,10) – вес вершины; K_текi = <N_Сij,W^нач_Cij, W^кон_Сij>, i = 1,…, ; j=1,…,k, – множество выявленных компетенций, k – количество компетенций, соответствующих курсу, N_Сij = {n_C1,…,n_Ck} – множество названий компетенций, соответствующих курсу; W^нач_Cij = {w^нач_C1,…,w^нач_Ck} - множество сбалансированных эталонных значений весовых коэффициентов компетенций; W^кон_Сij={w^кон_C1,…,w^кон_Ck} - множество выявленных компетенций обучаемого;

V²={v²₁,…v²_m} – множество умений, относящихся к данной модели, m – количество соответствующих умений, элемент v²_j= <N,T,W>, j=1,…,m, где N – изучаемое умение; Т=(0,1), принимает значения умеет/не умеет; W=(0,..,10) – вес вершины;

U={uj}=<V_k, V_l, R>, j=1,…,m – множество связей между вершинами, где V_k – родительская вершина; V_l – дочерняя вершина; R={R_z} – тип связи, z=1,…,Z ( R₁ – связь типа «часть-целое» (агрегация); R₂ – связь типа «ассоциация»; R₃ – «слабая» связь).

Данный компонент позволяет выявить текущий уровень компетенций обучаемого по результатам прохождения им контрольных тестирований.

Архитектура компонента выявления текущего уровня компетенций обучаемого показана на Рис. 6. В состав архитектуры входят: модуль определения целевых и текущих компетенций, модуль сравнения целевых и текущих компетенций, модуль формирования текущих компетенций.

Рис. 6. Архитектура компонента выявления текущего уровня компетенций обучаемого.

Компонент предназначен для автоматического заполнения массива текущих компетенций в соответствии с заданными на входе параметрами.. Данный компонент производит следующие действия: сравнение МK^tek на Kе; анализ результата сравнения и выявление текущего уровня компетенций обучаемого.

Модуль определения целевых и текущих компетенций. Модуль обращается к БД, из которой получает данные о модели обучаемого (текущий уровень знаний, текущий уровень умений, личностных характеристики обучаемого), эталонной модели курса.

Модуль сравнения целевых и текущих компетенций. Модуль обеспечивает сравнение модели текущих компетенций и модели целевых компетенций.

Модуль формирования текущих компетенций. Модуль осуществляет согласно заданным алгоритмам определение какими компетенциями из заданных в модели целевых компетенций обладает обучаемый, определяет насколько заполнена модель текущих компетенций обучаемого.

Далее рассмотрим алгоритм выявления текущего уровня компетенций обучаемого базовой версии компонента.

Алгоритм выявления текущего уровня компетенций обучаемого

Развитием базовых алгоритмов и программных средств поддержки построения модели обучаемого в контексте компетентностно-ориентированного подхода актуализировало необходимость разработки алгоритма для оценивания компетенции обучаемого, позволяющего выявить текущий уровень компетенции обучаемого во время прохождения тестирования.

Алгоритм расчета сбалансированных весовых коэффициентов компетенций

Для формировании модели обучаемого М1 используется эталон Ме, с которым сравниваются полученные на этапе построения M1 результаты. Сравнение происходит путем отображения текущей модели М1 на Ме, фактически происходит следующие действия: сравнение М1 и Ме; анализ результата сравнения и формирование списка компетенций и «проблемных» тем обучаемого.

Весовой коэффициент компетенции Wc_i – это некий процент компетенции, который, по мнению преподавателя, может быть усвоен студентом в результате прослушивания конкретной темы. Поскольку курс сбалансирован, т.е. после его прослушивания студент должен в полной мере обладать каждой из приписанных компетенций (происходит 100% покрытие), необходимо преобразование весов компетенций уже относительно всего курса в целом, а не отдельной темы. На Рис. 7 представлен алгоритм вычисления сбалансированных весовых коэффициентов компетенций.

Шаг 1. Начало.

Шаг 2. Получение базы данных весовых коэффициентов Wc_ij компетенций для каждого элемента структуры курса/дисциплины.

Шаг 3. Запись полученных данных в массивы Xk таким образом, что в каждый массив заносятся значения компетенции нужного курса.

Шаг 4. Вычисление новых весовых коэффициентов компетенций относительно всего курса в целом: поскольку Ʃ Wc_ij = 100%, отсюда вычисляется

W^нач_Cij = Wc_ij / Ʃ_i Wc_ij, где W^нач_Cij – сбалансированный весовой коэффициент.

Шаг 5. Создание нового массива Yp для каждого элемента структуры курса, куда вносятся уже соответствующие сбалансированные весовые коэффициенты компетенций.

Шаг 6. Конец.

Рис. 7. Алгоритм вычисления сбалансированных весовых коэффициентов компетенций

Алгоритм реализации метода оценивания текущего уровня компетенции обучаемого

На Рис. 8 показан алгоритм, реализующий метод оценивания текущего уровня компетенции обучаемого.

Шаг 1. Начало.

Шаг 2. Получение выборки результатов выявления уровня знаний обучаемого (т.е. набранный за каждую тему балл с учетом уровня сложности) SQL-запросом из базы данных

Шаг 3. Запись полученных значений в массив quei.

Шаг 4. SQL – запросом из базы данных получаем выборку возможных максимальных результатов (т.е. максимальный возможный за каждую тему балл с учетом уровня сложности).

Шаг 5. Полученные значения заносятся в массив que′i.

Шаг 6. Сравнение уровня знаний обучаемого с эталонной моделью: ti = quei / que′i.

Шаг 7. Запись полученных отношений в массив.

Шаг 8. Вычисление значения каждой компетенции обучаемого: W^кон_Сij = tp * W^нач_Cij

Шаг 9. Сохранение полученных данных в массиве tij

Шаг 10. Вычисление итоговых значений компетенции обучаемого:

W^кон_Сj = ∑_j W^кон_Сij, где W^кон_Сj – это итоговая оценка каждой компетенции обучаемого.

Шаг 11. Конец.

Рис. 8. Алгоритм метода оценивания текущего уровня компетенции обучаемого

Данные, полученные в ходе компьютерного тестирования обучаемого (а именно выявленные проблемные зоны и текущий уровень компетенции), необходимы для дальнейшего построения стратегии (плана) обучения.