§ 3. Анализ, оценка и экспертиза электронных программно-методических и технологических средств учебного назначения

Выделим основные под­ходы к проблеме оценки качества электронных программно-методических и технологических средств учебного назначения:

• экспериментальная проверка педагогической целесообраз­ности применения электронных программно-методических и технологических средств, основанная на их практическом использовании в процессе обучения в течение определен­ного периода времени;

• экспертная оценка качества, основанная на компетентном мнении экспертов, знающих данную область и имеющих на­учно-практический потенциал для принятия решения;

• критериальная оценка их методической пригодности, ос­новывающаяся на использовании критериев оценки качества;

• комплексная оценка качества, интегрирующая все или некоторые из вышеперечисленных подходов.

В настоящее время именно экспериментальная проверка педагогической целесообразности использования электронного средства учебного назначения созданного учителем или закупленного школой позволяет учителю лично оценить эффективность собственной разработки или готового электронного учебника. В данном случае нужно быть готовым к тому, что мнения учителей будут сильно отличаться. В ходе экспериментального обучения следует провести предварительный и итоговый анализ электронного средства учебного назначения, заполнив представленную ниже анкету. А затем сравнить заявленные авторами характеристики и мнения учителей, которые использовали данный программный продукт в учебном процессе.

Анкета Анализ электронного средства учебного назначения и рекомендации по его использованию

Название программного продукта _______________________ Данный программный продукт рекомендуется для использования: кем и где: при изучении каких тем и разделов: в каких видах учебной деятельности: на каких занятиях: Методическое назначение программного продукта, структура и состав: Особенности программного продукта, например: какие возможности средств современных информационных технологий и коммуникационных технологий реализуются: Каким требованиям (психолого-педагогическим, эргономическим, техническим и т.д.) удовлетворяет:

Оценка качества электронного средства учебного назначения достаточно сложный процесс. Дело в том, что далеко не все созданные программные продукты вписываются в традиционную систему образования, использование подобных программных продуктов приводит к существенному изменению, трансформации обучения и далеко не все учителя воспринимают это однозначно.

Экспертная оценка качества ЭСОН позволяет повысить обоснованность выводов за счет привлечения к этой работе опытного эксперта или экспертов. При этом экспертиза электронных программно-методических и технологических средств учебного назначения состоит в утвер­ждении компетентного мнения большинства экспертов, знаю­щих данную область и имеющих научно-практический потен­циал для принятия решения. Обычно именно такой подход применяется в работе специальных органов по сертификации. Например, такой орган аккредитован Федеральным агентством по техническому регулированию и метрологии в Институте информатизации образования Российской академии образования.

Экспертная оценка качества электронных средств учебного (образовательного) назначения предполагает осуществление психолого-педагогической, содержательно-методической, дизайн-эргономической и технико-технологической экспертизы, проводимой специальными органами по сертификации. Экспертно-аналитическая оценка психолого-педагогического и про­граммно-технического качества ЭСОН и целесообразности его использования в процессе обучения основана на трехэтапной деятельности эксперта (анализ, экспертиза, формирование рекомендаций по доработке) с по­следующей апробацией экспертируемого ПС в учебном про­цессе (возможны циклы).

При осуществлении экспертной оценки психолого-педагогического и программно-технического качества электронных программно-методических и технологических средств учебного назначения экспертами формируется набор показателей для характеристики этих средств и заполняются специальные оценочные листы качества электронного средства образовательного назначения листы (Приложение 2 и Приложение 3). Оценочный лист качества программного средства учебного назначения служит для формирования резюме о пригодности или непригодности применения ЭСОН в процессе обучения на основе ответов эксперта.

Критериальная оценка качества электронных программно-методических и технологических средств ос­нована на использовании критериев оценки качества, и зачастую специальных методик оценки, изложенных в государственных стандартах, отраслевых стандартах и других нормативных и технических документах.

Современная этап создания программного и программно-аппаратного обеспечения для сферы образования характеризуется очень высокой степенью конкуренции. Для успешной работы на этом рынке разработчики должны разрабатывать, внедрять и сопровождать свое программное обеспечение быстро, в срок и с удовлетворительным качеством. Существуют десятки различных подходов к обеспечению качества программного обеспечения. Одним из первых стандартов оценки качества стал стандарт ISO (Международной организации по стандартизации) серии 9000, первая версия которого была выпущена в 1987 году. С тех пор сертификаты ISO серии 9000 сохраняют неизменную популярность и признаются во всем мире.

Однако методики, положенные в основу стандартов серии ISO 9000, постепенно устаревают, что заставляет экспертов разрабатывать более совершенные решения в области обеспечения качества программных продуктов. В начале 90-х годов разработаны новые стандарты и методики оценки качества. Например: Capability Maturity Model (CMM) и ISO/IEC 15504 (SPICE), Bootstrap, Trillium - ориентированный на разработку продуктов в области телекоммуникаций, и ISO 12207, посвященный жизненному циклу программного обеспечения.

К сожалению, использование СММ затрудняет проблемы, связанные с тем, что стандарт СММ является собственностью Software Engineering Institute и не является общедоступным (в частности, дальнейшая разработка стандарта ведется самим институтом, без заметного влияния остальной части программистского сообщества); оценка качества может проводиться только специалистами, прошедшими специальное обучение и аккредитованными SEI; стандарт ориентирован на применение в относительно крупных компаниях⁹.

В 1991 году Международная организация по стандартизации инициировала работу по созданию единого стандарта оценки программных процессов. Стандарт получил имя SPICE (сокращение от Software Process Improvement and Capability dEtermination – определение возможностей и улучшение процесса создания программного обеспечения). Официально стандарт называется «ISO/IEC 15504: Information Technology – Software Process Assessment». Одним из важных достоинств SPICE является его открытость и свободное распространение. В отличие от большинства прочих стандартов, полный текст SPICE можно получить на официальном сайте SPICE: http://www.sqi.gu.edu.au/spice.

Коротко остановимся на стандартах, обеспечивающих информационное взаимодействие пользователей с программой, содержащих определенные требования к интерфейсам. Интерфейсы прикладных программ должны соответствовать стандартам API POSIX и в частности стандарту IEEE 1003.4 для систем реального времени. Применение этих стандартов значительно облегчает переносимость пользовательского интерфейса и приложений на иные платформы. Основная совокупность стандартов поддерживает графические пользовательские интерфейсы (Graphical User Interfaces - GUI). Реализация данного стандарта обеспечивает мобильность пользователей, т.е. предполагает унификацию и сохранение технологии взаимодействия и всех деталей интерфейса пользователей с приложениями при изменении аппаратных и операционных платформ. Пользователь не должен переучиваться при переносе определенных прикладных программ и баз данных на иные платформы, поэтому необходимо обеспечить унификацию интерфейса, обеспечивающего взаимодействие пользователя с различными аппаратно-программными комплексами. В результате сокращаются затраты на освоение новых платформ и предотвращаются многие ошибки при использовании приложений.

Существуют и другие методики, но, к сожалению, невозможно осветить все перспективные направления данной области. Поэтому мы ограничимся упоминанием этих стандартов и отметим, что более подробно с ними можно ознакомиться в специальной литературе.

Комплексная оценка качества электронных программно-методических и технологических средств учебного назначения интегрирует все или некоторые из вышеперечисленных подходов и позволяет избежать субъективизма мнений экспертов и учителей. Например, в ходе проведения экспертной оценки может быть предложено не только заполнение представленных выше оценочных листов, но и оценка (критериальная) эффективности его применения в учебном процессе.

1 С демо-версией программы можно ознакомиться на сайте www.sunrav.ru/download.shtml.

2 http://www.hypermethod.ru

3 http://repetitor.1c.ru

4 www.asymetrix.com, http://home.click2learn.com

5 http://www.lotus.com/home.nsf/welcome/learnspace

6 www.macromedia.com/support

7 Роберт И.В., Панюкова С.В., Кузнецов А.А., Кравцова А.Ю. Информационные и коммуникационные технологии в образовании: Учебно-методическое пособие для педагогических вузов. – М.: Изд-во ИИО РАО, 2006.

8 Панюкова С.В. Информационные и коммуникационные технологии в личностно ориентированном обучении. –М.: "Про-пресс", 1998.

9 С некоторыми свободно распространяемыми материалами по СММ можно познакомиться на сайте Software Engineering Institute: http://www.sei.cmu.edu/cmm.