Обоснование целесообразности разработки автоматизированной процедуры интерактивной оценки квалификационной готовности персонала
Основные недостатки большинства существующих систем, в том числе считающихся профессиональными стандартами, связаны с направленностью диагностики на единичные задачи, вокруг которых строится вся технология их дальнейшей работы. При такой функциональности, которую предоставляют существующие программные средства, возникают трудности с обобщением и использованием опыта, накапливаемого по ходу диагностики, что мешает совершенствовать систему как в информационно-технологическом, так и в предметном отношении.
Основываясь на вышеизложенном можно сделать вывод о целесообразности создания компьютерной технологии, которая бы сочетала в себе реализацию некоторого набора различных измерительных процедур, а также дополнительных диагностических методик с возможностью сбора, хранения, обработки и представления информации по различным методам и различным последовательностям испытаний.
Разрабатываемая в рамках дипломного проекта система может быть полезна крупным организациям для качественной проверки уровня знаний у сотрудников, а так же для оценки целесообразности принятия кандидатов на работу. Система позволит снизить трудовые и финансовые расходы компании на сбор и обработку данных, полученных при процедуре оценки квалификационной готовности персонала. Достоверность выходных данных систем будет подтверждаться, например, IRT-калибровкой.
Так как систему планируется использовать в интерактивных методах проверки квалификационной готовности персонала, одним из основных направлений данной дипломной работы является автоматизация подбора решающих правил.
Постановка задачи
Исходя из сформулированной цели дипломного проекта, основные задачи определены следующим образом:
Создаваемая процедура технического обеспечения оценки квалификационной готовности должна:
Обеспечивать возможность адаптации под конкретные задачи, в том числе планирование наборов (батарей) измерительных процедур;
Собирать результаты измерений от многих источников в режиме web-сервиса;
Обеспечивать валидность и достоверность используемых методов сбора и оценки данных;
Накапливать и хранить собранные данные в единой базе данных;
Обеспечивать возможность анализа собранных данных многими методами, в том числе с помощью известных внешних программных средств математического назначения (MatLab,MathCAD,SPSSи прочих);
Поддерживать режимы обучения экспертной системы и обеспечения диагностических решений на основании данных из единой базы данных;
Предоставлять отчёты в требуемых формах;
Предоставлять удалённый доступ к системе в установленном порядке;
Обеспечивать адекватную защиту всей хранящейся и передающейся (по сети) информации.
Исходя из указанных общих соображений, можно получить требования к функциональности создаваемой системы.
Техническое задание на измерительную часть
Любой перечень методик измерений качеств персонала будет неполным. В рамках данной работы предстоит создать несколько методик, соответствующих критерию юридической валидности. Проблема в том, чтобы оценить психические качества кандидата при том, что прямые подобные испытания запрещены действующим законодательством. Решением может быть создание таких методов, которые с точки зрения испытуемого выглядели бы как проверка квалификационной готовности, но в реальности наряду с основным целевым назначением позволяли получать данные о внимании, памяти, скорости реакции и других характеристиках сенсомоторной координации.
Для решения вышеописанных задач можно использовать следующие методики
Tapping-test
С технической точки зрения, сводится к измерению временных характеристик нажатий на клавиши при работе с клавиатурой. Очень простая методика, позволяющая оценить сложность интеллектуальной нагрузки и динамику работоспособности, а через неё такие личные качества, как ответственность или настойчивость. В принципе вариант методики встраивается в любое задание, требующее работы на компьютере, например, в набор текста или решение математических задач.
Корректурная проба
Стандартная методика оценки внимания. От наблюдателя требуется найти нужные знаки или ошибки в предъявленном тексте. По скорости и точности работы с клавиатурой или мышью можно оценить устойчивость внимания и динамику работоспособности.
Рисуночный экзамен по иностранному языку
Оцениваемому предлагается показать знание терминологии предметной области на родном или иностранном языке, например, показывается схема вагона, и стрелками или номерами указываются детали, для которых надо подобрать название. Помимо правильности ответов, можно измерить время и количество попыток, по которым можно оценить устойчивость при работе в сложных условиях или в условиях ограничений по времени.
Цветовой экзамен по иностранному языку
Оцениваемому предлагается подобрать цвета, ассоциирующие у них с предъявляемыми названиями цветов на родном или иностранном языке, например, показывается слово «янтарный» для которого надо подобрать ассоциирующийся цвет с помощью специальных регуляторов цветности. Помимо правильности ответов, можно измерить время и количество попыток, по которым можно оценить устойчивость при работе в сложных условиях или в условиях ограничений по времени, гибкость мышления, знание языка и погруженность в национальную культуру (информационную среду), проверить на аномалии цветового восприятия (например, дальтонизм).
С помощью подобных методик также может быть решен вопрос обеспечения юридической валидности (например, в «корректурной пробе» измеряем внимание, но выглядит это как экзамен по иностранному языку; в «рисуночном экзамене» оцениваем гибкость ассоциаций, а выглядит это как проверка знания профессиональной терминологии).
Таким образом, в рамках данной работы необходимо разработать несколько программных средств.
интерактивное приложение «Рисуночный экзамен по иностранному языку», в котором
испытуемому на экране предъявляются изображения вида, указанного на рисунке (или подобного);
Рисунок 1.1 – Образцы изображений для методики «Рисуночный экзамен по инностранному языку»
в случайном порядке испытуемому показывается деталь (номером, стрелкой или подсветкой), от испытуемого требуется ввести название указанного фрагмента изображения на соответствующем языке в соответствующее поле для ввода ответов;
предусмотреть возможности проведения как открытого тестирования (когда испытуемый сам пишет свой вариант ответа в отведенном на это поле), так и закрытого тестирования (когда испытуемый выбирает вариант ответа из выпадающего списка вариантов ответов); вид тестирования должен определяться не испытуемым (для него выбор вида тестирования проходит в фоновом режиме), а испытателем перед началом тестирования;
в результате в БД должны записываться idрисунка,idфрагмента, ответ испытуемого и метки времени каждого ответа, начала и окончания тестирования, а также дата тестирования.
интерактивное приложение «Цветовой экзамен по иностранному языку», в котором
испытуемому на экране предъявляются названия цветов на родном или иностранном языке (например, показывается слово «янтарный» для которого надо подобрать ассоциирующийся цвет);
от испытуемого требуется подобрать цвета, ассоциирующие у него с предъявляемыми названиями с помощью специальных регуляторов цветности;
после каждого ответа испытуемому для сравнения должен отображаться эталонный цвет, соответствующий данному названию, а также указываться близость данного испытуемым ответа к эталонному;
набор цветов и их названий, назначенных испытуемому для прохождения, должен определяться не испытуемым (для него выбор проходит в фоновом режиме), а испытателем перед началом тестирования;
в результате в БД должны записываться idцвета, название цвета и его кодRGB, ответ испытуемого (кодRGBподобранного испытуемым цвета) и метки времени каждого ответа, начала и окончания тестирования, а также дата тестирования.