- •Аннотация
- •Введение
- •Анализ существующих информационных технологий поддержки систем профессиональной диагностики. Постановка задачи проектирования
- •О компании оао «ржд» и квалификационной аттестации
- •Целесообразность проведения квалификационной аттестации в компании оао «ржд»
- •Основные подходы к оценке качества персонала
- •Анализ существующих технологий оценки качества персонала
- •Основные достоинства существующихтехнологий
- •Важнейшие недостатки существующих технологий
- •Обоснование целесообразности разработки автоматизированной процедуры интерактивной оценки квалификационной готовности персонала
- •Постановка задачи
- •Техническое задание на измерительную часть
- •Требования к разрабатываемой системе оценки качества персонала
- •Требования к системе в целом
- •Требования к разрабатываемой измерительной процедуре
- •Требования к функциям системы
- •Требования к программному обеспечению
- •Требования к хостингу
- •Требования к политике информационной безопасности
- •Анализ исходных данных
- •Требования к пользовательскому интерфейсу
- •Требования к персоналу системы оценки качества персонала
- •Описание разработанных подсистем оценки квалификационной готовности персонала
- •Введение в главу
- •Обоснование выбора средств разработки подсистем оценки квалификационной готовности персонала
- •Обоснование выбора системы управления контентом
- •Обоснования выбранной субд
- •Обоснование выбора хостинга
- •Обоснование выбора средстваAdobeFlashдля разработки инструментов оценки квалификационной готовности персонала
- •Обоснование выбора средства eRwin для проектирования и генерации базы данных
- •Описание созданной базы данных
- •Логическая и физическая модели базы данных
- •Генерация базы данных из eRwin в MySql
- •Описание разработанной системы
- •Описание функциональных характеристик разработанных подсистем оценки квалификационной готовности
- •Описание модулей системы
- •Описание модулей подсистемы «Рисуночный экзамен по иностранному языку»
- •Описание модулей подсистемы «Цветовой экзамен по иностранному языку»
- •Интерфейс системы
- •Демонстрация разработанных процедур оценки квалификационной готовности персонала
- •Заключение к главе
- •Системотехнические расчеты
- •Расчет среднего времени реакции системы
- •Выбор модели расчёта
- •Расчёт среднего времени реакции
- •Оценка безошибочности исходных данных
- •Общие сведения
- •Выбор модели расчёта
- •Расчёт информационной цепи
- •Вероятности возникновения ошибок на различных этапах переработки данных
- •Вероятности пропуска ошибок при различных методах контроля
- •Построение информационной цепи
- •Вероятность возникновения ошибки после I-ой операции переработки данных
- •Заключение
- •Экономика
- •Эффективность автоматизации
- •Постановка экономической задачи
- •Расчет затрат, связанных с разработкой проекта автоматизации
- •Затраты на техническое обеспечение
- •Затраты на программное обеспечение
- •Затраты на организационное обеспечение
- •Затраты на информационное обеспечение
- •Итоговые затраты
- •Расчет показателей эффективности проекта
- •Расчет показателя «уровень информационного обеспечения» разрабатываемой системы
- •Расчет показателя «уровень трудозатрат отдела кадров»
- •Расчет экономического эффекта.
- •Анализ человеко-машинного взаимодействия (ачмв)
- •Рисуночный экзамен по иностранному языку
- •Цветовой экзамен по иностранному языку
- •Инструкция лаборанта
- •Тестовые результаты прохождения методики «Рисуночный экзамен по иностранному языку»
- •Заключение
- •Список использованной литературы
- •Приложение №1 Инструкция пользователя
- •Рисуночный экзамен по языку
- •Цветовой экзамен по языку
- •Приложение №2 Листинг методики «Рисуночный экзамен по иностранному языку» Слой «Диагностика: Кадр 1»
- •Слой «Диагностика: Кадр 2»
- •Слой «Диагностика: Кадр 3»
- •Слой «Buttons: Кадр 1»
- •Фрагмент ролика «StartBtnMc»
- •Кнопка «Save_username»
- •Кнопка «Save»
- •Фрагмент ролика «StopBtnMc»
- •Кнопка «Закрыть»
- •Фрагмент ролика «в начало»
- •Кадр 1 «StartBtnMc: Layer 1»
- •Кадр 1 «StopBtnMc: Слой 1»
- •Кадр 1 «в начало: Слой 1»
- •Приложение №3 Листинг методики «Цветовой экзамен по иностранному языку» Слой «Оппонентные цвета: Кадр 1»
- •Кадр 2 «Оппонентные цвета»
- •Кадр 3 «Оппонентные цвета»
- •Слой «Buttons: Кадр 1»
- •Фрагмент видеоролика «StartBtnMc»
- •Кнопка «Save_username»
- •Кнопка «Save»
- •Фрагмент видеоролика «StopBtnMc»
- •Оглавление
- •Глава 1Анализ существующих информационных технологий поддержки систем профессиональной диагностики. Постановка задачи проектирования 5
- •Глава 2 Описание разработанных подсистем оценки квалификационной готовности персонала 37
- •Глава 3Системотехнические расчеты 69
- •Глава 4Экономика 82
- •Глава 5Анализ человеко-машинного взаимодействия (ачмв) 95
Целесообразность проведения квалификационной аттестации в компании оао «ржд»
Компания "РЖД" относится к кадрам как к своему стратегическому ресурсу. В связи с этим ОАО «РЖД» устанавливает высокие требования к своему персоналу. «Не только глубокие профессиональные знания, но и способность специалистов дисциплинированно соблюдать технологию, активно участвовать в ее совершенствовании и постоянно работать над собой - вот что требуется сейчас как от молодых специалистов, так и от кадровых работников компании "РЖД"» [2].
Так как компания ОАО «РЖД» обеспечивает грузовые и, что особенно важно, пассажирские перевозки, то персонал компании отличается от служащих других компаний тем, что сотрудники компании должны обладать
чутким вниманием;
быстрой реакцией, как в штатных, так и в нештатных ситуация;
стабильной работоспособностью независимо от времени суток и времени года и высокой устойчивостью функционального состояния.
Таким образом, возникает необходимость в наборе методик, позволяющих оценивать такие качества персонала.
Единый кадровый резерв Холдинга «РЖД» состоит из стратегического резерва, резерва корпоративного развития, базового и молодежного резерва2.
С целью обеспечения действенности резерва предлагается проводить зачисление в него только на основе результатов оценки кандидатов по корпоративным компетенциям, а также обоснованной и объективной оценки непосредственным руководителем. А для того, чтобы резерв был действующим и действенным, предложено правило, по которому должностные лица, показавшие низкие качества профессиональной подготовки, должны исключаться из резерва кадров [4]. Методические обоснования такого подхода спорны, но в любом случае необходимо разработать систему, предназначенную для сбора и обработки информации о пользователях (персонале ОАО «РЖД»).
В такой системе надо запланировать оценку квалификационной готовности с оценками некоторых важных качеств персонала для прогноза профессиональной успешности и прогноза динамики обучения.
В то же время оценка персонала должна соответствовать ТК, в котором не предусмотрено психологическое тестирование в связи с приёмом на работу и ограниченно разрешено при решении вопроса о служебных перемещениях [29].
Основные подходы к оценке качества персонала
Среди основных подходов к оценке качества персонала можно выделить следующие:
Классический, он же нормативно-ориентированный, подход;
Компетентностный подход;
Современный подход на основе оценки ресурсов.
Между нормативно-ориентированными и компетентностно-ориентированными подходами отмечен ряд различий [5] в интерпретации персональных оценок. Главное различие — цели оценок. Нормативно-ориентированные оценки позволяют оценить соответствие знаний и умений испытуемого некоторой норме, в простейшем варианте по шкале «подходит — не подходит», в более сложных вариантах по шкалам большей мощности. Компетентностно-ориентированные оценки дают возможность оценки уровня готовности к стандартным действиям, т.е. характеризуют уровень предварительной обученности. Кроме того, от компетентностно-ориентированных методик чаще всего требуется большая детализация. Третье различие в отношении к статистической обработке и калибровке. Нормативно-ориентированные методики в большинстве случаев предполагают деонтическую калибровку, компетентностные —статистическую.
Современный подход использует более гибкие подходы:
Управление ситуационным поведением вместо управления трудовыми ресурсами (HR);
Оценка разных составляющих готовности вместо единой оценки компетенций;
Мониторинг персонала и интерактивные обучающие технологии вместо психопрогностики.
Это не означает отмену опыта, накопленного в рамках идеологии ПВК и идеологии компетенций. Эти подходы в равной степени необходимы для создания диагностических методов в системах оценки готовности персонала.
Остаётся важной и задача поиска предикторов эффективности, к изначальной постановке добавляется пожелание динамичности с учётом многих факторов, определяющих текущую ситуацию (подробнее об этом см. в [39], [38]). Современные информационные технологии открывают такую возможность.
На сегодняшний день в мире все наиболее популярные процедуры проведения квалификационной аттестации персонала можно отнести к двум видам процедур: американской и европейской. В первом случае оценка проводится для определения соответствия сотрудника своему рабочему месту, определения тех измерений в его работе, которые произошли со времени проведения последней оценки; результаты такой оценки влияют на оплату, статус сотрудника в компании. Во втором же случае акцент делается на получение обратной связи от сотрудника для планирования развития карьеры, индивидуального развития, планирования обучения; здесь сама процедура должна быть максимально неформальной, открытой, не приводящей к серьезным изменениям финансового и карьерного положения сотрудника [45].
Но все современные подходы к оценке качества знаний связаны с несколькими основными идеями ([6], [7] и др.), а именно:
Ставится вопрос об академической мобильности, и, следовательно, о необходимости унификации и стандартизации контрольных мероприятий, вплоть до оформления специальной профессиональной области «evaluation», название которой не вполне точно можно перевести на русский язык как «учение об оценках».
В противовес унификации и стандартизации оценочных процедур предлагается идея оценки индивидуальной успешности деятельности в разных смыслах — познавательном, функциональном, социальном, личном, финансовом и т.п., и логически получающаяся отсюда идеология обеспечения соответствующих компетенций.
Эти идеи во многих случаях связаны с идеологией стандартов ISO9-й серии (ISO9000, 9001, 9004). В частности, известные 8 принципов менеджмента качества по версииISO(русский вариант см. [8]), и, прежде всего, процессный подход, считаются весьма полезными. Эта идеология означает отношение к деятельности по обучению как к оказанию услуг особого рода, и, следовательно, понимание качества обучения и качества знаний в соответствии с общей идеологией оценок качества, из чего, в свою очередь, следует задача обоснования шкал (метрик) качества соответствующих услуг.
В России, в целом, происходит движение в том же направлении. Правда, основные российские подходы непоследовательны и противоречивы. Например, «Закон о техническом регулировании» ([5], статья 3) прямо указывает, что нормы технического регулирования и, следовательно, стандарты ISOне действуют в отношении образовательных услуг. Тем не менее, стандартыISOчасто предлагаются как основа оценок качества образовательных услуг [6], [7], [10]. При этом, в соответствии с современной идеологией стандартовISO, соответствие стандартамISOгарантирует прохождение аудита качества, но не гарантирует собственно качество итоговой продукции, в случае образовательных услуг — качество знаний, при том, что для обоснования каких-либо подобных гарантий в действующем законодательстве никаких норм вообще нет. В обсуждаемом проекте новой версии закона об образовании [1] вообще не упоминаются какие-либо шкалы и метрики. Но там же упоминаются вопросы качества образования и образовательных услуг, и при такой юридической конструкции непонятно, каким способом предполагается выполнять оценку соответствия.
В центре тестирования Министерства образования и науки РФ при участии подведомственных министерству организаций был разработан прототип отраслевого стандарта «Тестирование педагогическое. Термины и определения». Но согласно этому документу, основной целью педагогических измерений, по мнению Министерства образования РФ, считается количественная оценка уровня подготовленности испытуемого [12], то есть в государственную систему оценок заложен всё тот же компетентностный подход.
Таким образом, на текущий момент по законодательству РФ проведение квалификационной аттестации и обучение в рамках стандарта ISOв России невозможно.
Опыт европейских государств и государств Северной Америки доказал, что аттестация является действенным средством работы с кадрами, позволяющим осуществлять контроль за уровнем квалификации и профессионализмом гражданских служащих. В России же, несмотря на позитивные сдвиги, произошедшие в результате реформирования государственной службы, в большинстве случаев аттестация страдает прежними недостатками, а потому не способствует достижению тех целей, ради которых проводится [44]. В России не включено главное условие, обеспечивающее эффективность аттестации — ответственность, вплоть до материальной и юридической, аттестационной комиссии за результаты действий аттестованных.
При обсуждении различных политических вопросов вне рассмотрения часто остаются вопросы профессиональные, в связи с проблематикой качества знаний — прежде всего метрологические и психометрические аспекты, вопросы валидности и связь познавательной и экономической деятельности, известная под названием «проблема интеллектуального капитала».
В современных теориях известно много методов оценки знаний, но все они чаще всего сводятся к проверке уровня фактических знаний, что не всегда отображает готовность к той или иной работе. Поэтому необходимы многофакторные оценки не только знаний, но и общей психологической и иной подготовленности кандидата. При этом если тест или экзамен мы считаем измерительной процедурой, то возникает вопрос о поверке и калибровке этого измерительного инструментария. При создании оценок качества знаний основные трудности возникают в части формирования шкалы оценок выполнения заданий. Но гораздо важнее принципиальная проблема сравнимости оценок.
На сегодняшний день интерактивные технологии оценки качества знаний обычно ограничены открытыми или закрытыми опросниками. Причины такого положения дел можно объяснить незнанием возможностей современных методов отображения информации основной массой экспертов в психодиагностике и незнанием психодиагностических методов как основной массой специалистов по информационным технологиям, так и основной массой «специалистов» по т. н. «педагогическим измерениям» [13], [14].
Оценка состояния персонала (людей) сводится к функциональной (например, энцефалограмма) и психологической диагностике, например, по известным методам типа MMPIилиIQ. Со времён созданияIQметрологическое обоснование измерений знаний проводится по распределениям баллов, вычисленных по соответствующему контингенту респондентов. Например, указываются средние значенияIQпо возрастным, социальным или профессиональным группам. Однако из разницыIQпри калибровке по группам непонятно, какие принципиальные отличия в структуре знаний различают эти группы.
Таким образом, центральной проблемой в оценке качества знаний оказывается проблема оценки субъективной когнитивной сложности или, как минимум, калибровка измерительного инструментария по критерию когнитивной сложности.
Для того чтобы избежать этих проблем, нужно использовать какую-то дополнительную корректирующую методику.
К настоящему времени мировой опыт проведения квалификационного анализа сводится к использованию прямых подсчётов баллов и иногда некоторых основных корректирующих (калибровочных) методов. К ним относятся, в частности
Методы, известные из инженерной метрологии, типа оценок чувствительности и измерительной погрешности, изначально построенные, о чём мало кто вспоминает, на основе психофизической идеологии, в которой изначально не учитывается отдалённое последействие, и, следовательно, любые проявления памяти;
Методы, основанные на экспериментах Эббингауза и моделях Аткинсона, эти методы изначально ограничены задачами, в которых ноеобходимо учитывать динамику обучения (подробнее об этом см. в [14], [15], [16]);
Методы, известные из вероятностного моделирования, типа оценки поправок на случайное гадание и test-retest- иtest-to-test-зависимости;
Теория IRT, изначально построенная тоже для калибровки методов оценки результатов обучения, но в которой изначально нет допущений, специфических для задач обучения, и которая поэтому стала использоваться и для других оценочных технологий (подробнее об этом см. [6], [17], [18], [19], [20Error: Reference source not found] и др).
Однако в отечественной литературе этот круг вопросов практически не обсуждается, в отечественной литературе обсуждаются лишь методы обработки результатов соответствующих измерений, или организационные аспекты мониторинга качества знаний ([6], [22], [23], [24], [25] и др.), тогда как о методах самих измерений в этих работах упоминаний практически нет. Более того, типично мнение о том, что «вопрос о шкалах всего лишь дань традиции и он вовсе не необходим для адекватного разговора об измерениях» и что «любое измерение можно осуществить и без всяких потерь описать, полностью опустив при этом всю проблематику, связанную со шкалами» (цит. из []). С таким подходом согласиться нельзя по многим причинам, в частности, из такого мнения следует, что измерения предлагается выполнять и вовсе без доказательства корректности шкал (метрик), и, следовательно, без обоснования критериев соответствия, после чего исчезает какой-либо содержательный смысл в подобных измерениях.
Поэтому в вопросе об оценке качества знаний первоочередным оказывается теоретическое обоснование корректности соответствующих измерений.
В связи с проникновением знаний по теории восприятия и когнитивным наукам в среду разработчиков программного обеспечения положение постепенно начинает выправляться, однако методически корректные подходы к интерактивной оценке качества знаний остаются эпизодическими.
В докомпьютерную эпоху возможности обоснования прогнозов были ограничены необходимостью трудоёмких измерений, и вычислений, а в последнее время в связи с появившимися техническими возможностями ставится вопрос о переходе от диагностики к прогностике.
В настоящее время так же ведутся работы по созданию полноценной экспертной системы профессиональной диагностики (ЭСПД) в применении к задачам оценки качества подготовки персонала [29]. Эта система проектировалась как многоцелевой аппаратно-программный комплекс, ориентированный на выявление и доказательство информативности предикторов эффективности в профессиональных диагностических и прогностических процедурах. Некоторые примеры позволяют продемонстрировать возможности ЭСПД в применении к задачам оценки эффективности обучения.
В отличие от систем технического мониторинга, для которых обычно требуются системы реального времени, управляющие сбором данных, поступающих с многочисленных датчиков, в психодиагностических задачах ограничения по реальности времени и источникам данных не столь жёсткие. В большинстве случаев точность по времени ±5 мс заведомо избыточна, и, следовательно, в принципе достижима при использовании операционных систем массового назначения. Точность порядка ±5 мс и выше необходима только при измерении особенностей сенсомоторной координации, для исследований восприятия измерения должны обеспечивать ещё меньшую погрешность по времени. Компьютерные версии измерительных процедур обычно не требуют оборудования сверх обычных конфигураций с видеотерминалом и звуковой системой (возможно, лучшего качества по сравнению с офисными). Обычно не требуется даже специальная калибровка видеотерминалов или звуковых устройств. Психодиагностическая специфика определяется только набором методов, включённых в измерительную часть.
Для оценки качества персонала могут быть использованы многие методы. Возможна оценка текущего функционального состояния персонала, особенностей сенсомоторной координации, психологического типа обследуемого, субъективной сложности выполняемых действий и т.д.