Тема 7 Тестирование в исследовании систем управления.
Сфера метода тестирования. Конструкция теста. Правила формулирования высказываний. Характеристики теста.
Тест – испытание, мерило, критерий; исследование, проба, анализ, медицина; реакция, реактив.
В зависимости от сферы исследований, тест:
- удовлетворяющая критериям исследования эмпирико-аналитическая процедура;
- комплекс высказываний, позволяющий объективно отразить реально существующие отношения между людьми;
- метод изучения глубинных процессов деятельности человека, основывающийся на его высказываниях или оценках факторов функционирования системы управления;
- искусственное строго дозированное воздействие, направленное на объект в процессе проводимого эксперимента и позволяющее по ответной реакции исследовать его состояние.
Конструкции высказываний:
- «да», « нет»;
- «согласен», «не согласен»;
- «совершенно верно», «верно», «скорее верно, чем неверно», «трудно сказать», «скорее неверно, чем верно», «неверно», «совсем неверно»;
- оценки:
- «очень высокая», «высокая», «выше среднего», «средняя», «ниже среднего», «низкая», «очень низкая»;
- от 1 до 10 баллов;
- от 0 до 1 балла.
Этапы подготовки к тестированию:
- определение целей, задач, правил, требуемого результата, начала и окончания тестирования;
- определение возможных последствий тестирования;
- определение необходимого объёма информации;
- определение методов сбора информации;
- определение методов обработки информации;
- определение методов использования информации;
- формулирование методики проведения оценки результатов тестирования;
- определение направлений и вариантов использования результатов.
Правила формулирования искусственно созданных воздействий испытательного характера:
- целенаправленность;
- однозначность понимания;
- логичность;
- краткость;
- информативность;
- простота, понятность, доступность;
- нейтральность;
- позитивность и негативность высказываемых суждений;
- альтернативность (число суждений не больше 10 и не меньше 4; причем и позитивные, и негативные);
- отсутствие намёка на ответ.
Свойства теста:
1) Надёжность (определяется целью и задачами исследования; качеством высказываний). Проверка надёжности – раздельное коррелирование (внутренняя корреляция высказываний), дисперсионный анализ, факторный анализ, повторное или параллельное тестирование.
2) Валидность – способность измерять и отражать то, что по замыслу.
Тема 8 Параметрическое исследование и факторный анализ систем управления.
Сущность, виды и классификация параметров. Требования к показателям. Методы определения показателей. Связь количественных и качественных признаков систем управления с показателями. Параметрические расчёты показателей. Общий порядок проведения оценок параметрическим методом. Метод факторного анализа. Корреляционный метод. Корреляционные зависимости в управлении. Квалиметрические методы.
Параметрический метод основан на количественном описании свойств системы управления и на качественном описании свойств свойств системы управления; устанавливает характеристики взаимосвязей между параметрами управляющей системы и управляемого объекта и внутри них; зависимости могут быть функциональными и корреляционными. Параметры суть показатели, по методу определения:
- инструментальные: получают с помощью измерительных средств;
- расчётные: базируются на использовании информации, получаемой с помощью теоретических или эмпирических зависимостей;
- статистические: использование информации, получаемой путём подсчёта числа определённых событий;
- органолептические: использование информации, получаемой в результате восприятия чувств: зрения, слуха, обоняния, осязания и вкуса;
- экспертные: работают специалисты-эксперты для определения эргономических и эстетических показателей:
- социологические: например, анкетирование;
- комбинирование: овокупность разных методов.
Комплексные показатели, например:
а)
– комплексный
показатель,
- единичный
показатель, основная функция величины,
– единичный
показатель, производственная функция
величины.
б)
– показатель,
характеризующий работу автобусного
парка
- коэффициент
пробега автобуса
– коэффициент
использования автобусного парка
– коэффициент
вместимости
– эксплуатационная
скорость автобуса
– средняя
продолжительность времени работы
Подобные зависимости не универсальны, поэтому применяют субъективный способ образования комплексных показателей по принципу среднего взвешенного.
Субъективен выбор логики усреднения, сам показатель представляет объективную характеристику качества объекта, в общем виде комплексный показатель:
– параметр логики усреднения;
– весовые
коэффициенты показателей качества;
– единичные
показатели качества;
- число единичных
показателей качества.
Задавая разные значения , получаем различные виды средних временных показателей.
Средней арифметической
Средней геометрической взвешенной
Средней квадратической взвешенной
Средней гармонической взвешенной
– единичные показатели качества
– число единичных показателей качества
– весовые коэффициенты показателей качества.
Для создания одинаковых условий оценки сумму весовых показателей принимают за единицу:
Средняя арифметическая
Средняя квадратическая
взвешенная
Средняя гармоническая
взвешенная
Средняя геометрическая
взвешенная
Показатели по отношению к свойствам продукции:
- назначения – определяют основные функциональные свойства продукции и обусловливают диапазон её применяемости;
- надёжности – характеризуют способность продукции к сохранению работоспособности при соблюдении определённых условий эксплуатации и технического обслуживания;
- технологичности – связаны с совершенством конструктивно-технологических решений продукции, обусловливающих высокую производительность труда при изготовлении, ремонте и техническом обслуживании;
- эргономические – характеризуют приспособленность продукции к антропометрическим, физиологическим, психофизиологическим и психологическим свойствам человека, проявляющимся в системе «человек – изделие – окружающая среда»;
- эстетические – связаны со способностью изделия к выражению красоты в предметно-чувственной форме;
- стандартизации – соответствие продукции техническим регламентам;
- патентно-правовые – степень обновления технических решений;
- экономические – отражают затраты на разработку, изготовление и эксплуатацию продукции;
- безопасности – характеризуют особенности продукции, обеспечивающие безопасность человека.
Корреляционный метод – позволяет определить количественную взаимосвязь между несколькими явлениями исследуемой системы.
Корреляционная зависимость проявляется в отличие от функциональной только в общем (среднем) случае, т .е. в массе случаев наблюдений.
Корреляция – вероятностная зависимость между явлениями, при которой средняя величина параметров одного из них изменяется в зависимости от других.
При использовании корреляционного метода выделяют:
- функцию – то, что исследуется;
- аргументы – факторные признаки, влияющие на результирующий показатель.
Теснота корреляционной связи оценивается:
- при линейной зависимости – коэффициентом корреляции;
- при нелинейной зависимости – корреляционным отношением.
Коэффициент корреляции колеблется:
- от -1 до 0
- от 0 до +1
Чем он ближе к «+1» (при прямой зависимости) и чем он ближе к «-1» (при обратной), тем выше теснота связи.
Важнейшая задача корреляционного метода – определение вида корреляционного уравнения. Простейшее уравнение:
y = a + bx, где:
y, x – независимые переменные.