23 Вопрос. Оценка согласованности экспертных данных

Мнения экспертов часто не совпадают, при этом отд оценки некоторых экспертов могут резко отличаться от других и могут существенно изменить общий результат. Поэтому важно количественно оценить меру согласованности мнений экспертов, а затем может возникнуть необходимость выяснить причины существенных различий. Для оценки согласованности мнений экспертов используется коэффициент конкордации. Расчет может даваться только относительно экспертных оценок выраженных в рангах. Если давалась бальная или иная оценка от них надо перейти к рангам.

W= 12C: (K²*(H³-H)), где С – сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам и экспертам, К – количество экспертов, Н – количество объектов.

n k

C = ∑ (∑ A_ig – K((H+1)/2))², где А – оценка итого объекта житым экспертом.

К((H+1)/2) – средняя сумма рангов.

Коэффициент конкордации может находится в диапазоне от 0 до 1. При нуле согласованность мнения экспертов отсутствует, если =1 – полная согласованность. Достаточной является больше или = 0,5.

Расчет коэффициента конкордации

Эксперт № (К=6)	Ранги, поставленные экспертами объектам (Н=5)
	1	2	3	4	5
1	4	5	2	1	3
2	3	5	1	2	4
3	4	5	3	1	2
4	3	5	2	4	1
5	4	3	2	1	5
6	4	5	2	1	3
К((Н+1)/2)	18	18	18	18	18
∑Аig	22	28	12	10	18
С	16	100	36	64	0

W = 12*(16+100+36+64+0) / (6²*(5³-5))=0,6

Коэффициент конкордации больше 0,5, поэтому экспертная оценка с точки зрения согласованности является обоснованной. При использовании экспертных методов, в которых ранги не определяются рассчитанные оценки следует переводить в ранги. В случае несогласованности мнения экспертов оценку надо повторить.

24 Вопрос. Тестирование

Тест определяется как: 1)комплекс высказываний, позволяющий объективно отразить реально существующее отношение между людьми, их свойства и признаки; 2)как метод изучения глубинных процессов деятельности человека, основывающийся на его высказываниях или оценки факторов функционирования СУ; 3)искусственное строгодозированное воздействие на объект в процессе проводимого эксперимента, позволяющий по ответной реакции оценить его состояние и всей системы. Последнее определение объективнее раскрывает сущность теста.

Натурное тестирование проводится в реальных условиях. Это является ответственным исследовательским мероприятием, наибольшая ответственность возникает при широкомасштабном натурном тестировании, вовлекающим в этот процесс СУ в целом. Надо оценить степень допустимых рисков, характер и масштабе возможных негативных последствий: материального, социального и экологического ущерба.

Для того чтобы избежать нежелательных реальных последствий целесообразно осуществлять тестирование также не в реальной, а искусственной ситуации. В имитационных условиях осуществляется тестирование в рамках деловых игр и мозгового штурма. Возможно тестирование и с использованием моделей, например, имитационных. Основное назначение теста – контроль и установление соответствия между значениями входных и выходных параметров системного значения при выполнении функций и в различных режимах управления Тестирование –это сложный метод исследования, который может нести последствия, в т.ч. и негативные, даже если это производится применительно к искусственной ситуации. Например, при тестировании в образовательных системах неправильные суждения, в т.ч. которые заранее установлены как ложные могут создавать ошибочные представления у тестируемых. Следовательно, необходим не только предварительный этап подготовки, но и заключительный, в котором будет проводится разбор ситуации.

Правила конструирования, формулирования тестов.

Для проведения работ по тестированию надо провести предварительную работу включающую в себя: 1)четко определить цели, задачи, условия, требуемые результаты, момент начала и окончания. И отразить все в плане. 2)установить последствия тестирования. 3)определить необходимый объем информации и методы обработки ее и использования. 4)разработать сценарий действий всех участников, методику оценки результатов тестирования. 5)определить направления и варианты использования результатов.

Для социального тестирования ответная реакция на тест может конструироваться в виде высказываний: да, нет или более развернуто: скорее верно, чем неверно, верно, трудно сказать, скорее неверно, чем верно, неверно, совсем неверно.

Также могут даваться оценки в баллах или в рангах. Желательно, чтобы конструкция теста позволяла проводить обработку результатов тестирования методами математического статистики. Правила формулирования теста: целенаправленность, однозначность понимания, логичность, простота, понятность, доступность, нейтральность, альтернативность, отсутствие намека на ожидаемый ответ, наличие ключа к каждому тесту для последующей обработки.

К ответам в виде высказывания и оценок предъявляются требования аналогичные, что и к тестовым заданиям. Основные характеристики теста: валидность и надежность. Валидность – это способность теста обеспечивать измеряемость результатов в соответствии с целями испытания. Валидный тест позволяет отражать и измерять то, что он должен отражать и измерять по замыслу составителя. Валидность м б проверена: 1)посредством сравнительной оценки результата полученного с помощью теста по сравнению с результатами полученными другими методами. 2)путем сопоставления результатов полученных в разных группах тестирования. 3)путем содержательного анализа каждого тестового высказывания. Надежно отражает точность измерения. Требование к надежности устанавливается в зависимости от целей и задач тестирования. Проверка надежности осуществляется параллельным или повторным тестированием объекта. Кроме этого для оценки надежности могут использоваться методы параллельного анализа.