2. Организация тестирования системы

Проверка и подтверждение функционального соответствия исследуемой системы или отдельной ее части основаны на измерении ее количественных и качественных характеристик и на последующей оценке или распознавании их соответствия некоторому множеству па­раметров и критериев. Измерение количественных характеристик — это процесс определения отношения величины, измеряемой и приня­той за единицу измерения. Полученное в результате измерения число (выражающее такое отношение) называется числовым значением из­меряемой величины.

Измерение качественных характеристик (как правило, в социологических исследованиях) — это способ упорядочения информации, при котором система чисел и отношений между ними ставится в соответ­ствие ряду измеряемых социальных фактов, или это процесс припи­сывания количественной определенности изучаемым качественным признакам. Измерительные процедуры качественных признаков — опрос, тест, рейтинг, экспертные оценки, ранжирование, а инструмент — шкалы и эмпирические индикаторы (внешние признаки измеряемых свойств).

В исследовании систем выделяют автономное и комплексное тестирование, причем первое, как правило, предшествует второму. Авто­номное тестирование направлено на подробное обследование процес­сов и представляет необходимую стадию, без которой не могут быть успешно проведены комплексные испытания системы. Кроме того, автономное тестирование позволяет освободить комплексное от ненужных деталей, сделать их в необходимой степени обозримыми и наглядными, а также сократить объем информации, подлежащей ре­гистрации и обработке.

Комплексное тестирование организационной системы предназна­чается в основном для оценки общесистемных параметров, характе­ризующих ее экономическую состоятельность. В то же время на ста­дии тестирования обычно приходится регистрировать и основные параметры процессов управления, несмотря на то, что они уже тести­рованы в процессе автономных испытаний. Это объясняется тем, что в процессе взаимодействия каждый процесс под влиянием новой сре­ды, согласно принципу целостности, утрачивает часть своего потен­циала, своих возможностей.

Тестирование может проводиться непосредственно с действующей системой или с ее процессами (объектами), тогда оно называется на­турным тестированием, или с моделью системы и моделями ее про­цессов (объектов), представляющими компьютерное тестирова­ние (или вычислительную имитацию).

Тестирование, в смысле серии испытаний, делят на однофакторное (традиционное) и многофакторное. В первом случае в каждой точке тестирования системы измеряется один параметр, во втором — несколь­ко параметров. Для того чтобы сократить число измеряемых парамет­ров, используют методы дисперсионного и регрессионного анализов.

3. Методология тестирования системы

Разработанные теоретические основы по проведению эксперимен­та в равной степени относятся и к тестированию. Тестиро­вание выступает и как самостоятельный вид исследований, и как этап эксперимента. В основу проведения любого эксперимента положена «методология эксперимента» — это общие принципы, структура экс­перимента, его постановка и последовательность выполнения. Мето­дологию тестирования можно представить в виде последовательности определенных этапов.

Этап I. Разработка (или выбор) методики тестирования в виде комплекса приемов или способов экспериментального исследования, включающего:

а) цели и задачи тестирования;

б) параметры и характеристики системы или ее элементов, подле­жащих измерению, регистрации, опросу;

в) построение модели изучаемого объекта (процесса, функции, си­стемы в целом) тестирования;

г) последовательность автономных испытаний элементов и этапов комплексных испытаний системы;

д) обоснование способов, средств и методов измерения;

е) обоснование необходимой точности и частоты регистрации дан­ных (или количества респондентов в социальных исследованиях);

ж) методы обработки и анализа данных, полученных при испыта­ниях.

Этап II. Составление плана-программы организации тестирования как самостоятельного этапа исследования.

Этап III. Разработка инструкции по исполнению тестирования.

Этап IV. Интерпретация результатов и подведение итогов тестирования.

Особое внимание при разработке методики уделяется методам сбо­ра информации и математическим методам обработки и анализа опыт­ных данных. Для сбора информации используют следующие методы.

1. Натурные испытания — различного вида измерения на входе и выходе процессов и системы в целом, которые в большинстве случаев фиксируют скалярные переменные в заданные моменты времени с не­которыми ошибками. Статистические свойства ошибок считаются из­вестными. Наиболее типичные условия — это условия, когда процесс единичного измерения можно описать уравнениями:

, (3.1)

у[п] = х_и[п] + , (3.2)

где G — известный нелинейный оператор преобразования измерительного ус­тройства;

— соответственно сигналы на входе и выходе измерительного устрой­ства;

у [п] — измеренные значения;

— помеха с нулевым средним значением и конечным вторым мо­ментом.

2. Генерирование опытных данных на основе вычислительного эксперимента функционирования процессов и системы.

3. Интернирование учетной информации из баз данных (файлы).

4. Сбор учетной информации из документов — носителей тексто­вой информации.

5. Наблюдение как метод прямой регистрации, фиксирование сиг­налов, событий очевидцем в процессе их протекания.

6. Опрос — вопросно-ответный метод сбора данных, при котором источником информации выступает вербальное общение людей на основе тестов. К разновидностям опроса относятся:

• анкетирование — опосредованный, письменный опрос;

• интервью — метод получения информации по определенной теме путем непосредственного целенаправленного диалога интервью­ера с респондентом;

• экспертный опрос — это опрос компетентных лиц;

• социометрический опрос — выявление социально-психологи­ческих проявлений межличностных отношений.

Особое внимание в тестировании уделяется таким методам, как:

• оценка всех видов измерений (первичная обработка результатов);

• математическая обработка и анализ данных (вторичная обработ­ка результатов).

Методы первой группы разработаны теорией случайных ошибок, второй группы — математической статистикой и теорией вероятнос­тей. Теория случайных ошибок позволяет решить следующие основ­ные задачи, которые всегда сопровождают этап обработки результатов тестирования:

1) оценка точности и надежности измерений при данном количе­стве замеров (наблюдений), например, интервальная оценка с помо­щью доверительной вероятности и другие методы;

2) определение минимального количества замеров (наблюдений, опытов, респондентов), гарантирующих требуемую (заданную) точ­ность и надежность измерения, или минимального объема выборки (числа измерений) при заданных значениях доверительного интерва­ла и доверительной вероятности;

3) исключение грубых ошибок ряда с использованием правила трех сигм, критерия В.И. Романовского и других оценок;

4) определение оптимальной зоны измерений или наиболее выгод­ных условий измерений, которые позволяют получить достоверные данные об изучаемом объекте (условия труда, нагрузка на процесс и другие характеристики);

5) проверка воспроизводимости измерений, а именно их повторяе­мости в определенных условиях измерения.

Методы решения перечисленных задач подробно изложены в специальной литературе, прежде всего по математической статистике и теории вероятностей, экспериментальным исследованиям, в частно­сти методам планирования эксперимента и имитационному мо­делированию, к которым при необходимости рекомендуется обратиться.

Математическая обработка и анализ результатов тестирования (вто­ричная обработка) сводятся к двум основным позициям:

1) определение характеристик эффективности, устойчивости, адап­тивности и надежности элемента (агрегата) на основе преобразования некоторой выборки, состоящей из совокупности значений x_l,x₂,...,x_n измеряемой величины;

2) установление или проверка математических моделей, описыва­ющих связь между входными и выходными параметрами процесса или системы.

Обработка результатов тестирования в соответствии с концептуаль­ным подходом к параметрическому исследованию систем управления состоит в основном в определении интервала, накрывающего истин­ное значение искомого параметра с заданной вероятностью. Сведем вместе описание нескольких моделей определения доверительного интервала, так как этот аппарат рекомендуется для активного исполь­зования в исследовании систем управления. Так, доверительная оцен­ка для математического ожидания в симметричном случае (наиболее распространенная гипотеза) может быть представлена в виде:

(3.3)

или

(3.4)

Доверительный интервал определяет область возможных значений при обработке средней арифметической величи­ны х* для заданного параметра х. Причем попадание х* в эту область гарантируется с заданной доверительной вероятностью, т.е.:

(3.5)

где — заданная положительная величина, определяемая по доверитель­ной вероятности (надежности оценки), принимаемой равной вели­чине .

В целом методика проведения того или иного вида тестирования раскрывает способ решения поставленной задачи при испытаниях. В ней оговаривают конкретные условия, необходимые для определения исследуемого параметра (или ряда параметров): необходимые из­мерения, целесообразность применения того или иного математичес­кого аппарата для квалифицированного заключения об изменчивости изучаемого параметра по результатам непосредственных и косвенных измерений.

Кратко остановимся на положении методологии тестирования по подготовке документации для планирования и выполнения экспери­ментальных работ. Планирование пассивного эксперимента ведется в соответствии с выбранными показателями испытаний, а его результа­ты оформляются, как правило, в виде сетевых графиков, которые дают полное представление о последовательности проведения работ в тече­ние рассматриваемого промежутка времени. Документация на прове­дение испытаний, называемая программой испытаний, содержит: тех­нические условия испытаний, программу и методику испытаний, методику обработки данных, объем и способы проводимых работ, сро­ки их выполнения, степень ответственности исполнителей, отчетность и контрольные сроки. Программа испытаний в отличие от календар­ного плана носит организационно-технический характер.