- •1.2. Основные понятия и определения в области метрологии
- •1.2.2. Общие положения по организации тестирования
- •Общие сведения
- •Показатели производительности
- •Продуктивность
- •Реактивность
- •Точка перегиба
- •Толерантность
- •Интегральная продуктивность
- •2. Элементы теории вероятностей и математической статистики для решения прикладных задач метрологии
- •2.1. Роль, место и основные задачи математической статистики
- •2.2. Основные понятия теории вероятностей
- •2.3. Случайные величины, их законы распределения
- •2.4. Применение критериев согласия для согласования теоретического и статистического распределений случайных величин
- •2.5. Статистические оценки параметров распределения
- •3. Основные понятия теории случайных процессов
- •3.1. Понятие о случайной функции и стационарном случайном процессе
- •3.2. Основные характеристики случайных функций
- •3.3. Основные сведения о случайных процессах
- •3.4. Спектральное разложение стационарной случайной функции
- •4.2. Понятие экспериментальной оценки надежности
- •4.3. Организация испытаний и сбор информации
- •4.4. Методический подход к оценке показателей надежности по экспериментальным данным
- •5. Оценка надёжности информационных систем по экспериментальным статистическим данным
- •5.1. Определение законов распределения наработки на отказ
- •5.2. Виды испытаний на надёжность и их планирование
- •5.3. Статистическая оценка показателей надежности при определительных испытаниях
- •5.4. Общие принципы обеспечения контроля надежности
- •5.5. Статистические методы контроля надёжности серийных систем
- •Приемка
- •Браковка
- •Продолжение испытаний
- •6. Погрешности измерений вероятностных характеристик при статистических испытаниях информационных систем
- •6.1. Понятие о погрешности измерений вероятностных характеристик
- •6.2. Источники погрешностей стохастических измерений вероятностных характеристик и способы снижения общей погрешности в работе информационных систем
- •6.3. Анализ алгоритмов измерения вероятностных характеристик и рекомендации по уменьшению погрешностей
- •Точечные оценки неизвестных параметров распределения
- •Доверительные интервальные оценки с неизвестными параметрами распределения
- •Статистические критерии проверки совместимости результатов натурных испытаний и моделирования
- •Библиографический список
- •Оценка вероятностных характеристик случайных процессов при испытаниях информационных систем
- •170026, Г. Тверь, наб. Афанасия Никитина, 22
1.2.2. Общие положения по организации тестирования
и сертификации информационных систем
Общие сведения о методах тестирования
Одним из важных условий успешной сертификации ИС является тестирование её программного обеспечения (ПО), которое позволяет получить данные об его эффективности и соответствии заданным требованиям. Основным методом получения данных является тестирование с имитацией реальной нагрузки и последующий анализ информации о достигнутой производительности. Под производительностью понимается набор показателей, определенных со стороны клиента модели клиент-сервер, на рабочем месте пользователя или его имитации. Таким образом, данная методика направлена прежде всего на получение данных об эффективности работы с точки зрения пользователя информационной системы.
Такая методика, используемая для получения и обработки статистики, была разработана на основе компонентной технологии и возможности настройки на различные объекты испытаний в ГИЦ ПС ВТ [5]. При этом предусмотрена возможность тестирования как в рабочем режиме, так и в режиме пиковой нагрузки. План тестирования предусматривает не только различные режимы, но и различные по времени сеансы тестирования, в которых показатели производительности могут быть разными. Методика тестирования определяет основные показатели, характеризующие производительность и динамику ее изменения в зави-симости от степени нагрузки, факторы, которые необходимо учитывать в про-цессе анализа результатов, а также порядок работ при проведении тестирования.
Основным объектом тестирования является пользовательская транзакция – определенная операция, выполняемая пользователем информационной системы и приводящая к запросу на получение или изменение данных. Пользовательская транзакция обычно является некоторой логически завершенной функциональной операцией информационной системы и может включать как несколько запросов на получение и изменение данных (транзакций базы данных), так и некоторый алгоритм по управлению данными. Функциональная операция информационной системы чаще всего является программной реализацией некоторой деловой процедуры или ее части.
Результатом тестирования являются значения оценок по ряду оценочных элементов, охватывающих определенные характеристики пользовательских транзакций. Так, в результате тестирования двух типов серверов по нескольким сеансам полученные результаты по скорости и среднему и максимальному времени обработки документов позволили с использованием стохастических методов не только проверить выполнение заданных заказчиком требований к основным характеристикам ИС, но и рекомендовать оптимальные режимы их загрузки.
Следует учесть, что на этапе реализации процесса тестирования может привлекаться большое число специалистов зачастую не очень высокой квалификации, поэтому особое внимание приобретают методики тестирования, тщательное планирование и регламентирование средств применения автоматизации. Большое значение имеет документирование процессов и результатов тестирования. Система документирования должна охватывать все этапы процесса тестирования, включая планирование тестов, их спецификацию и отчеты о результатах.
Термины и определения
Клиент – клиентская часть модели клиент-сервер, комплекс программных и аппаратных средств, обеспечивающий формирование запросов на получение или изменение данных, а также отвечающий за представление информации пользователю, и пользовательский интерфейс при работе с информационной системой.
Пользовательская транзакция – определенная операция, выполняемая пользователем информационной системы и приводящая к запросу на получение или изменение данных. Пользовательская транзакция может включать несколько запросов или операций по изменению данных, а также некоторый алгоритм по управлению данными.
Сервер – серверная часть модели клиент-сервер, комплекс програм-мных и аппаратных средств, обеспечивающих выполнение запросов, полученных от клиента, производство транзакций, управление ресурсами данных и передачу результатов запросов клиенту.
Тест – специально построенное задание для выполнения тестируемой программой обычно в форме сценария работы пользователя либо с применением специального языка программирования и имитатора нагрузки.
Тестирование – процесс испытания программного средства путем выполнения специально построенных заданий – тестов – и фиксации результатов такого выполнения.
Тестирование под нагрузкой – метод тестирования, при котором тестовые задания имитируют нагрузку на информационную систему, подобную создаваемой пользователями системы.
Транзакция – неделимая с точки зрения воздействия на базу данных последовательность операторов манипулирования данными (чтения, удаления, вставки, модификации) – такая, что либо результаты всех операторов, входящих в транзакцию, отображаются в базе данных, либо воздействие всех этих операторов полностью отсутствует.
1.2.3. Задачи и методы тестирования