Общие сведения

Тестирование является основным методом измерения качества и определения реальных характеристик программ и баз данных на любых этапах жизненного цикла. Результаты тестирования и измерения показателей качества сравниваются с требованиями технических условий или спецификаций для определения степени соответствия программного продукта определенным требованиям. Наличие таких достаточно полных эталонов, как совокупность требований технических условий и поэтапная их декомпозиция в спецификациях, является необходимой базой для проведения тестирования.

Следует учесть важную особенность тестирования сложных информационных систем, которая заключается в необходимости проведения достаточно полной проверки при ограниченной длительности испытаний. Это определяет целесообразность тщательного планирования тестирования.

В общем случае процесс тестирования проходит ряд этапов:

выбор метода тестирования, адекватного объекту испытаний, а также определение основной цели проведения тестирования;

планирование тестирования в соответствии с выбранным методом с учетом ограниченных ресурсов испытаний, имеющихся для достижения заданной достоверности результатов;

разработка тестовых заданий на основе формальных спецификаций тестов или абстрактных тестовых комплектов с указанием контролируемых параметров, исходных данных и эталонов;

реализация процесса тестирования и получение результатов функционирования объекта испытаний с использованием подготовленных тестов и заданий;

анализ результатов тестирования, сравнение результатов с эталонами, требованиями и обнаружение отклонений для принятия решения о проведении дополнительного тестирования;

оценка полноты проведенного тестирования выбранным методом и принятие решения о необходимости применения других методов тестирования;

оценка наличия ресурсов для продолжения испытаний, определение момента их завершения или выбор очередного метода тестирования.

Тестирование целесообразно планировать с учетом конкретной структуры компонентов, особенностей их реализации, а также схемы обработки потоков информации. Упорядочение процесса тестирования, а также применение средств автоматизации обеспечивают высокое качество тестирования и получение достоверных сведений о характеристиках программы.

Одним из наиболее распространенных видов испытаний является тестирование с целью измерения и оценки показателей производительности программного обеспечения информационных систем для определения степени соответствия заданным требованиям.

Измерение производительности информационной системы

Одним из универсальных критериев производительности является пропускная способность, замеренная по полезным данным (данным, необходимым для решения задания). Однако для пользователя более важными являются временные характеристики выполнения конкретных операций, автоматизируемых информационной системой (пользовательских транзакций) и составляющих определенную часть его профессиональной деятельности и деловых процессов предприятия в целом.

Производительность не является постоянной величиной, она зависит от многих факторов, одни их которых являются неизменными в ходе работы системы, а другие постоянно изменяются (являются переменными величинами). В качестве примера постоянных факторов могут выступать такие, как производительность аппаратных средств, обеспечивающих работу программного обеспечения, настройка программных и аппаратных средств, архитектура данных и транзакций, алгоритм работы программы и др. Наиболее важными факторами, изменяющимися в процессе работы системы, являются объем данных в информационной системе и, в особенности, величина нагрузки на систему.

Поскольку последний фактор имеет наиболее динамичный характер, в данной редакции методики он рассматривается в качестве единственной переменной, в то время как объем данных в системе условно рассматривается как постоянный, таким образом производительность может быть представлена как функция от нагрузки: П = F(х, А), где

х – нагрузка, А  множество постоянных факторов.

Методом измерения производительности в условиях изменяющейся нагрузки является тестирование под нагрузкой, при котором нагрузку можно представить как совокупность пользователей, одновременно выполняющих эталонные задания (нагружающих систему). Характер нагрузки может быть различен:

пользователи одновременно в течение заданного промежутка времени непрерывно выполняют задания (обращаются к системе с запросами) — «пиковая нагрузка»;

пользователи периодически с определенным или случайным интервалом времени обращаются к системе — различные режимы рабочей нагрузки;

пользователи могут выполнять как одинаковые, так и различные запросы;

другие условия.

Производительность системы целесообразно замерять в зависимости от количества пользователей, выполняющих запросы, или интенсивности запросов (возможны варианты учета количества пользователей и средней интенсивности работы одного пользователя).

Результатом тестирования являются графики зависимости производительности от нагрузки. Основной измеряемой величиной производительности служит продуктивность, величиной моделируемой нагрузки — количество пользователей. При этом заданными являются набор тестов (заданий) и средняя интенсивность запросов одного пользователя.