1.2.5. Методика испытаний

Тестирование является одним из ключевых элементов обеспечения качества программного продукта. Многие известные фирмы-разработчики программного обеспечения проводят тестирование своих продуктов в несколько этапов, которые отличаются видами выполняемых работ и привлекаемыми ресурсами.

В последнее время в связи с созданием больших программных систем возрос интерес к методике разработки и, в частности, отладки программ.

Методика разработки и отладки программных систем должна дополняться и методикой изготовления и отладки отдельных программных блоков, подпрограмм, модулей, разрабатываемых одним программистом. Без применения эффективных способов создания таких программных единиц нельзя надеяться успешно решить и проблему создания программных комплексов.

Проблема отладки существует также и для программ средней сложности. Для таких программ эффективность и достоверность отладки не является столь жизненно необходимой, и обнаружение серьезных ошибок в ходе эксплуатации программы не приводит к столь печальным последствиям, как для больших систем, так как автор программы обычно бывает в состоянии исправить их в приемлемые сроки.

Под тестированием следует понимать процесс исполнения программы с целью обнаружения ошибок, в качестве которых принимается любое отклонение от эталонов. Хорошим считается тест, который имеет высокую вероятность обнаружения еще не выявленных ошибок.

Под отладкой понимается процесс, позволяющий получить программу, функционирующую с требуемыми характеристиками в заданной области входных данных. Таким образом, в результате отладки программа должна соответствовать некоторой фиксированной совокупности правил и показателей качества, принимаемой за эталонную для данной программы.

Среди методов, с помощью которых проводилось тестирование разработанных подсистем и модулей, можно выделить два основных:

• метод «стеклянного ящика»;

• метод «чёрного ящика».

Тестирование методом «стеклянного ящика» – это тестирование на этапе реализации. Данный метод можно отнести к процессу программирования, т.к. программисты выполняют тестирование на протяжении всего процесса создания программного продукта. Поскольку программист разрабатывает тесты, зная исходный код программы, он имеет определённые преимущества: направленность тестирования, полный охват кода, управление потоком, отслеживание целостности данных, внутренние граничные точки, тестирование, определяемое выбранным алгоритмом.

Написание и отладка подсистем осуществлялись с использованием специальной тестовой базы данных, максимально охватывающей предметную область. Для этих целей была скопирована база данных, работа с которой осуществлялась в НИИ ВС и СУ МИЭТ. Данная база содержит все используемые в настоящее время категории элементов, изделий и пользователей. Также в базе имеются сведения об элементах, импортируемые из Excel-файла.

Была произведена проверка корректности работы подсистем при использовании базы данных, таблицы которой не содержат никаких записей. Данная ситуация может возникнуть при первоначальной установке системы на сервер НИИ ВС и СУ.

При тестировании методом «стеклянного ящика» особое внимание уделялось следующим вопросам:

• ошибки, связанные с обработкой граничных условий;

• ошибки сценария при работе с программой;

• ошибки передачи и интерпретации данных.

Для максимального исключения ошибок ввода и обработки граничных условий, в подсистемах использовался выбор из фиксированного списка значений. Для проверки правильности ввода цены импортного ЭРИ была написана специальная функция, проверяющая соответствие введённой пользователем цены общепринятому в России формату.

Ситуациям, связанным с ошибками сценария при работе с программой, было уделено особое внимание. Поскольку при работе с некоторыми компонентами подсистем пользователь проходит через несколько экранов (форм), на каждом из которых выполняет определённые действия, то необходимо было обеспечить проверку на соответствие условиям перехода от экрана к экрану.

При передаче данных с экрана на экран или при обновлении какого-либо экрана используются такие механизмы, как хэш и скрытые элементы ввода. При разработке подсистем и модулей производилась проверка корректности передачи данных, их формирования (например, при передаче массивов данных) и последующей интерпретации (разбора элементов массива).

После локализации и устранения обнаруженных ошибок применялось контрольное тестирование, задача которого состояла в подтверждении правильности выполненной корректировки программы и в отсутствии проявления ранее обнаруженных ошибок.

Затем с участием пользователей-сотрудников НИИ ВС и СУ выполнялось тестирование методом «чёрного ящика». Проводилась проверка на соответствие функциональности подсистем и модулей техническому заданию.

В процессе тестирования обращалось внимание на пользовательский интерфейс, были высказаны замечания и пожелания.

После устранения всех выявленных недостатков ИПС была установлена на сервер НИИ ВС и СУ МИЭТ для проведения опытной эксплуатации. Данная стадия является самой ответственной, поскольку даже самое полное тестирование не всегда позволяет выявить все нюансы, которые обнаруживаются при реальной эксплуатации.

Фрагмент протокола тестирования приведен в табл.???

Все ошибки и недочёты, выявленные в процессе реальной эксплуатации, были успешно локализованы и устранены.