1.2.5. Методика испытаний

Тестирование является одним из ключевых элементов обеспечения качества программного продукта. Многие известные фирмы-разработчики программного обеспечения проводят тестирование своих продуктов в несколько этапов, которые отличаются видами выполняемых работ и привлекаемыми ресурсами.

В последнее время в связи с созданием больших программных систем возрос интерес к методике разработки и, в частности, отладки программ.

Методика разработки и отладки программных систем должна дополняться и методикой изготовления и отладки отдельных программных блоков, подпрограмм, модулей, разрабатываемых одним программистом. Без применения эффективных способов создания таких программных единиц нельзя надеяться успешно решить и проблему создания программных комплексов.

Проблема отладки существует также и для программ средней сложности. Для таких программ эффективность и достоверность отладки не является столь жизненно необходимой, и обнаружение серьезных ошибок в ходе эксплуатации программы не приводит к столь печальным последствиям, как для больших систем, так как автор программы обычно бывает в состоянии исправить их в приемлемые сроки.

Под тестированием следует понимать процесс исполнения программы с целью обнаружения ошибок, в качестве которых принимается любое отклонение от эталонов. Хорошим считается тест, который имеет высокую вероятность обнаружения еще не выявленных ошибок.

Под отладкой понимается процесс, позволяющий получить программу, функционирующую с требуемыми характеристиками в заданной области входных данных. Таким образом, в результате отладки программа должна соответствовать некоторой фиксированной совокупности правил и показателей качества, принимаемой за эталонную для данной программы.

Среди методов, с помощью которых проводилось тестирование разработанных подсистем и модулей, можно выделить два основных:

• метод «стеклянного ящика»;

• метод «чёрного ящика».

Тестирование методом «стеклянного ящика» – это тестирование на этапе реализации. Данный метод можно отнести к процессу программирования, т.к. программисты выполняют тестирование на протяжении всего процесса создания программного продукта. Поскольку программист разрабатывает тесты, зная исходный код программы, он имеет определённые преимущества: направленность тестирования, полный охват кода, управление потоком, отслеживание целостности данных, внутренние граничные точки, тестирование, определяемое выбранным алгоритмом.

Написание и отладка подсистем осуществлялись с использованием специальной тестовой базы данных, максимально охватывающей предметную область. Для этих целей была скопирована база данных, работа с которой осуществлялась в НИИ ВС и СУ МИЭТ. Данная база содержит все используемые в настоящее время категории элементов, изделий и пользователей. Также в базе имеются сведения об элементах, импортируемые из Excel-файла.

Была произведена проверка корректности работы подсистем при использовании базы данных, таблицы которой не содержат никаких записей. Данная ситуация может возникнуть при первоначальной установке системы на сервер НИИ ВС и СУ.

При тестировании методом «стеклянного ящика» особое внимание уделялось следующим вопросам:

• ошибки, связанные с обработкой граничных условий;

• ошибки сценария при работе с программой;

• ошибки передачи и интерпретации данных.

Для максимального исключения ошибок ввода и обработки граничных условий, в подсистемах использовался выбор из фиксированного списка значений. Для проверки правильности ввода цены импортного ЭРИ была написана специальная функция, проверяющая соответствие введённой пользователем цены общепринятому в России формату.

Ситуациям, связанным с ошибками сценария при работе с программой, было уделено особое внимание. Поскольку при работе с некоторыми компонентами подсистем пользователь проходит через несколько экранов (форм), на каждом из которых выполняет определённые действия, то необходимо было обеспечить проверку на соответствие условиям перехода от экрана к экрану.

При передаче данных с экрана на экран или при обновлении какого-либо экрана используются такие механизмы, как хэш и скрытые элементы ввода. При разработке подсистем и модулей производилась проверка корректности передачи данных, их формирования (например, при передаче массивов данных) и последующей интерпретации (разбора элементов массива).

После локализации и устранения обнаруженных ошибок применялось контрольное тестирование, задача которого состояла в подтверждении правильности выполненной корректировки программы и в отсутствии проявления ранее обнаруженных ошибок.

Затем с участием пользователей-сотрудников НИИ ВС и СУ выполнялось тестирование методом «чёрного ящика». Проводилась проверка на соответствие функциональности подсистем и модулей техническому заданию.

В процессе тестирования обращалось внимание на пользовательский интерфейс, были высказаны замечания и пожелания.

После устранения всех выявленных недостатков ИПС была установлена на сервер НИИ ВС и СУ МИЭТ для проведения опытной эксплуатации. Данная стадия является самой ответственной, поскольку даже самое полное тестирование не всегда позволяет выявить все нюансы, которые обнаруживаются при реальной эксплуатации.

Ниже приведен фрагмент протокола тестирования подсистемы администрирования.

№ теста	Описание теста	Дата	Результат тестирования	Описание ошибки или примечание	Исправление ошибки
1.1	Запуск программы обычным зарегистриро-ванным пользователем	16.04.05	Выводятся информационное сообщение о подключении к базе данных, приветствие пользователя, главное окно «Элементы» и окно выбора категории.	В приветствии “Пожалуйста, подожДите” пропущена буква Д.	Исправлено. Внесены изменения в форму-приветствие.
1.2	Использование команды Файл | Добавить, соответствующей кнопки на панели инструментов и горячих клавиш Ctrl-N	17.04.05	Активизируется диалоговое окно “Добавление пользователя”
1.3	Использование команды Файл | Удалить, соответствующей кнопки на панели инструментов и горячих клавиш Ctrl-Del	29.04.05	Если строка в списке пользователей выделена цветом (выбрана), то выводится диалоговое окно “Confirm (заголовок окна) Удалить пользователя “…” ”. После нажатия кнопки НЕТ (NO) происходит вывод списка пользователей. После нажатия кнопки ДА (YES) происходит обновление списка пользователей.	1. Если строка в списке пользователей не выделена цветом (не выбрана), то выводится диалоговое окно “Информационно-поисковая система (заголовок окна) Access violation at address … in module ‘RegModule.exe’. Read of address 00000008”. 2. Обновление и вывод списка пользователей на закладке ВСЕ происходит построчным стиранием и повторным выводом. Это неудачный способ отображения списка.	Исправлено. 1. Сделана проверка на условие отметки пользователя, в противном случае выводится предупреждение. 2. Заменен механизм обновления и отображения информации в таблице.
1.4	Использование команды Файл | Импорт данных, соответствующей кнопки на панели инструментов и горячих клавиш Ctrl-I	29.04.05	Активизируется диалоговое окно “Импорт сведений о пользователях”
1.5	Использование команды Поиск| Найти …, соответствующей кнопки на панели инструментов и горячих клавиш Ctrl-F	29.04.05	Активизируется диалоговое окно “Поиск пользователей”.
1.6	Работа с диалоговым окном “Поиск пользователей ”	29.04.05	Результаты поиска помещаются на новую закладку “Результаты поиска”. Если все критерии не отмечены или значения для всех критериев не заданы, то результаты поиска включают в себя всех зарегистрированных пользователей. Для строковых значений различаются строчные и прописные буквы, поиск проводится по начальным символам строк. 1. По логину ищет правильно. 2. По ФИО ищет правильно. 3. По должности ищет правильно. 4. По подразделению ищет правильно. 5. По роли ищет правильно. 6. По сочетанию этих критериев ищет правильно.	1. По коду доступа поиск приводит к ошибке Dynamic SQL Error SQL error code = -104 Token unknown – line 1, char 35 and. 2. По дате регистрации поиск приводит к ошибке conversion error from string “0”	Исправлено. Внесены изменения в процедуру формирования запроса к базе данных.
1.7	Использование команды Правка | Редактировать, соответствую-щей кнопки на панели инструментов и горячих клавиш Ctrl-E	29.04.05	Активизируется диалоговое окно “Редактирование пользователя”.	Независимо от того, выделена строка в списке пользователей или нет, диалоговое окно “Редактирование пользователя” всегда содержит сведения о пользователе, которые находятся в последней строке списка пользователей в главном окне.	Исправлено. Добавлено слежение за выделенной строкой главного окна, если выделения нет – тогда выводится предупреждение.
1.8	Переход в режим редактирования сведений о пользователе двойным щелчком по списку пользователей	29.04.05	Активизируется диалоговое окно “Редактирование пользователя” со сведениями об указанном мышью пользователе.	Если сделать двойной щелчок за последней строкой списка, то выводится диалоговое окно “Информационно-поисковая система (заголовок окна) Access violation at address … in module ‘RegModule.exe’. Read of address 00000008”.	Исправлено. Добавлено перманентное выделение – теперь по двойному щелчку осуществляется переход в окно редактирования отмеченного пользователя

Все ошибки и недочёты, выявленные в процессе реальной эксплуатации, были успешно локализованы и устранены.

Титул технологического раздела