2. Правила тестирования функциональности

Необходимо проверить всю уникальную функциональность программы по утвержденной спецификации (дизайн). Необходимо проверить наличие всех (по дизайну и здравому смыслу) функциональных возможностей, а также корректность их работы. Поскольку разнообразие программ с точки зрения функциональности бесконечно, то можно выделить лишь ряд обобщенных правил тестирования, которые подходят практически для всех современных приложений. Эти правила тестирования таковы: необходимо протестировать правильность записи данных из приложения в базу данных на сервере (например, хранимая процедура может ошибочно записывать данные, предназначенные для одной колонки в другую); необходимо протестировать сохранение изменений в файле конфигурации на диске; необходимо протестировать правильность пересылки данных (в Интернет-приложениях); необходимо протестировать точность алгоритмов вычислений – должна соблюдаться установленная дизайном точность вычислений - относительная и абсолютная погрешность не выше установленных норм.

Главное внимание необходимо обратить на использование следующих важных правил тестирования: проверка многопользовательского доступа; проверка на отсутствие «режима гонок»; проверка обеспечения безопасности (авторизация и разделение прав доступа); проверка многозадачной работы.

Часто используемым правилом тестирования является проверка работы приложения в гетерогенных многоплатформенных сетях, связанных с особенностями передачи и обработки данных в гетерогенных приложениях. Примером могут являться сети Windows-Unix.

В том случае, когда в проекте используются встраиваемые готовые компоненты третьих фирм (ActiveX, COM, DCOM, JavaBeans), то необходимо тщательно протестировать их совместимость с приложением. Это важное правило тестирование должно обязательно документироваться в Листе совместимости программного обеспечения.

3. Правила тестирования производительности.

Необходимо проверить скорость работы программы при выполнении всех функций программы по утвержденной спецификации (дизайн). Надо применять правило «сравнение с эталоном» - необходимо проверить скорость работы программы при выполнении типовых операций и сравнить ее со скоростью выполнения этих же операций, выполняемых другими известными программами, или программой, принятой за эталон. Засекать время необходимо по точному прибору – секундомеру, техника замеров «на глазок» - недопустима. Наиболее важным правилом тестирования является проверка утечки памяти (memory leaks), ведущие к снижению производительности. Применению вышеуказанного правила тестирования необходимо уделить особое внимание уже с самого начала проекта, так как в конце исправлять проблемы производительности будет сложнее.

Главными правилами тестирования производительности являются:

1. проверка загрузки данных в клиентской части приложения (в системах клиент-сервер и в Интернет-приложениях);

2. проверка скорости обработки данных на сервере;

3. проверка выполнения стандартных операций с файловой системой – открытие, сохранение данных в файле, закрытие файла, копирование файла.

4. проверка работы при динамическом режиме - резком увеличении загрузки любого из ресурсов компьютера программа не должна «виснуть» или «падать».

5. проверка работы при динамическом режиме - резком увеличении числа одновременно запущенных копий программы на одном компьютере не должен наблюдаться сбой в работе первого экземпляра программы или операционной системы в целом.

6. проверка при работе в условиях нехватки памяти (физической + виртуальной), должно выдаваться системное сообщение «Нехватка виртуальной памяти».

7. проверка при работе в условиях нехватки места на жестком диске (например, для записи сохраняемых файлов).

8. проверка при работе в условиях недостаточной мощности процессора. Особое внимание следует обратить на наличие непрерывной не спадающей 100%-ой загрузки процессора – это признак проблемы.

9. проверка при нормальной работе - производительность программы резко изменяется в ту или иную сторону без видимых причин (пользователь не предпринимает никаких действий).