3.6 Проведение тестирование программного комплекса
Практическая часть проверки программного продукта осуществлялась в строгом соответствии с разработанной программой и методикой испытаний. Тестовый стенд полностью удовлетворял требованиям раздела 3 ПМИ: использовалась операционная система Windows 10/11 (64‑bit), процессор уровня не ниже Intel Core i3, объём оперативной памяти от 4 ГБ, а также установленные компоненты .NET 6.0 и графическая подсистема Windows Forms.
На подготовительном этапе проводится аудит наличия всех обязательных артефактов проекта. Необходимо подтвердить наличие руководства пользователя, руководства программиста, а также исполняемого файла KMP.exe. Успешное прохождение данного этапа подтверждает готовность системы к функциональному тестированию и соответствует базовым требованиям к сдаче проектных работ.
Далле происходит проверка запуска программы. Целью этапа является верификация корректной инициализации приложения и стабильности работы графического интерфейса. Необходимо запустить файл KMP.exe. Если программа открывается без возникновения системных ошибок, успешно загружает необходимые библиотеки и отображает интерфейс с полями для ввода исходной строки и искомой подстроки, испытание считается успешно пройденным. Визуальное подтверждение корректного запуска представлено на рисунке 3.6.
Рисунок 3.6 – Интерфейс программы
На следующем этапе происходит проверка корректного поиска подстроки. Данный сценарий направлен на подтверждение точности реализации алгоритма КМП и корректности вычисления позиции вхождения. В поле ввода исходной строки необходимо ввести текст лук и поля, а в поле подстроки – значение лук. При корректной работе программы в результате выполнения поиска должна быть возвращена позиция 1 (при условии нумерации символов, начинающейся с единицы). Успешное прохождение этапа подтверждает работоспособность основного вычислительного ядра. Результат испытания представлен на рисунке 3.7.
Рисунок 3.7 – Результат проверки корректного поиска подстроки
Для оценки устойчивости алгоритма к сценариям, когда искомый паттерн отсутствует в исходном тексте, проводится обратное тестирование. В качестве исходной строки используется лук и поля, в качестве подстроки – гол. При правильной реализации программа должна обработать запрос без ошибок и вывести сообщение Совпадений не найдено. Данный результат свидетельствует о корректной работе механизма завершения поиска и формирования пользовательского отклика. Результат представлен на рисунке 3.8.
Рисунок 3.8 – Результат проверки отсутствия слова в исходном тексте
Далее происходит проверка предельной длины строки. Данный этап направлен на оценку производительности и стабильности системы при обработке больших объёмов данных, что особенно актуально для алгоритмов строкового поиска. В систему вводится строка длиной 10 000 символов и подстрока длиной 5 символов. Если программа успешно выполняет поиск, не вызывает переполнения памяти, не приводит к зависанию интерфейса и возвращает корректный результат, испытание считается пройденным. Данный тест подтверждает масштабируемость реализации. Результат работы зафиксирован на рисунке 3.9.
Рисунок 3.9 – Результат проверки предельной длины строки
Заключительный функциональный тест ориентирован на верификацию механизмов валидации и обработки исключительных ситуаций. В поле ввода подстроки необходимо указать значение, длина которого превышает длину исходной строки или ввести явно недопустимые параметры. При корректной реализации программа должна отработать без аварийного завершения, вывести сообщение Совпадений не найдено или аналогичное информативное уведомление и зафиксировать событие в журнале. Подобное поведение свидетельствует о наличии защитных механизмов, предотвращающих нештатное поведение системы. Результаты проверки представлены на рисунке 3.10.
Рисунок 3.10 – Результат проверки предельной длины строки
Для систематизации полученных результатов и обеспечения объективности оценивания был разработан набор критериев, на основании которых проводился итоговый анализ качества работы системы. Перечень данных критериев представлен на рисунке 3.11.
Рисунок 3.11 – Критерии оценки программного комплекса
Полноценные результаты оценки программного комплекса представлены в таблице 3.6.
Таблица 3.6 – Результаты оценки программного комплекса
Крите-рий |
Описание критерия |
Разбалловка |
Макс. балл |
Выст. балл |
Комментарий к оценке |
Качество ЗБ |
Задание по безопасности не содержит грубых ошибок и может использоваться при анализе безопасности системы |
0 - содержит грубые ошибки; 1 - содержит ошибки; 2 - содержит незначительные недочеты; 3 - не содержит ошибок |
3 |
2 |
Задание по безопасности в целом структурно и методологически корректно, однако содержит ошибки в части выбора нормативной базы и криптографических механизмов, что не позволяет отнести их к разряду незначительных недочётов. |
Качество ПМИ |
Программа и методика испытаний не содержит грубых ошибок и пригодна для проведения испытаний |
0 - содержит грубые ошибки; 1 - содержит ошибки; 2 - содержит незначительные недочеты; 3 - не содержит ошибок |
3 |
2 |
Программа и методика испытаний оформлены по ГОСТ, пригодны для проведения испытаний; выявлены отдельные недочёты, связанные с недостаточной формализацией тест‑кейсов и неполным покрытием граничных сценариев. |
Качество руководства пользователя |
Руководство пользователя пригодно для эксплуатации системы |
0 - содержит грубые ошибки; 1 - содержит ошибки; 2 - содержит незначительные недочеты; 3 - не содержит ошибок |
3 |
3 |
Руководство пользователя полно и последовательно описывает назначение, условия эксплуатации, подготовку к работе, основные операции и действия при ошибках; документ пригоден для эксплуатации системы без дополнительных пояснений. |
Продолжение таблицы 3.6.
Крите-рий |
Описание критерия |
Разбалловка |
Макс. балл |
Выст. балл |
Комментарий к оценке |
Качество руководства программиста |
Руководство программиста пригодно для анализа структуры и сопровождения системы |
0 - содержит грубые ошибки; 1 - содержит ошибки; 2 - содержит незначительные недочеты; 3 - не содержит ошибок |
3 |
3 |
Руководство программиста содержит исчерпывающую информацию о структуре программы, среде выполнения, входных и выходных данных, порядке запуска и завершения работы, а также об обработке ошибок; документ пригоден для анализа структуры и сопровождения системы. |
Запуск программного продукта |
Программный продукт запускается и позволяет проводить дальнейшую проверку |
0 - не запускается; 1 - запускается с исправляемыми ошибками; 2 - запускается без ошибок |
2 |
2 |
Исполняемый файл программного продукта корректно запускается на заявленной программно‑аппаратной платформе и обеспечивает возможность проведения последующих функциональных и исследовательских испытаний. |
Соответствие основного функционала документации |
Реализованный функционал соответствует функциям, заявленным в документации |
0 - в значительной степени не соответствует; 1 - соответствует частично; 2 - соответствует полностью |
2 |
2 |
Реализованный основной функционал – регистрация и авторизация, выполнение поиска подстроки методом КМП, обработка отсутствия совпадений, работа с длинными строками, сообщения об ошибках, что соответствует описанию в ТЗ, ЗБ, ПМИ и руководствах. |
Соответствие требованиям безопасности |
Реализация системы соответствует заявленным требованиям безопасности |
0 - не соответствует; 1 - соответствует частично; 2 - соответствует полностью |
2 |
2 |
Реализация механизмов безопасности (аутентификация, блокировка после нескольких неудачных попыток, самотестирование при запуске, защита от SQL‑инъекций, разграничение доступа) полностью соответствует заявленным в ЗБ требованиям, несмотря на отмеченные замечания к выбору конкретного криптографического алгоритма. |
Окончание таблицы 3.6.
Крите-рий |
Описание критерия |
Разбалловка |
Макс. балл |
Выст. балл |
Комментарий к оценке |
Соответствие функциям безопасности |
Реализованные функции безопасности соответствуют документированным |
0 - не соответствует; 1 - соответствует частично; 2 - соответствует полностью |
2 |
2 |
Реализованные функции безопасности соответствуют функциями, документированным в ЗБ и эксплуатационной документации, что подтверждено результатами испытаний и анализом журналов и сообщений системы. |
ИТОГО |
|
|
20 |
18 |
|