Лабораторная работа 71 / web_app_testing
.pdfСанкт-Петербургский Государственный Электротехнический Университет ¾ЛЭТИ¿
Качество и надежность программного обеспечения
Тестирование Web-приложения
Студенты: |
Кривенок Д.В. |
|
Шабаев Г.В. |
|
Мельник И.В. |
Группа: |
2382 |
Преподаватель: |
Щеголева Н.Л. |
Санкт-Петербург
2007
Содержание
1 |
Введение |
1 |
2 |
Тестовая стратегия |
1 |
3 |
Тестирование |
1 |
|
3.1 Оценка удобства использования web-сайта . . . . . . . . . . . . . . . . . . . . . . . |
1 |
|
3.1.1 Архитектура и навигация . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
1 |
3.1.2Планировка и дизайн . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
3.1.3 Содержание . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
3.1.4Формы и взаимодействие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
3.1.5 |
Графика . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
3 |
3.1.6 |
Цвета . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . |
3 |
3.1.7Оформление текста . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
3.1.8Устойчивость к ошибкам . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
3.1.9 Платформа и особенности реализации . . . . . . . . . . . . . . . . . . . . . 5
3.2Функциональное тестирование web-сайта . . . . . . . . . . . . . . . . . . . . . . . . 5
3.3Нагрузочное тестирование web-сайта . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3.4Определение общих статистических характеристик сайта . . . . . . . . . . . . . . 6
4 Выводы |
8 |
1Введение
Этот документ описывает тестирование web-приложения, расположенного по адресу www.linux.org.ru (русская информация об ОС Linux).
2Тестовая стратегия
Предполагается выполнить (по мере возможности) следующие виды тестов:
•Оценка удобства использования web-сайта ( usability ).
•Функциональное тестирование.
•Нагрузочное тестирование.
•Определение общих статистических характеристик сайта.
3Тестирование
3.1Оценка удобства использования web-сайта
Целью данного раздела является проверка с помощью анкетирования насколько web-сайт удобен для использования. Требуется определить замечания и предложения пользователей к внешнему интерфейсу сайта и его функциональности.
Отвечая на вопрос в анкете, пользователь дает также и свою оценку по десятибальной шкале важности реализации данной возможности сайта.
3.1.1 Архитектура и навигация
Вопрос |
Ответ |
Оценка |
|
|
важности |
|
|
|
Соответствует ли структура сайта целям, |
Соответствует |
10 |
для достижения которых он предназна- |
|
|
÷åí? |
|
|
Понятна ли схема навигации? |
Понятна |
10 |
|
|
|
Можно ли определить в каком месте сайта |
Äà |
10 |
вы находитесь? |
|
|
Легко ли вы находите на сайте то, что вам |
Да, через навигацию или по- |
10 |
нужно? |
èñê |
|
Является ли разумным количество эле- |
Äà |
10 |
ментов в навигационных панелях? |
|
|
Логично ли отсортированы элементы на- |
Да, логично |
10 |
вигационных панелей? |
|
|
Названия гиперссылок соответствуют на- |
В целом да |
8 |
званиям страницы? |
|
|
|
|
|
Гиперссылки выделены отчетливо? |
Достаточно отчетливо |
9 |
Существует ли отчетливо выделенная |
Существует |
10 |
ссылка на главную страницу? |
|
|
ñòð. 1
|
Существует ли возможность поиска ин- |
Существует |
10 |
|
|
формации на сайте? |
|
|
|
|
|
|
|
|
|
Существует ли карта сайта? |
Íåò |
10 |
|
|
|
|
|
|
|
Каждая ли страница позволяет понять, на |
Äà |
10 |
|
|
каком сайте вы находитесь? |
|
|
|
|
|
|
|
|
|
Может ли пользователь управлять навига- |
Может |
10 |
|
|
цией по сайту? |
|
|
|
|
|
|
|
|
3.1.2 |
Планировка и дизайн |
|
|
|
|
|
|
||
|
Вопрос |
Ответ |
Оценка |
|
|
|
|
|
важности |
|
|
|
|
|
|
Размер страницы превышает размер окна? |
Äà |
7 |
|
|
Схема планировки повторяется на всех |
Äà |
6 |
|
|
страницах? |
|
|
|
|
|
|
|
|
|
Существует ли отчетливый фокус на каж- |
Äà |
8 |
|
|
дой странице? |
|
|
|
|
|
|
|
|
|
Планировка визуально видна? |
Íå çíàþ |
- |
|
|
Эффективно ли используется выравнива- |
Äà |
8 |
|
|
íèå? |
|
|
|
|
Эффективно ли используется группиров- |
Äà |
9 |
|
|
êà? |
|
|
|
|
Есть ли хороший контраст? |
Íåò |
9 |
|
|
|
|
|
|
|
Не громоздкая ли планировка? |
Íåò |
8 |
|
|
|
|
|
|
|
Нравится ли вам сайт эстетически? |
Äà |
10 |
|
|
|
|
|
|
3.1.3 |
Содержание |
|
|
|
|
|
|
||
|
Вопрос |
Ответ |
Оценка |
|
|
|
|
|
важности |
|
|
|
|
|
|
Тексты на сайте понятны и лаконичны? |
Да, строго по теме |
10 |
|
|
|
|
|
|
|
Организован ли текст в виде небольших |
Äà |
9 |
|
|
блоков? |
|
|
|
|
|
|
|
|
|
Встречаются ли в тексте грамматические |
Не часто, но бывают |
9 |
|
|
и орфографические ошибки и опечатки? |
|
|
|
|
|
|
|
|
|
Содержат ли страницы вводный текст? |
Äà |
8 |
|
|
|
|
|
|
|
Поддерживают ли мультимедийные ком- |
- |
- |
|
|
поненты задачи пользователя? |
|
|
|
|
|
|
|
|
|
Являются ли единицы измерения, исполь- |
- |
- |
|
|
зуемые на сайте понятными и не вызовут |
|
|
|
|
ли они трудностей при использовании их |
|
|
|
|
иностранцами? |
|
|
|
|
|
|
|
|
|
Представлены ли на сайте время и дата |
Íå âñåõ |
10 |
|
|
создания страниц? |
|
|
|
|
|
|
|
|
|
Представлены ли на сайте номера кон- |
Íåò |
5 |
|
|
тактных телефонов? |
|
|
ñòð. 2
Представлены ли на сайте адреса с почто- |
Íåò |
5 |
выми индексами? |
|
|
|
|
|
3.1.4Формы и взаимодействие
|
Вопрос |
Ответ |
Оценка |
|
|
|
|
|
важности |
|
|
|
|
|
|
Соответствуют ли формы задачам пользо- |
Äà |
8 |
|
|
вателя? |
|
|
|
|
|
|
|
|
|
Обладают ли диалоги логичной последо- |
Äà |
10 |
|
|
вательностью шагов? |
|
|
|
|
|
|
|
|
|
Обладают ли диалоги понятной кнопкой |
Äà |
8 |
|
|
или ссылкой для перехода к следующему |
|
|
|
|
øàãó? |
|
|
|
|
|
|
|
|
|
Являются ли диалоги последовательными |
Äà |
10 |
|
|
и лаконичными? |
|
|
|
|
|
|
|
|
|
Все ли элементы форм используются по |
Äà |
10 |
|
|
назначению? |
|
|
|
|
Сгруппированы ли элементы формы по |
Не всегда |
8 |
|
|
своей сути? |
|
|
|
|
Понятно ли выглядит кнопка отправки |
Äà |
8 |
|
|
формы? |
|
|
|
3.1.5 |
Графика |
|
|
|
|
|
|
||
|
Вопрос |
Ответ |
Оценка |
|
|
|
|
|
важности |
|
|
|
|
|
|
Является ли качество используемой гра- |
Äà |
10 |
|
|
фики приемлемым? |
|
|
|
|
Все ли графические элементы имеют аль- |
Íå âñå |
8 |
|
|
тернативные текстовые надписи? |
|
|
|
|
|
|
|
|
|
Содержат ли графические элементы ин- |
Íåò |
5 |
|
|
формацию о размере файла? |
|
|
|
|
|
|
|
|
|
Оптимизированы ли графические элемен- |
Íå çíàþ |
- |
|
|
ты для передачи по Интернету? |
|
|
|
|
|
|
|
|
|
Реагируют ли графические элементы на |
Не реагируют |
3 |
|
|
движения мышки? Это полезно? |
|
|
|
|
|
|
|
|
|
Используется ли анимация? Е¼ не слиш- |
Почти не используется |
5 |
|
|
ком много? Объем файлов приемлемый? |
|
|
|
|
|
|
|
|
3.1.6 |
Цвета |
|
|
|
|
|
|
||
|
Вопрос |
Ответ |
Оценка |
|
|
|
|
|
важности |
|
|
|
|
|
|
Подходящий ли выбор цветов для сайта? |
Äà |
10 |
|
|
|
|
|
|
|
Используется ли слишком много цветов? |
Íåò |
10 |
ñòð. 3
|
Цвета используются логично и последова- |
Äà |
10 |
|
|
тельно? |
|
|
|
|
|
|
|
|
|
Адекватно ли различаются используемые |
Не проверял |
- |
|
|
цвета в черно-белом режиме? |
|
|
|
|
|
|
|
|
3.1.7 |
Оформление текста |
|
|
|
|
|
|
||
|
Вопрос |
Ответ |
Оценка |
|
|
|
|
|
важности |
|
|
|
|
|
|
Являются ли тексты понятными? |
Äà |
10 |
|
|
|
|
|
|
|
Размер шрифта достаточно большой? |
Да, вполне достаточный |
10 |
|
|
Цвет шрифта подходящий и достаточно |
Äà |
9 |
|
|
контрастный? |
|
|
|
|
Отформатирован ли текст так, чтобы в |
Не везде |
8 |
|
|
строке было от 10 до 12 слов? |
|
|
|
|
|
|
|
|
|
Достаточной ли ширины поля вокруг тек- |
Не достаточной |
9 |
|
|
ñòà? |
|
|
|
|
|
|
|
|
|
Гарнитура шрифта используется надлежа- |
Äà |
10 |
|
|
щим образом и последовательно? |
|
|
|
|
|
|
|
|
3.1.8 |
Устойчивость к ошибкам |
|
|
|
|
|
|
||
|
Вопрос |
Ответ |
Оценка |
|
|
|
|
|
важности |
|
|
|
|
|
|
Должен ли пользователь что-нибудь запо- |
Íåò |
10 |
|
|
минать, переходя между страницами? |
|
|
|
|
|
|
|
|
|
Возникает ли предупреждение при попыт- |
Äà |
8 |
|
|
ке совершения необратимых или дорого- |
|
|
|
|
стоящих действий? |
|
|
|
|
|
|
|
|
|
Можно ли отменить рискованные или до- |
Íåò |
4 |
|
|
рогостоящие действия? |
|
|
|
|
|
|
|
|
|
Перехватываются ли возникающие ошиб- |
Íå çíàþ |
- |
|
|
ки локально, без обращения к серверу? |
|
|
|
|
|
|
|
|
|
Содержат ли страницы с сообщением о |
Часто не содержат |
9 |
|
|
возникших ошибках полезную информа- |
|
|
|
|
öèþ? |
|
|
|
|
Содержат ли страницы с пустыми ре- |
Äà |
10 |
|
|
зультатами поиска советы по расширению |
|
|
|
|
условий поиска? |
|
|
|
|
|
|
|
|
|
Существует ли система помощи (справ- |
Íåò |
2 |
|
|
êè)? |
|
|
|
|
|
|
|
|
|
Структурирована ли помощь по задачам |
- |
- |
|
|
пользователя? Объясняет ли она пользо- |
|
|
|
|
вателю, как совершить то, или иное дей- |
|
|
|
|
ствие? |
|
|
|
|
|
|
|
|
|
Система помощи контекстно-зависимая? |
- |
- |
|
|
|
|
|
|
ñòð. 4
3.1.9Платформа и особенности реализации
Вопрос |
Ответ |
Оценка |
|
|
важности |
|
|
|
Загрузка страниц происходит достаточно |
Äà |
10 |
быстро? Занимает ли она от 3 до 15 се- |
|
|
êóíä? |
|
|
|
|
|
Все ли гиперссылки работают правильно? |
Все, на которые переходил |
10 |
|
работали. |
|
|
|
|
Существуют ли поврежденные графиче- |
Íåò |
10 |
ские элементы? |
|
|
|
|
|
Написан ли текст страниц так, чтобы их |
Google находит |
8 |
могли найти поисковые системы? |
|
|
|
|
|
Работает ли сайт с браузером пользовате- |
Работает с Opera, Firefox и IE |
10 |
ëÿ? |
|
|
|
|
|
Работает ли сайт с оборудованием, которое |
Работает |
10 |
использует пользователь? |
|
|
|
|
|
Работает ли сайт на мониторах высокого |
Äà |
8 |
и низкого разрешения? |
|
|
|
|
|
Используются ли нестандартные plug- |
- |
- |
in'ы. Являются ли они необходимыми и по- |
|
|
лезными? |
|
|
|
|
|
3.2Функциональное тестирование web-сайта
Web-приложения можно рассматривать как клиент-серверные приложения, в которых функциональность реализуется как на серверной, так и на клиентской стороне. Функциональность, реализованная на клиентской стороне, как правило, сводится к проверке вводимых данных и реализации дополнительных возможностей интерфейса, что реализуется путем использования скриптовых возможностей, встроенных в HTML (использование Java-script, VBScript и т.д.).
При рассмотрении функционального тестирования серверной части, основной интерес представляют взаимодействия браузера с сервером. Эти взаимодействия хорошо формализованы, поскольку осуществляются на основе протокола HTTP. Четкая формализация взаимодействий может служить основой для автоматизации функционального тестирования.
Функциональное тестирование должно проводиться на основе первоначально сформулированных требований к приложению и его спецификации. Не имея этих документов, невозможно сделать вывод о корректности работы приложения в той или иной ситуации.
3.3Нагрузочное тестирование web-сайта
Нагрузочное тестирование web-приложения основывается на требованиях к загруженности системы и может включать следующие шаги:
1.Определение требований к загруженности системы (например, максимальное время выполнения запросов).
2.Установка инструментов тестирования и мониторинга.
3.Определение участников, которые будут контролировать системные характеристики в ходе выполнения тестов.
ñòð. 5
4.Создание базиса имитации работы одного пользователя с браузером.
5.Создание сценариев тестов для имитации нескольких сеансов связи, установленных на нескольких браузерах.
6.Генерация необходимого числа пользователей и транзакций.
7.Определение характеристик работы системы в период пиковых нагрузок.
8.Контроль коэффициента загрузки ЦП и памяти серверов приложений.
9.Выполнение тестов несколько раз.
3.4Определение общих статистических характеристик сайта
Сбор статистических характеристик сайта может включать определение следующих параметров:
•Определение времени высокой активности пользователей (пиковые нагрузки).
•Интенсивность входного потока пользователей.
•Платформа клиента.
•Скорость выходного потока.
Получить некоторую общую информацию о сайте можно в автоматическом режиме с помощью продукта Rational SiteCheck. Данное приложение позволяет полностью загрузить произвольный сайт из Интернета и в древовидной структуре отобразить его архитектуру и содержимое. Ниже приводится скриншот главного окна программы, после загрузки сайта с адреса
www.linux.org.ru.
ñòð. 6
Помимо этого Rational SiteCheck позволяет получить различную полезную статистику по сайту.
ñòð. 7
4Выводы
В ходе выполнения данной работы был протестирован сайт www.linux.org.ru. Полностью выполнено только анкетирование пользователя, позволяющее определить степень удобства использования сайта. Функциональное и нагрузочное тестирование не проводилось, так как тестируемый сайт разрабатывался не нами. Анкетирование пользователя показало, что:
•Пользователя вполне устраивает архитектура и навигация по сайту. Однако, крайне важна для пользователя карта сайта, которой нет.
•В области планировки и дизайна пользователя не устраивает только отсутствие хорошего контраста.
•Не всегда имеются дата и время создания страниц. Это важно для пользователя и должно быть добавлено.
•Пользователь высоко оценивает отсутствие грамматических и орфографических ошибок, которые иногда встречаются на сайте.
ñòð. 8