9. 2. Тестирование компьютеров

Основная идея тестирования заключается в том, чтобы посмотреть, на что способны различные конфигурации компьютеров.

Методика тестирования

Методик тестирования очень много, каждый пользователь может использовать собственную методику для проверки своего компьютера, но те не менее существует ряд основных требований, которые соблюдаются при тестировании компьютера или его основных устройств.

Тестирование компьютеров может проводиться под управлением операционной системы Windows Vista, для чего необходимо учесть особенности операционной системы Windows Vista по динамической самонастройке, то есть динамической подстройке системы под различные сценарии использования приложений, и при этом обеспечить повторяемость результатов.

В основном методика тестирования предполагает три этапа:

- подготовка;

- обучение;

- получение результатов.

Этап подготовки заключается в установке операционной системы, всех драйверов и обновлений, а также необходимых бенчмарков и приложений.

На этапе обучения системы производится сбор и анализ необходимых для самонастройки операционной системы данных.

На этапе получения результатов тестирования происходит собственно тестирование системы.

Последовательность тестирования может быть следующая.

Этап подготовки:

- устанавливается операционная система;

- устанавливаются все необходимые драйверы и обновления операционной системы;

- производится необходимая настройка операционной системы;

- устанавливаются все необходимые бенчмарки и приложения, требуемые для проведения тестирования.

Этап обучения:

- производится очистка папок в Windows Vista, в которых содержатся данные, используемые для оптимизации размещения файлов на жёстком диске и упреждающей загрузки данных в оперативную память;

- осуществляется трёхкратная перезагрузка операционной системы с выдерживанием двухминутной паузы после каждой перезагрузки;

- запускается тест;

- по окончании теста выдерживается двухминутная пауза;

- выполняется команда Rundll32.exe advapi32.dll, ProcessIdleTasks;

- производится дефрагментация жёсткого диска.

Этап тестирования:

- каждый тест запускается пять раз с перезагрузкой компьютера после каждого прогона теста и выдерживанием двухминутной паузы после перезагрузки;

- по результатам пяти прогонов теста рассчитываются средний арифметический результат и среднеквадратичное отклонение.

Настройка операционной системы Windows Vista на этапе подготовки заключается в следующем:

- отключается функция User Account Control (UAC);

- отключается отображение панели Windows Sidebar;

- отключается функция Screen Saver;

- отключается функция восстановления системы (System Protection);

- отключается возможность дефрагментации по расписанию;

- отключается служба Windows Defender;

- отключается встроенный Windows Firewall;

- отключается функция автоматического обновления системы (Automatic Updates);

- блокируется служба Security Center;

- отключается отображение панели задач поверх других окон;

- отключается функция удаленного управления (Remote Desktop);

- производиться включение всех визуальных эффектов рабочего стола (Adjust for best appearance);

- блокируется возможность отключения монитора и жёстких дисков, а также возможность ухода системы в режим Sleep.

В описанной выше процедуре проведения тестирования в комментариях нуждается, пожалуй, лишь этап обучения. Он начинается с очистки папок %SystemRoot%\Prefetch и %SystemRoot%\Prefetch\ReadyBoot, в которых содержатся данные, используемые для оптимизации размещения файлов на жёстком диске и упреждающей загрузки данных в оперативную память. На этапе обучения системы необходимо очистить содержимое этих папок, чтобы сбор нужной информации для оптимизации начать с нуля.

Трёхкратная перезагрузка операционной системы производится для сбора информации, необходимой для оптимизации операционной системы.

Запуск теста на этапе обучения необходим для того, чтобы операционная система смогла оптимизировать на жёстком диске размещение файлов данных и приложений, а также накопить информацию, необходимую для упреждающего чтения данных. Отметим, что результаты теста, полученные на этапе обучения, не являются показательными и не учитываются при обработке результатов тестирования.

Команда Rundll32.exe advapi32.dll, ProcessIdleTasks выполняется для принудительного завершения всех фоновых процессов оптимизации, производимых операционной системой.

По завершении выполнения команды Rundll32.exe advapi32.dll, ProcessIdleTasks на основе накопленной информации будет реализована оптимизация размещения файлов на жёстком диске.

Важно отметить, что если при тестировании применяется не один, а несколько бенчмарков, то использование каждого нового бенчмарка необходимо вновь начинать с этапа обучения.

Бенчмарк- это программ- тест.

Весь процесс тестирования по описанной схеме был полностью автоматизирован, для чего был разработан соответствующий скрипт.

Этот скрипт последовательно запускал все необходимые тесты, выполнял этап подготовки системы и перезагружал компьютер, выдерживал необходимые паузы и т.д., то есть действовал по принципу «вечером запустил - утром получил результаты».

Кроме того, применение такого скрипта полностью исключает влияние человеческого фактора, то есть возможность появления ошибки в ходе тестирования, да и тестирование всех компьютеров проводилось по абсолютно одинаковой схеме, что немаловажно.

Бенчмарки, используемые для тестирования:

- Futuremark 3DMark06 (версия v.1.1.0);

- Futuremark PCMark05 (версия v. 1.2.0).

Тест Futuremark 3DMark06 v.1.1.0 и тест Futuremark PCMark05 v. 1.2.0 содержат следующие подтесты:

• System Test Suite;

• CPU Test Suite;

• Memory Test Suite;

• Graphics Test Suite;

• HDD Test Suite.

Корпорация Futuremark, разработчик популярных программных приложений для тестирования персональных компьютеров. Futuremark 3DMark06 v.1.1.0 и Futuremark PCMark05 v. 1.2.0 представляют собой комплект бенчмарков, предназначенных для измерения быстродействия основных подсистем ПК в программных сценариях, соответствующих, по заверениям Futuremark, реальным условиям работы пользователей.

В Futuremark PCMark05 v. 1.2.0 большое внимание уделено многоядерным процессорам, представлены специальные тестовые сценарии, максимально задействующие многопоточность, также присутствует новый набор тестов для новейших моделей жёстких дисков.

При помощи Futuremark 3DMark и Futuremark PCMark можно всесторонне протестировать процессор, а также оперативную память и винчестер - самые, кстати сказать, уязвимые с точки зрения стабильности системы компоненты. Запустив тестирование, желательно не работать за компьютером до окончания процесса. Если вы переключитесь в какую-нибудь другую программу - процесс остановится.

Рассмотрим возможности тестовых наборов подробнее.

Тестовый набор Futuremark PCMark включает в себя комплекс тестов PCMark Suite.

Тесты CPU:

- шифровка, дешифровка, сжатие и распаковка данных;

- операции с изображениями (сжатие / распаковка / изменение размера);

- перекодирование аудио;

- перекодирование видео;

- редактирование текста;

- рендеринг web-страниц;

- Windows Mail;

- Windows Contacts;

- игровые тесты CPU.

Тесты GPU:

- проигрывание видео;

- игровые тесты GPU.

Все тесты, входящие в PCMark Suite, распределены по нескольким тематическим группам:

- Memories 1 и 2;

- TV and Movies 1 и 2;

- Gaming 1 и 2;

- Music 1 и 2;

- Communications 1 и 2;

- Productivity 1 и 2.

Версии PCMark Vantage Advanced и Professional помимо базового набора PCMark Suite позволяют провести более детальную проверку системы с помощью комплекта специализированных тестов.

Приложения, которые могут быть использованы для тестирования:

- Lame 4.0 Beta;

- WinRAR 3.71;

- Windows Media Encoder 9.0;

- DivX Converter 6.5;

- DivX Codec 6.7;

- DivX Player 6.6;

- Adobe Photoshop CS3;

- Microsoft Excel 2007.

Приложение Lame 4.0 Beta применяется для определения производительности при конвертировании аудиофайлов из формата WAV в формат MP3. Результатом теста является время конвертирования — чем оно меньше, тем выше производительность процессора.

Для перекодирования аудиофайла из формата WAV в формат MP3 создаётся многопотоковый тест на основе приложения Lame 4.0 Beta. С его помощью проверяется один и тот же WAV-файл одновременно, который в четыре потока необходимо переконвертировать в четыре MP3-файла с разными именами. Более реалистичной будет задача взять четыре отдельных WAV-файла (пусть даже одинаковых, но с разными именами) и одновременно, в четыре потока, переконвертировать их в четыре отдельных MP3-файла.

Однако, тогда может не выявиться, что при одновременном перекодировании четырёх WAV-файлов в четыре MP3-файла слабым звеном в системе будет жёсткий диск. Даже маломощный процессор (не говоря уже о современных четырёхъядерных процессорах) окажется в таком случае недозагружен, поскольку каждому процессу конвертирования будут требоваться различные данные, считываемые с жёсткого диска, и диск просто не будет успевать обрабатывать запросы процессора.

Приложение WinRAR 3.71 используется для определения производительности при архивировании большого массива данных. В качестве тестового задания для архивирования обычно служит директория размером 548 Мбайт, содержащая 743 файла. Результатом теста является время архивирования, чем оно меньше, тем выше производительность процессора.

Приложение Windows Media Encoder 9.0 применяется для определения производительности процессора при конвертировании видеофайла размером 150 Мбайт, записанного в формате WMV, в видеофайл с меньшими разрешением. Исходный файл с разрешением 1440x1080 и видеобитрейт 8000 Кбит/с, а результирующий файл должен иметь разрешение 320x240 и видеобитрейт 282 Кбит/с.

Приложение DivX Converter 6.5 с кодеком DivX Codec 6.7 используется для определения производительности процессора при конвертировании исходного видеофайла размером 150 Мбайт, записанного в формате WMV и имеющего разрешение 1440х1080 и видеобитрейт 8000 Кбит/с, в видеофайл формата DivX с разрешением 720x540 и видеобитрейтом 4854 Кбит/с (предустановка Ноme Theater в приложении DivX Converter 6.5).

Приложение DivX Player 6.6 применяется в паре с приложением Windows Media Encoder 9.0 для создания многозадачного теста. Его смысл заключается в том, чтобы на фоне проигрывания видеофайла с разрешением 1440x1080 и битрейтом 8000 Кбит/с с использованием приложения DivX Player 6.6 запустить процесс конвертирования этого же видеофайла с помощью приложения Windows Media Encoder 9.0. Созданный файл должен иметь разрешение 320x240 и видеобитрейт 282 Кбит/с. Результатом теста является время конвертирования видеофайла.

Ещё один многозадачный тест заключается в том, чтобы проигрывать видеофайл при помощи приложения DivX Player 6.6 и одновременно конвертировать его с использованием приложения Windows Media Encoder 9.0. Конвертировать аудиофайл из формата WAV в формат MP3 посредством приложения Lame 4.0 Beta и архивировать большой массив данных с применением архиватора WinRAR 3.71.

То есть в данном тесте реализуется одновременное выполнение большинства тех тестов, которые ранее производились по отдельности.

Приложение Adobe Photoshop CS3 использовалось нами для определения производительности процессора при обработке цифровых фотографий. Вообще, нужно отметить, что ресурсоёмких фильтров, входящих в состав Adobe Photoshop CS3, не так-то много, большинство типичных операций, с которыми приходится сталкиваться при обработке цифровых фотографий, требует ничтожно малого времени. Кроме того, как выяснилось, далеко не все те фильтры, которые действительно загружают процессор и выполняются в течение долгого времени, являются многопоточными, то есть способны загрузить несколько ядер процессора.

Приложение Microsoft Excel 2007 применяется для определения производительности процессора при выполнении вычислений в электронных таблицах Excel. Важно отметить, что данный тест никоим образом не отражает возможности компьютера при выполнении типичных офисных задач. Вообще, найти типичную офисную задачу, с которой бы современный компьютер плохо справлялся, практически невозможно, поскольку работа с электронными таблицами Excel не является ресурсоёмкой.

Для сравнения производительности компьютеров не на отдельных приложениях, а интегрально, то есть на наборе приложений, можно воспользоваться понятием интегральной производительности.

Никакой единой и общепризнанной методики расчёта интегрального показателя производительности пока не существует, каждый производитель и пользователь могут тестировать компьютер и его устройства так, как они представляют это правильным.

Интегральный показатель производительности должен отражать усредненную по всему набору используемых для тестирования приложений относительную производительность компьютера, для расчёта которой применяется понятие эталонного, или референсного, ПК, результаты которого в каждом тесте принимаются равными единице.

Интегральный показатель производительности рассчитывается следующим образом. Первоначально результаты всех тестов нормируются на соответствующие результаты референсного ПК. Далее вычисляется среднее геометрическое всех нормированных результатов. При расчёте среднего в тесте 3DMark06 учитывается лишь результат 3DMark Score. Аналогично в тесте PCMark05 учитывается только результат PCMark Score. Полученный таким образом результат и представлял собой интегральный показатель производительности, который можно ассоциировать с усредненным приростом производительности в сравнении с производительностью референсного компьютера.

К примеру, если интегральная производительность компьютера составляет 1,235 единицы, то это означает, что производительность данного компьютера в среднем в 1,235 раза выше производительности референсного ПК, а если интегральная производительность компьютера ниже 1, то производительность данного компьютера ниже производительности референсного ПК.

В качестве примера возьмём референсный ПК на базе четырёхъядерного процессора Intel, имеющий следующую конфигурацию:

- процессор Intel Core 2 Extreme QX9650;

- системная плата Gigabyte GA-P35T-DQ6;

- чипсет системной платы  Intel P35 (Bearlake);

- тип памяти  DDR3 (Patriot PDC32F 1866LLK (PC3-1866));

- объём памяти  2 Гбайт (два модуля емкостью по 1024 Мбайт, двухканальный режим работы);

- видеокарта ATI Radeon HD 2900 XT (512 Мбайт видеопамяти);

- жёсткий диск  Seagate Barracuda ST3120827AS (120 Гбайт, 7200 RPM, SATA).