Методы оценки производительности

Американский ученый Лукас провел анализ наиболее важных с его точки зрения методов оценки производительности и указал их применимость для различных целей этой оценки. Учитывая, что результаты этого анализа были опубликованы в 1971 г., здесь приведены лишь те результаты, которые не потеряли актуальности до настоящего времени, а небольшая часть результатов подвергнута некоторой коррекции. В приводимой ниже таблице использованы следующие обозначения: знак "-" обозначает, что метод неприменим, "1" - метод может быть использован, но дает весьма неточные результаты, "2" - метод дает некоторую информацию, но неполон и его следует использовать совместно с другими методами, "3" - метод дает вполне приемлемые результаты.

	Метод оценки	Цель оценки
№ п/п		Оценка для выбора - ВС уже где-то имеется		Проектироваие производительности (ВС еще не существует)		Контроль производительности (ВС эксплуатируется)
		Аппар.	ПО	Аппар.	ПО	Аппар.	ПО
1	Элементарные времена	1	-	1	-	1	-
2	Смеси команд	1	-	1	-	1	-
3	Аналитические модели	2	2	2	2	2	2
4	Измерительные программы	3	3	2	2	2	2
5	Имитационные модели	3	3	3	3	3	3
6	Мониторы (программные, аппаратные, аппаратно-программные)	2	2	2	2	3	3

1. Элементарные времена

Сравнение по элементарным временам обычно производится для нескольких основных аппаратных операций, причем в качестве основной часто выбирают операцию сложения чисел с фиксированной запятой. Однако эта оценка является весьма приблизительной, так как она не учитывает таких особенностей построения ЦП ЭВМ, как число тактов работы конвейера операций при выполнении других команд, например, умножения чисел с фиксированной запятой.

2. Смеси команд

Метод использует взвешенное среднее время выполнения различных команд, что в большей степени отвечает конкретному применению ВС. Однако и этот метод имеет ряд существенных недостатков:

• выбор весов для частоты появления каждой команды весьма субъективен;

• метод не дает информации для оценки ПО в целом;

• в современных ЭВМ время выполнения большинства типов команд может сильно колебаться в зависимости от контекста использования анализируемой команды из-за наличия или отсутствия данного участка текста программы в кэш-памяти и влияния конвейера операций.

3. Аналитические модели

Аналитическая модель является математическим представлением функционирования ВС или ее компонент. Наиболее часто используют модели, созданные с помощью теории очередей и марковских процессов. Для этого метода имеется богатый арсенал математических результатов, воспользовавшись которыми можно в ряде случаев сравнительно быстро и точно оценить производительность данной ВС или ее компоненты. Однако у аналитических моделей имеется и немало недостатков:

• исследователь должен обладать высокой математической квалификацией;

• точные решения существуют лишь для простейших моделей;

• при упрощении моделей результаты могут сильно исказиться.

Эти модели могут оказаться весьма эффективны при оценке производительности ВС в целом или производительности достаточно больших частей ПО этой ВС, при этом для оценки временных затрат при исполнении относительно небольших программных компонент должны использоваться какие-либо другие методы измерения производительности ВС, например, метод смесей команд.