2.3.1Испытательные последовательности МСЭ-R

Многие организации разработали испытательные неподвижные изображения и последовательности. Отчет МСЭ-R BT.2245 "Испытательные материалы для оценки качества изображения ТВЧ и ТСВЧ, включая HDR-TV" содержит подробное описание материалов для испытания ТВЧ и ТСВЧ, которые можно использовать для субъективной оценки. Дополнительные идеи по выбору испытательных материалов приведены в Приложениях 1 и 2 к части 1 настоящей Рекомендации.

2.4Диапазон условий и привязки

Поскольку большинство методов оценки чувствительны к изменениям диапазона и распределения условий наблюдения, сеансы экспертизы должны включать в себя все возможные диапазоны факторов. Однако они могут быть приближены к более ограниченному диапазону путем представления также условий, приходящихся на крайние точки шкалы. Эти условия могут быть представлены как отдельные примеры и определены как самые крайние (прямая привязка) или распределены по всему сеансу и не определены как наиболее крайние (косвенная привязка).

2.5Наблюдатели

Наблюдатели могут быть или не быть экспертами, что определяется задачами оценки. Наблюдатель-эксперт – это наблюдатель, имеющий опыт определения искажений изображения, которые может внести испытываемая система. Не являющийся экспертом ("необученный") наблюдатель – это наблюдатель, не имеющий опыта определения искажений изображения, которые может внести испытываемая система. В любом случае наблюдатели не должны – в настоящее время или ранее – быть непосредственными участниками разработки испытываемой системы, то есть в такой степени, чтобы приобрести специальные и подробные знания.

2.5.1Число наблюдателей

Если в выбранной методике не указано иное, следует привлекать к участию не менее 15 наблюдателей. Необходимое число наблюдателей зависит от критичности и надежности принятой процедуры испытания и от ожидаемого воздействия оцениваемого эффекта. Для исследований с ограниченной сферой охвата, например экспериментального характера, можно привлекать менее 15 наблюдателей. В этом случае исследования должны быть обозначены как "неформальные". Следует указать уровень компетенции наблюдателей в области оценки качества телевизионного изображения.

2.5.2Отбор наблюдателей

Как правило, до сеанса следует оценить (или скорректировать) остроту зрения наблюдателей при помощи таблицы Снеллена или Ландольта и проверить цветовое зрение, используя специально отобранные таблицы (например, Ишихара).

В разделах A1-2.3 и A1-2.4 подробно описаны различные сценарии отбора наблюдателей, которые возможно применять для различных методик испытаний. Если лабораторные или менее формальные испытания проводятся в рамках программы испытаний в нескольких местах или организациях, важно, чтобы полная информация о методе и критериях отбора наблюдателей была распространена и включена в публикуемые результаты.

Как правило, следует как можно более подробно указывать характеристики своих групп оценки, эти данные могут включать профессиональную категорию (например, работник радиовещательной организации, студент университета, служащий), пол и возрастную группу.

ПРИМЕЧАНИЕ. – Исследование согласованности результатов различных испытательных лабораторий показало, что между результатами, полученными в различных испытательных лабораториях, могут появляться систематические различия. Такие различия будут иметь особенное значение, если предлагается объединить результаты, предоставленные несколькими различными лабораториями с целью повышения чувствительности и надежности эксперимента.

Вероятное объяснение различий результатов разных лабораторий состоит в возможном различии в уровнях навыков разных групп оценщиков. Необходимо провести дополнительное исследование для оценки обоснованности этой гипотезы, и, если она окажется верной, количественно оценить изменения, обусловленные данным фактором.