последовательности в ходе одной из демонстраций. Преимущество этого подхода состоит в том, что пробные испытания каждой системы распределяются по всему сеансу испытаний.

A5-7.1.1.4 Обработка результатов испытаний

Для данного пробного испытания пробная оценка – это расстояние от начальной точки "ТО ЖЕ" шкалы до отметки на шкале 0–100, сделанной наблюдателем. Результаты анализируются с определением показателя усредненного мнения (MOS), который используется для ранжирования испытуемых систем. В зависимости от количества наблюдений на систему (число наблюдателей число испытательных последовательностей число повторов) данные могут подвергаться дисперсионному анализу (ANOVA)7. Результаты контрольных испытаний могут использоваться для определения базового разброса при "случайных" суждениях.

A5-7.1.2 Этап II

Одной из основных целей этапа II является уточнение относительного ранжирования по результатам этапа I, точность и надежность которого могут быть снижены из-за ограниченного числа наблюдателей и/или пробных суждений. Еще одна важная задача – выявление характеристик восприятия различий между изображениями, на которых основываются суждения, вынесенные на первом этапе.

Эта часть состоит из рассмотрения группой экспертов показанного материала. Теперь экспертам разрешается обсуждать представленный материал, повторять его частично или полностью столько раз, сколько необходимо для рассмотрения и/или демонстрации, и прийти к согласованному суждению и описанию того, что они видят. По запросу экспертов разрешаются такие режимы, как замедленное или покадровое воспроизведение, стоп-кадр и т. п. Для этого потребуется некоторое взаимодействие и вмешательство со стороны администратора испытаний.

A5-7.1.2.1 Группирование материала для испытания

Для правильного выполнения этапа II испытаний необходимо сгруппировать выбранный для испытания материал по содержимому, получив так называемый базовый набор для просмотра экспертами (BES), в котором сгруппированы все кодированные последовательности, полученные из одной и той же исходной последовательности, расположенные в соответствии с рейтингом, полученным на этапе I.

Испытательный материал располагается в порядке от наименьшего значения MOS до наибольшего. Количество BES равно число испытательных последовательностей.

A5-7.1.2.2 Тренировочный сеанс просмотра экспертами

Тренировочный сеанс просмотра экспертами (BEV) – это сеанс обсуждения, в ходе которого эксперты изучают весь материал, включенный в BES; одна из задач состоит в том, чтобы подтвердить или изменить порядок ранжирования, полученный в результате этапа I формальных испытаний. Следовательно, должна быть подтверждена или изменена относительная видимость различий.

A5-7.1.2.3 План этапа II

На этапе II выполняются все BEV. Экспертам известно, что порядок представления является результатом ранжирования на этапе I, но не известно о какой-либо связи между ранжированием систем и теми, кто имеет к ним отношение.

Этап II проводится как групповое мероприятие, приводящее к консенсусу оценщиков.

Перед началом второго этапа с оценщиками проводится инструктаж, возможно, в текстовом формате, решающий следующие задачи:

–ознакомление с материалом каждого BEV;

–обсуждение рейтинга материалов в каждом BEV; если группа не согласна с рейтингом, определяется новый рейтинг;

7Для применения методов инференциальной статистики, таких как ANOVA, достаточно в общей сложности 10–20 наблюдений в наихудших условиях, представляющих интерес.