самой этой последовательностью или разными уровнями ухудшений, представленных вниманию оценщиков. Соответственно, схема представления условий испытания должна быть такой, чтобы обнаруживать влияние независимых факторов и только этих факторов.

Если есть основания ожидать, что потенциальные ухудшения и другие характеристики будут распределены равномерно на протяжении всего испытания, то условия испытания можно представлять в истинно рандомизированном порядке. Если же предполагается наличие неоднородности, ее необходимо учитывать при представлении условий испытания. Например, если оцениваемый материал неоднороден по уровню трудности, порядок представления входных сигналов должен быть распределен случайно как в пределах одного сеанса, так и между сеансами.

Испытания с прослушиванием необходимо планировать так, чтобы качество выносимых оценщиками суждений не снижалось из-за перегрузки. Предпочтительно производить оценку аудиосистем без сопровождающих изображений, за исключением случаев, когда соотношение между звуком и изображением является значимым. Немаловажно предусмотреть надлежащие контрольные условия. Такие условия обычно включают представление аудиоматериалов неухудшенного качества способами, непредсказуемыми для оценщиков. Именно различия в суждениях о контрольных и потенциально ухудшенных входных сигналах и дают основания заключить, что поставленные оценки действительно характеризуют ухудшения.

Некоторые из этих соображений будут рассмотрены позже. Следует понимать, что планирование и выполнение экспериментов, а также статистический анализ их результатов – сложные темы, не все аспекты которых могут быть изложены в Рекомендации наподобие этой. Рекомендуется проконсультироваться с профессионалами в сфере планирования экспериментов и статистики или привлечь их к работе на начальной стадии планирования испытания с прослушиванием.

В целях создания условий для эффективного анализа данных и переноса их между лабораториями необходимо включить план эксперимента в протокол. В плане следует детально определить как зависимые, так и независимые переменные. Число независимых переменных определяется вместе с соответствующими уровнями.

4 Отбор оценщиков

Источниками данных при испытаниях с прослушиванием, предназначенных для оценки небольших ухудшений качества в аудиосистемах (например, как описано в Рекомендации МСЭ-R BS.1116), должны быть оценщики, обладающие опытом определения таких небольших ухудшений. Чем более высокое качество звука достигается в испытуемых системах, тем важнее иметь опытных слушателей.

4.1Критерии отбора оценщиков

Хотя метод испытания MUSHRA и не предназначен для оценки незначительных ухудшений, тем не менее рекомендуется привлекать опытных слушателей, с тем чтобы обеспечить надлежащее качество собираемых экспериментальных данных. Такие слушатели должны иметь опыт критического прослушивания звуковых материалов. Результат в этом случае будет более скорым и надежным, чем при использовании неопытных слушателей. Важно также отметить, что большинство неопытных слушателей, как правило, становятся чувствительнее к разнообразным артефактам после частого прослушивания. Опытного оценщика выбирают по умению выполнять соответствующие функции в ходе испытания с прослушиванием. Это умение должно быть качественно и количественно охарактеризовано путем испытания с повторным оцениванием по параметрам надежности и различительной способности:

–различительная способность – мера способности воспринимать различия между тестовыми элементами;

–надежность – мера близости повторных оценок одного и того же тестового элемента.

При окончательном анализе результатов следует использовать данные только от тех оценщиков, которые были классифицированы как опытные. Существует ряд методов характеризации оценщиков.