Интерквартильный размах рассчитывается по следующей формуле: ( ) 3( ) − 1( ).

В этом контексте выбросы принадлежат множеству O( ):

O( ) { | > 3( ) + 1,5 ∙ ( )} { | < 1( ) − 1,5 ∙ ( )} .

Если оценка x, данная одним из участников конкретному входному сигналу и испытуемой системе, является элементом множества O(x), следует выяснить причину такой оценки. В ходе исследования записи сеанса испытаний могут выявиться технические неполадки в оборудовании или ошибки, связанные с человеческим фактором. Возможно, опрос оценщика покажет, действительно ли выставленная оценка представляла его субъективное мнение. Если окажется, что выброс в данных обусловлен ошибкой, можно исключить этот выброс из набора данных перед окончательным анализом результатов с указанием причины исключения в протоколе испытания.

Применение метода последующего отсеивания может прояснить тенденции, наблюдаемые в результатах испытания. Вместе с тем, учитывая неодинаковую чувствительность оценщиков к различным артефактам, следует проявлять осторожность. Повысив численность группы оценщиков, можно уменьшить влияние оценок отдельных слушателей.

4.2Численность группы оценщиков

Достаточная численность группы оценщиков может быть определена, если можно оценить дисперсию оценок различных участников группы и известна требуемая разрешающая способность эксперимента.

Опыт показывает, что, когда условия испытания с прослушиванием жестко контролируются как в техническом, так и в поведенческом отношении, данных не более чем от 20 участников зачастую бывает достаточно для того, чтобы сделать обоснованные выводы из испытания. Если есть возможность производить анализ по мере выполнения испытания оценщиками, то как только будет достигнут уровень статистической значимости, достаточный для получения обоснованных выводов, необходимость в обработке данных от большого количества оценщиков исчезает.

Если по той или иной причине жесткий контроль над экспериментом невозможен, то для достижения требуемой разрешающей способности может понадобиться большее количество оценщиков.

Численность группы оценщиков определяется не только требуемой разрешающей способностью. Результат эксперимента того типа, который рассматривается в настоящей Рекомендации, в принципе действителен только для той группы опытных слушателей, которая непосредственно участвовала в испытании. Таким образом, с повышением численности группы оценщиков можно утверждать, что результат будет действителен для более общей группы опытных слушателей и поэтому в некоторых случаях может считаться более убедительным. Необходимость в повышении численности группы оценщиков может также возникнуть в связи с вероятностью неодинаковой чувствительности оценщиков к различным артефактам.