20 |
Рек. МСЭ-R BT.500-15 |
если 2 ≤ 2*jklr ≤ 4, то:
если |
u* |
u * |
njklr |
jklr |
|
если |
u* |
u * |
njklr |
jklr |
или же:
+2 S*jklr
–2 S*jklr
,
,
тогда P*i = P*i + 1;
тогда Q*i = Q*i + 1;
Если
если
если
P*i + J K
u*njklr
u* |
|
|
njklr |
||
Q* |
|
|
i |
||
|
||
L R |
|
|
Y
u * |
+ |
20 S* |
jklr |
|
jklr , |
u * |
– |
20 S* |
jklr |
|
jklr |
иP*i − Q*i P*i + Q*i
,
Z,
тогда P*i = P*i + 1;
тогда Q*i = Q*i + 1.
тогда исключается наблюдатель i,
при этом:
N: число наблюдателей;
J: количество временных интервалов в рамках испытательной комбинации условия испытания и испытательной последовательности;
K: количество условий испытаний;
L: количество последовательностей; R: количество повторов.
Предлагаемыми значениями параметров (X, Y, Z), адаптированными к данному методу, по опыту,
являются 0,2; 0,1; 0,3.
A1-2.3.3 Последующее отсеивание на основе корреляции
Каждый наблюдатель должен иметь стабильный и последовательный метод, обеспечивающий беспристрастную оценку ухудшения качества каждой сцены и алгоритма. Критерий отклонения позволяет подтвердить уровень последовательности оценок одного наблюдателя по сравнению со средней оценкой всех наблюдателей, принимавших участие в данной сессии испытаний. Критерий принятия решения основан на корреляции индивидуальных оценок с соответствующими средними оценками всех наблюдателей, принимавших участие в испытаниях. Эта процедура проще в реализации, чем соответствующий метод, описанный в предыдущих разделах.
A1-2.3.3.1 Корреляция Пирсона
Предполагается, что соотношение между шкалой качества и диапазоном оценок наблюдателей является линейным, поэтому можно применить корреляцию Пирсона.
Основная цель состоит в проверке простым методом того, согласуются ли оценки одного наблюдателя со средними оценками, выставленными всеми наблюдателями на протяжении всего сеанса испытания. Скрытый эталон считается привязкой высокого качества. Если используются слабая и сильная привязки, то они повышают оценку корреляции, с другой стороны, уменьшаются разбросы корреляции между наблюдателями.
Рек. МСЭ-R BT.500-15 |
21 |
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
i |
|
|
|
|
||||||
|
|
|
n |
|
|
|
|
|
x |
|
|
y |
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
i |
i |
− |
i |
=1 |
|
i=1 |
|
|
|
|
|
||||||||
|
|
|
|
x y |
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
||
r(x, y) = |
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
2 |
|
|
|
|
|
|
|
n |
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
x |
|
|
|
|
|
|
|
|
|
|
y |
|
|
|
n |
|
|
|
i |
|
|
|
n |
|
|
|
|
i |
|
|
||||||
|
|
2 |
|
i=1 |
|
|
|
|
|
|
|
|
2 |
|
i=1 |
|
|
|
|||
|
i |
− |
|
|
|
|
|
|
|
|
i |
− |
|
|
|
|
|
||||
|
x |
|
|
|
n |
|
|
|
|
|
y |
|
|
n |
|
|
|
||||
i=1 |
|
|
|
|
|
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
, |
(11) |
где:
xi: средняя оценка всех наблюдателей по трем элементам (алгоритм, скорость передачи данных в битах, сцена);
yi: индивидуальная оценка одного наблюдателя по тем же трем элементам; n: (число алгоритмов) × (число сцен);
i: {номер кодека, номер скорости передачи данных по битам, номер сцены}.
A1-2.3.3.2 Ранговая корреляция Спирмена
Ранговая корреляция Спирмена может применяться, даже если предполагается, что соотношение между шкалой качества и диапазоном оценок наблюдателей не является линейным4:
|
|
|
n |
R(x )− R(y ) |
|
|
|||
|
|
6 |
|
|
|
||||
|
|
|
|
|
i |
i |
|
|
|
|
|
|
|
|
|
|
2 |
|
|
r(x, y) = |
|
|
i=1 |
|
|
|
|
|
, |
1− |
|
|
|
3 |
|
|
|
||
|
|
|
|
n |
−n |
|
|
||
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
где:
(12)
xi: |
средняя оценка всех наблюдателей по трем элементам (алгоритм, скорость |
|
передачи данных в битах, сцена); |
yi: |
индивидуальная оценка одного наблюдателя по тем же трем элементам; |
n: |
(число алгоритмов) × (число сцен); |
R(xi или yi): |
порядок ранжирования; |
i: |
{номер кодека, номер скорости передачи данных по битам, номер сцены}. |
A1-2.3.3.3 Критерий |
обоснования окончательного отказа для исключения наблюдателя |
из испытания
Корреляции Пирсона и Спирмена используются для исключения наблюдателя(ей), в соответствии со следующими условиями:
ЕСЛИ [mean(r) – sdt(r)] > порога максимальной корреляции (MCT). Порог отказа = порогу максимальной корреляции (MCT).
В ИНОМ СЛУЧАЕ порог отказа = [mean(r) − sdt(r)].
ЕСЛИ [r (Наблюдатель)] > порога отказа.
ТОГДА наблюдатель "i" не исключается из испытания.
В ИНОМ СЛУЧАЕ наблюдатель "i" исключается из испытания;
4 Обычно результаты корреляции Пирсона и результаты корреляции Спирмена очень близки.