4.5. Проверка правильности ранжирования

Ранжирование объектов сравнения с помощью любых экспертных методов обязательно включает в себя процедуру проверки правильности полученных результатов. Для этой цели служит коэффициент конкордации (согласия) экспертов, который показывает степень однородности (одинаковости) мнений различных специалистов. Этой же цели служит и применение критерия Кохрена, с помощью которого оценивается однородность мнений по каждому конкретному объекту. Все эти меры направлены на доказательство того, что в процессе расчетов не допущены ошибки и что группа экспертов пришла к некоторому соглашению, что повышает вероятность получения объективно правильного ответа.

Однако на практике нередки случаи, когда две или более группы экспертов давали несовпадающие или даже противоположные ответы на одни и те же вопросы. Это может происходить по разным причинам: эксперты принадлежат к разным школам, эксперты преследуют свои групповые интересы, какая-то группа (или отдельные эксперты) добросовестно заблуждается или дает заведомо ложные ответы и т.п. Необходим критерий, оценивающий объективность ранжировки, полученной в результате экспертизы. Таким критерием может стать закон Г. Ципфа, который по своей сути является информационным законом самой общей природы, отражающим закономерности самоорганизующихся систем.

Установлено, что в целом любая ранжировка, согласно закона Ципфа, носит гиперболический характер, однако разный по своим параметрам в начале и в конце ранжировки (точка раздела находится примерно в середине диапазона). Так как в большинстве случаев (особенно для технических приложений) исследователя интересует именно начало ранжировки, то имеет смысл ограничится ею. При объективно правильной ранжировке она должна подчиняться выражению

, (4.25)

где n(r) - число элементов системы, принадлежащих к виду ранга r; А и  – некоторые константы, которые подбираются по результатам ранжировки.

Получив конкретное числовое выражение формулы (4.25) для начального участка ранжировки, необходимо оценить его точность (достоверность). С этой целью можно использовать любые методы, оценивающие качество кривой по отношению к экспериментальным данным: критерий Пирсона, индекс корреляции в сочетании со среднеквадратической ошибкой модели и т.п.