книги из ГПНТБ / Айвазян, С. А. Классификация многомерных наблюдений

б) Последовательное рассмотрение отдельных признаков (метод Кендалла). В работе [25] предлагается метод построения наиболее информативного набора признаков, не зависящий от типа распределе­ ния. Рассматривается задача распознавания двух образов, т. е. реша­ ется вопрос, как зная 2 обучающие выборки из двух многомерных ге­ неральных совокупностей, определить, к которой из этих совокуп­ ностей относится некоторый элемент. Метод, которым решается зада­ ча, состоит в том, что признаки сначала упорядочиваются «по старшин-

I------1__ I__ I____I___ I___ I___ I___ I__ I____ I__ I____ I__ I____ 1___ I-----1-----

шающее правило, по которому по значению старшего признака неко­ торого элемента либо можно отнести этот элемент к одной из генераль­ ных совокупностей, либо перейти к следующему по старшинству при­ знаку. В случае, если после перехода к самому младшему признаку по его значению нельзя распознать данный элемент, задача остается нерешенной.

Рассмотрим пример: генеральные совокупности —это 2 сорта ириса: «Разноцветный» и «Вирджиния».

Берется по 50 цветков каждого сорта и делается 4 линейных из­ мерения специального вида (ширины лепестков и т. д.). Следуя [25], обозначим эти четыре признака через PL, PW, SL,

Данные измерений двух сортов ириса по 4 переменным приводятся в табл. 4.4.

203

Примечание. В каждом столбце по 50 значений, измерения производили с точностью до

0 , 1.

Используя табл. 4.4, составляем таблицу частостей по каждому из признаков. Так, в табл. 4.5 приведены частости для признака PL двух сортов ириса. Этот признак, как выяснится позже, является стар­ шим в данной задаче.

Примечание. В правой части таблицы приводится количество цветков, для которых из­ мерение по PL равно данному значению.

Из таблицы видно, что по переменной PL множества измерений цветков обоих сортов пересекаются на отрезке (4.5; 5.1); т. е. левее отрезка попадают только измерения «Разноцветного», правее только «Вирджиния», а внутри отрезка содержатся измерения обоих сортов. Обозначим этот отрезок через R Pl , а через N PL — число цветков обоих сортов, измерения которых по PL попадают вне отрезка R p l . Анало­ гично введем N s l , N p w , N s w - П о табл. 4.5 подсчитаем N PL, N P W, N S l и

признаком, PW — следующим по старшинству, так как Nsw и N sl <

<N PW и строим следующее решающее правило:

204

Всего элементов, которые нельзя распознать по PL, т. е. тех, для которых значения PL попадают в RPL,—37 (37 = 50 + 50—63). Выбераем эти элементы из табл. 4.4 и составляем для них по PW таблицу, аналогичную таблице 4.5, отражающую распределение частостей для 37 элементов, не распознанных по PL.

Затем находится Rpw, строится решающее правило по PW аналогично (*), определяется старший из оставшихся признаков.

После построения реша­ ющего правила для «са­ мого младшего» призна­ ка процедура распозна­ вания заканчивается. Элементы, которые нель­ зя распознать с помо­ щью такой процедуры, считаются неопределен­ ными. Этот метод очень прост: никаких вычис­ лений, кроме подсчета случаев, в нем не содер­ жится. Процедура рас­ познавания не зависит от вида распределений совокупностей; не тре­ буется никакой априор­ ной информации об этих распределениях. При применении процедуры выясняется, какой из признаков более инфор­ мативный в том смысле, по какому из них можно определить большее чис­ ло случаев. Если с по­ мощью такой процедуры

удается распознать очень мало случаев, рекомендуется перейти к но­ вым координатам. Попробуем наглядно пояснить смысл этой-реко­ мендации .

Изрис. 4.9видно, что R x(i) и Rx(2) велики, и по п р и з н а к а м и х<2> не удается распознать ни одного элемента. После поворота осей (пере­ ход к координатам у П) и г/(2>) получаем области А, В, С, D, в которых можно распознать элементы, и область Е — «область неопределен­ ности».

В общем случае предлагается переходить к координатам, совпада­ ющим с главными компонентами одной из выборок. Но вопрос о том, действительно ли при этом уменьшится число неопределенных эле­ ментов, не исследован. Естественным критерием качества такой про­ цедуры можно считать долю «неопределенных» точек по аналогии с долей ошибочно оаспознанных точек.

205

Г л а в а V

РЕШЕНИЕ СОЦИАЛЬНО-ЭКОНОМИЧЕСКИХ ЗАДАЧ

СИСПОЛЬЗОВАНИЕМ МЕТОДОВ КЛАССИФИКАЦИИ

ИСНИЖЕНИЯ РАЗМЕРНОСТИ

§1. ЭКСПЕРТНО-СТАТИСТИЧЕСКИЙ МЕТОД

ѵ п о с т рЪе н и я н е и зв е с т н о й ц е л е в о й ф у н к ц и и

И ЕГО ПРИМЕНЕНИЕ

1. Объект, его выходное качество и входные параметры. Понятие целевой функции

Пусть исследуемый объект (страна, предприятие, семья и т. д.) характеризуется неким «выходным качеством» у, которое апри­ ори обусловливается (не обязательно однозначно, детерминированно)

набором поддающихся учету ^^змеренцю .«входные параметров» x<'), ..., х<р>. Так, уровень общественного благосостояния страны у , по-видимому, в значительной мере характеризуется структурой и объе­ мом потребления различных благ и услуг хЧ>, х<р>х. Т о ч н о так же эффективность работы предприятия у определяется в основном со­ вокупностью таких входных параметров, как себестоимость продукции

исследования являются здания (жилые, производственные или админи­ стративные), а выходной характеристикой качества — величина, об­

географические и др.), либо должны быть приблизительно одинаковыми по всем

206

ности ее социально-экономического поведения, а входными парамет­ рами х(1), — характеристики структуры потребления различ­ ных благ и услуг. Перечень подобных задач представлен в табл.

оснащенно­ сти и т.п.)

*Без привлечения экспертов.

1В табл. 5.1 приведены лишь те из конкретных задач, подпадающих под описываемую здесь весьма общую и актуальную, с нашей точки зрения, схему исследования, с которыми мы в той или иной мере сталкивались в нашей практи­ ке. В ней не упомянуты, например, задачи промышленно-технического и медико­ биологического профиля, для которых данная постановка особенно естественна

иплодотворна.

2 0 7

Специфика рассматриваемой здесь схемы, ее отличие от классиче­ ских регрессионных моделей в том, что упомянутое выше выходное качество у, как правило, не поддается непосредственному количествен­ ному измерению, для него не существует (в данный момент) объективно обусловленной шкалы. Как правило, информация, которую человек в подобных ситуациях может извлечь относительно выходного ка­ чества у, это соотношение порядка, а именно: для заданных п объектов тем или иным способом проранжировать их характеристики, выходного качества, например, в порядке убывания, т. е. получить подстановку вида

хуже) всех остальных объектов, с точки зрения анализируемого вы­ ходного качества, за ним идет объект с порядковым номером і2 и т. д.

Если выходное качество у все-таки имеет количественную природу (т. е. налицо существование определенной шкалы в измерении у), то знак >- в (5.1) может быть заменен обычным знаком а сформули­ рованное выше допущение об определяющей роли входных параметров х (І), ..., х(р) может быть формализовано с помощью модели

г/=/(х(>), ..., х<р>) + 6.

Здесь f {х ^\ ..., х<р))— некоторая функция от входных параметров, а б — остаточная случайная компонента, учитывающая, в частности, влияние множества факторов, не вошедших в состав входных парамет­ ров, и не зависящая от х О .......х(р>. Будем в дальнейшем обозначать

сохраняющее заданное соотношение порядка для усредненных зна­

208

с необходимостью следует выполнение неравенств

и наоборот, из последней серии неравенств с необходимостью вытекает выполнение соответствующих неравенств для Kife. Очевидно, данное

здесь определение целевой функции неоднозначно. Действительно, если cp (X) есть целевая функция и (/ (ф) — любая взаимно-однознач­ ная монотонно возрастающая функция, то всякая функция вида

занный с ее выявлением. Ведь в соответствии с данным определением, само значение целевой функции не отражает никакой реальной, физи­ чески содержательной количественной закономерности. Реальные зако­ номерности отражаются только соотношениями «больше» или «меньше» между значениями этой функции для различных наборов величин вход­ ных параметров X = (лД), ..., х<р)). Тем самым эти соотношения отражают предпочтение с точки зрения анализируемого выходного качества одних значений X перед другими. Поэтому в задачах, в ко­ торых возможно регулирование значений X (в некоторой допустимой области), наиболее рациональным управлением естественно признать то, которое максимизирует, при заданных ограничениях на X, зна­ чения целевой функции.

Заметим, кстати, что данное здесь общее определение целевой функции допускает ее содержательную социально-экономическую ин­ терпретацию в качестве различных глобальных и частичных целевых функций потребления, используемых и интенсивно обсуждаемых в ря­ де наиболее интересных, с нашей точки зрения, работ современных эко­ номистов [1] — [4], [6], [7], [9], [10].

2. Исходные статистические данные по входным параметрам

Предварительный выбор входных параметров производится экс­ пертным путем после четкого определения конечных целей исследо­ вания и, в частности, — понятия интересующего нас .выходного ка­ чества. Как правило, предварительный набор входных параметров бывает чрезмерно обширным (слишком велико общее число входных параметров р), что порождает значительные вычислительные и интер­ претационные трудности. Поэтому до проведения соответствующего статистического обследования объектов требуется произвести тщатель­ ный экспертно-профессиональный анализ по отбору небольшого числа наиболее информативных (с точки зрения их влияния на исследуемое выходное качество) входных параметров.

Результаты произведенного затем статистического обследования объектов могут быть сведены в табл. 5.2.

да полезно произвести так называемую процедуру уравновешивания

можно использовать, например, алгоритм, предложенный в [5J. Подоб­ ная нормировка приводит исходную матрицу к виду, как правило, более удобному с точки зрения различных вычислительных процедур, а также с точки зрения всякого рода сопоставлений и геометрической интерпретации результатов исследования (в случаях р 3). Будем считать в дальнейшем, что матрица исходных данных G уже прошла процедуру уравновешивания элементов. Очень важным предваритель­ ным этапом исследования является максимально возможное снижение размерности факторного пространства, т. е. определение небольшого числа наиболее информативных входных параметров. Если выше­ упомянутый экспертно-профессиональный анализ оказался недоста­ точным для решения этой задачи (общее число р входных параметров осталось чрезмерно большим, например, соизмеримым или даже пре­ восходящим число обследуемых объектов п), то целесообразно при­ бегнуть к помощи различных формальных методов, описанных, в част­ ности, в предыдущей главе.

3. Выбор общего вида аппроксимации для целевой функции. Использование экспертных данных для оценивания неизвестных параметров аппроксимирующей функции

Процесс параметризации задачи заключается в выборе общего вида целевой функции. Этот выбор, как правило, не удается подкрепить исчерпывающим теоретическим обоснованием, а потому с этого момента мы имеем дело не с целевой функцией cp (X), а с некоторой ее аппрок­

симацией ф (X). Это не должно смущать исследователя. Напротив, оперирование с аппроксимацией избавляет нас от необходимости по­ стулирования существования самой целевой функции (что в ряде ситуаций является весьма спорным моментом): в то время как сама целевая функция как объективно существующая универсальная ска­ лярная характеристика выходного качества может и не существовать, ее аппроксимация имеет определенный условный смысл и может плодо­

210

При обработке экспертных данных необходимо произвести провер­ ку компетентности выбранного круга экспертов и, в частности, произ­ вести проверку гипотезы Н0, заключающейся в том, что все возможные варианты ранжирований равновероятны. Эта гипотеза означает, что каждый эксперт с равной вероятностью выбирает любое из возможных ранжирований, и результаты ранжирований не отражают никакого объективного упорядочивания.

Проверка гипотезы Н0 производится следующим образом. Рассмот­ рим k-ю строку табл. 5.3, т. е. вариант ранжирования k-м экспертом п объектов. Пусть при этом ранжировании объекты разбиваются на N упорядоченных классов, в каждый класс входят объекты с одинако­

вым порядковым номером. Обозначим через Р[к), ..., Р\к) классы, содер­

жащие более чем один элемент, а через t\k\ ..., t\k*— число элементов

в каждом из этих классов соответственно. Определим для k-ro ранжи­ рования величину

Подсчитаем далее статистику, численное значение которой характе­ ризует степень согласованности мнений всех экспертов, так называе­ мый коэффициент конкордации (согласованности) Кендалла:

X2-S

т2 (п3—п)

где

Заметим, кстати, что максимальное значение коэффициента конкорда­

212