книги из ГПНТБ / Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения

.pdf

Скачиваний:

Добавлен:

25.10.2023

Размер:

12.29 Mб

Скачать

☆

1 / 421 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 > Следующая >>>

В.Н.ВАПНИК АЛ. ЧЕРВОНЕНКИС

Теория

распознавания

образов

:.V '

<	а , /	* ' 'it

В. Н. ВАПНИК, А. Я. ЧЕРВОНЕНКИС

ТЕОРИЯ

РАСПОЗНАВАНИЯ

ОБРАЗОВ

СТАТИСТИЧЕСКИЕ ПРОБЛЕМЫ ОБУЧЕНИЯ

И ЗД А ТЕЛ ЬС ТВ О «НАУКА»

ГЛ А В Н А Я Р Е Д А К Ц И Я Ф И ЗИ КО -М А ТЕМ А ТИ ЧЕС КО Й Л И Т Е Р А Т У Р Ы

М о с к в а 1974

£3 С & У

Теория распознавания образов (статистические проблемы обу чения), В. Н. В а п н и к, А. Я. Ч е р в о н ѳ н к и с . Издатель ство «Наука», Главная редакция физико-математической литерату ры, М., 1974, 416 стр.

Книга посвящена изложению статистической теории распоз навания образов.

В первой части книги задача распознавания образов рассмат ривается с точки зрения проблемы минимизации среднего риска. Показано, как далеко можно продвинуться в решении задачи обу чения распознаванию образов, следуя по каждому из существующих в статистике путей минимизации риска, и к каким алгоритмам они приводят. Вторая часть посвящена исследованию математических проблем обучения. Изложена теория равномерной сходимости час тот появлений событий к их вероятностям, которая является пре дельным обобщением теоремы Гливенко. Третья часть посвящена алгоритмам построения линейных и кусочно-линейных решающих правил.

Книга рассчитана на студентов старших курсов, аспирантов, инженеров и научных сотрудников, занятых в области теоретиче ской и технической кибернетики. Она будет также интересна специа листам по теории вероятностей и математической статистике.

Илл. 28. Библ. 96 назв.

w *

О Г Л А В Л Е Н И Е

П редисловие.........................................................................................								9
					ЧА СТЬ П Е Р В А Я
			Э Л Е М Е Н Т А Р Н А Я Т Е О Р И Я
Г л а в а		I.	Персептрон		Розенблатта.........................................			16
§	1.	Феномен восприятия.....................................................						16
§	2.	Физиологическая				модель восприятия..................		17
§	3. Техническая модель. Персептрон						..........................	19
§	4.	Математическая модель . . .......................................						20
§	5.	Обобщенная			математическая м одель .................			23
§			6. Теорема			Н овикова..................................		25
§		7.	Доказательство теоремы Новикова...................					28
§	8. Двухуровневая схема распознавания.................							30
Г л а в а		II.	Задача обучения машин распознаванию образов					34
§				1. Задача		имитации....................................		34
§			2	Качество		о б у ч е н и я ..................................		35
§			3.	Надежность обучения................................				37
§			4. Обучение — задача вы бора				..........................	38
§ 5.		Две задачи конструирования обучающихся уст						39
		ройств ..............................................................................						39
§6. Математическая постановка задачи							обучения .	41
§	7.	Три пути решения задачи о минимизации средне
		го	риска .......................................................................					43
§ 8.		Задача обучения распознаванию образов и методы
		минимизации среднего риска .................................						47
Г л а в а	III.		Методы обучения, основанные на восстановле
			нии	распределения вероятностей.....................				49
§1.		О	восстановлении			распределения	вероятностей	49
§			2. Классификация оц ен ок .....................					52
§		3. Метод максимума правдоподобия......................						54

4			ОГЛАВЛЕНИЕ
§	4.	Байесов	принцип	восстановления	.....................	55
§ 5.		Сравнение байесова метода оценивания и оцени
		вания методом максимума правдоподобия . . .				59
§	6.	Оценка параметров распределения дискретных не				60
		зависимых признаков.....................................................				60
§	7.	Байесовы оценки параметров распределения дис				63
		кретных независимых признаковл..............................				63
§	8.	Восстановление параметров нормального распре				65
		деления методом максимума правдоподобия . . . .				65
§	9.	Байесов метод восстановления нормального рас
		пределения .......................................................................				67
Г л а в а		IV. Рекуррентные алгоритмы обучения распозна
		ванию образов..............................................................				72
§	1.	Метод стохастической аппроксимации...................				72
§	2.	Детерминистская		и стохастическая постановки
		задачи	обучения	распознаванию	образов . . .	73
§	3.	Конечно-сходящиеся рекуррентные процедуры				78
§	4.	Теоремы об останове.......................................................				80
§ 5.		Метод циклического повторения обучающей по
		следовательности		..........................................................		84
§	6.	Метод потенциальных функций...............................				86
Г л а в а		V. Алгоритмы, минимизирующие			эмпирический
		р и с к ................................................................................				89
§	1. Метод минимизацииэмпирического риска . . .					89

§2. Равномерная сходимость частот появления со

	бытий к их вероятностям.........................................	90
§	3. Теорема Гливенко............................................	92
§	4. Частный сл уч ай .........................................................	93

§5. Оценка числа различных линейных разделений

век тор ов ........................................................................

§6. Условия равномерной сходимости частот появле

	ния событий к их вероятностям...............................	99
§	7. Свойства функции роста................................................	101

§8. Оценка уклонения эмпирически оптимального ре

		шающего правила......................................................		102
§	9.	Метод минимизации эмпирического риска		в де
		терминистской постановке задачи обучения рас
		познаванию	обр азов ..................................................	104
§	10.	Замечание	об оценке скорости равномерной схо
		димости частот появления событий к их вероят
		ностям ............................................................................		107

		ОГЛАВЛЕНИЕ				5
§	11. Замечания об особенностях метода минимизации
	эмпирического		р и с к а ..........................................		111
§	12.	Алгоритмы метода обобщенного портрета . .			.	113
§	13.	Алгоритм К ор а ....................................................			115
Г л а в а	VI. Метод упорядоченной минимизации риска					118
§	1 . 0	критериях оценки качества алгоритмов . .			.	118
§	2.	Минимаксный	критерий.................................		121
§	3-	Критерий минимакса потерь...........................			123
§	4.	Критерий Б айеса.................................................			126
§	5.	Упорядочение классов решающихправил . .			.	127
§	6.	О критериях	вы бора.........................................		129
§7. Несмещенность оценки скользящего контроля					.	130
§	8.	Упорядочение по		размерностям....................	132
§	9.	Упорядочение	по	относительнымрасстояниям		134

§10. Упорядочение по эмпирическим оценкам относи тельного расстояния и задача минимизации сум

			марного р и с к а ..............................................................			139
§	И .		О выборе оптимальной совокупности признаков			147
§		12.	Алгоритмы упорядоченной минимизации суммар
			ного р и ск а .....................................................................			151
§	13.		Алгоритмы построения экстремальных кусочно
			линейных решающих п р а в и л ................................			155
§ 14. Приложение к главе V I ............................................						156
Г л а в а		VII. Примеры применения методов обучения распоз
			наванию образов......................................................			161
§	1.		Задача о различении нефтеносных и водоносных
			пластов в скважине.........................................................			161
§		2.	Задачао	различении сходных почерков . . . .		164
§		3.	Задачао	контроле	качествапродукции . . . .	166
§		4.	Задачао прогнозе		погоды ..........................................	169
§		5.	Применение методов обучения распознаванию обра
			зов в медицине.................................................................			171
§	6.		Замечания о применениях методов обучения рас
			познаванию образов......................................................			176
Г л а в а		VIII. Несколько общихзамечаний.............................				178
§		1.	Еще раз о постановке задачи....................................			178
§		2.	Физики об интуиции...................................................			180
§		3.	Машинная и н т у и ц и я ................................................			181
§		4.	О мире, в котором возможна интуиция.................			181

6				ОГЛАВЛЕНИЕ
			Ч А С Т Ь В Т О Р А Я
С Т А Т И С Т И Ч Е С К И Е О С Н О В Ы Т Е О Р И И
Г л а в а		IX. О сходимости рекуррентных алгоритмов обу
		чения распознаванию образов................					184
§	1.	Определение понятия сходимости...............					184
§	2.	Выпуклые функции			.........................................		187
§	3.	Обобщенный градиент....................................					188
§	4.	Условия сходимости			рекуррентныхалгоритмов			190
§	5.	Еще одно условие сходимости рекуррентных ал
		горитмов ............................................................................						200
Г л а в а		X. Достаточные условия равномерной сходимости
		частот к вероятностям по классу событий . . .						203
§ 1 . 0 близости минимума эмпирического риска к ми
		нимуму среднего риска....................................					203
§ 2.		Определение		равномерной		сходимости	частот
		к вероятностям.....................................................					206
§	3.	Определение функции ...........................роста					211
§	4.	Свойство функции роста ................................					213
§ 5.		Основная лемма................................................					219
§	6.	Вывод достаточных условий				равномерной сходи
		мости частот к		вероятностям		по классу событий		223
§	7.	О равномерной сходимости с вероятностью единица						229
§	8.	Примеры и дополнительные ................				замечания		231
§	9.	Приложение к главе X ................................................						236
Г л а в а		XI. Необходимые и достаточные условия					равно
		мерной сходимости частот к вероятностям по
		классу	собы тий......................................................					240
§	1.	Энтропия	системы собы .....................................тий					240
§ 2. Асимптотические свойства ....................энтропии								242
§	3.	Необходимые и достаточные условия равномерной
		сходимости (доказательство достаточности)					. . .	248
§	4.	Доказательство		необходимости условий			равно
		мерной сходимости..................... .............................				;		251
§ 5. Примеры и дополнительные ...................критерии								261
Г л а в а	XII. Оценки		равномерного относительного				укло
		нения частот от вероятностей в классе событий						267
§	1.	О равномерном		относительном уклонении			. . .	267
§	2.	Оценка равномерного			относительного уклонения
		частот в двух полувыборках.....................................						269

1 / 421 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 > Следующая >>>

Соседние файлы в папке книги из ГПНТБ