MRO(1) / 2011-2012_MRO_Содержание лекций

Содержание курса "Методы распознавания образов" (1 и 2 семестр)

Мясников В.В. (2011-2012)

Осенний семестр

Список литературы

1. Общая характеристика проблемы распознавания

Определение

2 этапа

Проблемы, возникающие при разработке систем РО (классификация и выбор признаков)

1.1. Формальная постановка задачи распознавания образов

1.2. Классификация систем РО

Признак классификации

1 класс – системы без обучения

2 класс – обучающие системы и обучение с учителем

предварительное обучение

совмещенное обучение и распознавание

3 класс – самообучающиеся системы

2. Процедуры классификации (Введение в стат теорию распознавания)

2.1. Общее описание и качество классификатора.

Определение классификатора

Способы задания классификатора

Качество классификатора

(апостериорная вероятность, платежная матрица, средний риск, общий риск, формула Байеса, ФПВ)

Частные случаи с простейшей платежной марицей

Когда риск нулевой

2.2. Оптимальные стратегии классификации

2.2.1. Байесовский классификатор

Общее определение и основные соотношения

2.2.1.1. Байесовский классификатор для случая 2-х классов

2.2.2. Минимаксный классификатор

2.2.3. Классификатор Неймана-Пирсона.

2.2.4. Байесовский классификатор в случае гауссовских векторов признаков

Определение гауссовского вектора признаков и вид плотности

Общий вид БК для в случае гауссовских векторов признаков

2.2.4.1. Случай независимых и одинаково распределенных признаков

2.2.4.2. Случай одинаково распределенных признаков в разных классах

2.2.4.3. Общий случай

2.2.5. Байесовский классификатор для дискретных признаков

2.2.5.1 Байесовский классификатор для дискретных признаков – общий случай

Классификатор в общем случае. Пример для общего случая. Специфика построения и использования БК в общем случае. Проблемы при реализации байесовской процедуры классификации.

2.2.5.2 Байесовский классификатор для дискретных независимых признаков

Основной вывод. Общий вид.

Другое представление БК при независимых признаках.

Замечания о мультиклассификации.

2.2.5.3 Байесовский классификатор для бинарных независимых признаков

Вывод двух альтернативных представлений БК.

2.2.5.3 Вычисление вероятностей ошибочной классификации для дискретного вектора признаков

Общее аналитическое выражение. Случай бинарных независимых признаков – явное соотношение. Выражения для верхних границ вероятностей ошибок.

2.3. Вычисление вероятностей ошибочной классификации

Способы расчета ошибок классификации

2.3.1. Случай гауссовских одинаково распределенных признаков в разных классах

2.3.1.1. Вывод выражений для ошибок классификации

2.3.1.2. Общий риск для БК

2.3.1.3. Минимаксный классификатор

2.3.1.4. Классификатор Неймана-Пирсона

2.3.2. Случай независимых признаков при их большом количестве

2.3.3. Случай независимых признаков при их малом количестве

Условия

Аппарат характеристических функций и общая схема

Теорема (о декоррелирующем преобразовании)

Вид логарифма отношения правд-ия после преобразования системы координат (декорреляции)

Алгоритм расчета вероятностей

2.3.4. Вычисление вероятностей ошибочной классификации для дискретного вектора признаков

2.4. Оценивание вероятностей классификации (из методички по л/р №2)

2.5. Линейные классификаторы

Общие положения и обозначения

2.5.1. Линейная разделяющая функция, минимизирующая вероятность ошибки.

2.5.2. Обобщенная формула для различных критериев

Общие соотношения и система уравнений

2.4.2.1. Частный случай - критерий Фишера.

2.5.3. Линейная разделяющая функция, минимизирующая среднеквадратическую ошибку решения.

2.5.4. Модификации критерия минимальной среднеквадратической ошибки. Процедуры Хо-Кэшьяпа.

2.5.5. Кусочно-линейные классификаторы.

2.5.6. Обобщенные линейные разделяющие функции.

2.5.7. Последовательная процедура обучения линейного классификатора

Алгоритм перцептрона для двух классов и его сходимость.

Обобщение алгоритма перцептрона на случай многих классов.

2.5.8. Стахастическая аппроксимация

2.5.8.1. Общие проблемы обучения, обозначения, понятия и уравнение регрессии

2.5.8.2. Процедура Роббинса-Монро

Условия теоремы

Формулировка теоремы

2.5.8.3. Обобщение процедуры Роббинса-Монро на многомерный случай

2.5.8.4. Скорость сходимости процедуры Роббинса-Монро

2.5.8.5. Общая схема построения линейных классификаторов, основанная на методе стохастической аппроксимации

2.5.8.6. Частные случаи – Алгоритм корректирующих приращений

2.5.8.7. Частные случаи – Алгоритм наименьшей СКО

2.5.8.8. Проблемы алгоритмов, основанных на методе стохастической аппроксимации и Критерий остановки итерационного процесса

Проблемы алгоритмов

Критерий остановки итерационного процесса

2.6. Построение классификаторов, основанных на оценивании плотности вероятностей

Общие положения, параметрическое и непараметрическое оценивание

2.6.1. Параметрическое оценивание плотности вероятности

2.6.1.1. Метод моментов

2.6.1.2. Метод максимального правдоподобия

2.6.1.3. Частный случай – нормальная модель наблюдения

2.6.1.4. Рекуррентное оценивание

2.6.2. Непараметрическое оценивание плотности вероятностей.

2.6.2.1. Оценка Парзена в одномерном случае и ее свойства.

Вид оценки Парзена

Формулировка теоремы и условий

Вид окон/ядер

Формулировка теоремы о равномерной сходимости

2.6.2.1. Оценка Парзена многомерной плотности вероятностей и ее свойства.

2.6.3. Метод К ближайших соседей.

2.6.3.1. Построение оценки ПВ

Формулировка теоремы и условий

2.6.3.2. Решающее правило, основанное на методе K ближайших соседей

2.6.3.3. Решающее правило ближайшего соседа и его эффективность для двух классов.

2.6.3.4. Решающее правило K ближайших соседей и его эффективность для двух классов.

2.6.3.5. Решающее правило, основанное на методе К ближайших соседей, для многих классов и его эффективность.

2.6.4. Метод гистограмм построения оценки плотности вероятности

2.6.4.1. Метод гистограмм – ячейки одинакового размера

2.6.4.2. Метод гистограмм – ячейки разного размера

2.6.4.3. Метод гистограмм – древовидное решающее правило

2.7. Оценивание плотности вероятности разложением по ортогональным базисным функциям

2.7.1. Разложение плотности вероятностей по базисным функциям.

2.7.2. Построение систем ортонормированных функций многих переменных.

3. Автоматическая классификация

3.1. Понятие кластера и простейший алгоритм выявления кластеров

3.2. Алгоритм максиминного расстояния для выявления кластеров.

3.3. Алгоритм К внутригрупповых средних.

3.4. Алгоритм ИЗОМАД (IsoData).

Весенний семестр

5. Последовательные методы принятия решения и КЛАССИФИКАЦИИ

5.1. Последовательный анализ

5.2. Последовательный критерий отношения вероятностей Вальда (п.к.о.в.)

Обозначения

П.к.о.в.

Утверждение по границам и доказательство

Замечания к п.к.о.в.

Пример п.к.о.в. для 2-х классов

Среднее число наблюдений в п.к.о.в.

5.3. Модифицированный последовательный критерий отношения вероятностей

5.3.1. Предпосылки возникновения модифицированного п.к.о.в.

5.3.2. Постановка задачи модифицированного п.к.о.в.

Важный частный случай.

5.3.3. Среднее число наблюдений в модифицированном п.к.о.в.

5.3.4. Связь п.к.о.в. и модифицированного п.к.о.в.

5.4. П.к.о.в. и модифицированный п.к.о.в. для многих классов (более двух)

5.4.1. Обобщенный п.к.о.в.

5.4.2. Обобщенный модифицированный п.к.о.в.

5.5. Байесовская последовательная решающая процедура

5.5.1. Постановка задачи

5.5.2. Обратная процедура конечного последовательного распознавания

Описание

Пример работы процедуры конечного последовательного распознавания

5.5.3. Обратная процедура конечного последовательного распознавания с упорядочиванием признаков

Описание

Пример работы процедуры конечного последовательного распознавания с упорядочиванием признаков

Подходы к упрощению и квазиоптимальные решения

6. Выбор признаков и преобразования пространства признаков

Общие положения

6.1. Выбор признаков в случае одного распределения.

6.1.1. Критерий минимума СКО и дискретное разложение Крунена-Лоэва

Общие положения, Критерий, Утверждение, Определение разложения К-Л, Свойства основных компонент, Пример

6.1.2. Критерий максимума разброса.

Критерий, Вывод, Определение следа, Преобразованный критерий, Вывод

6.1.3. Критерий максимума энтропии совокупности данных.

Понятие энтропии, Свойства энтропии (3), Общие положения и связь с критерием, Частный случай

6.1.4. Разложение Карунена-Лоэва и его свойства

6.2. Выбор признаков в случае двух распределений.

Общие положения

6.2.1. Общие требования к показателям разделимости классов.

6.2.2. Дискриминантный анализ.

Пример 2-D

Определения матриц рассеяний внутри и между классами и их свойства

Критерии разделимости (4)

Замечания по критериям разделимости и их доказательства

6.2.2.1. Выбор признаков, максимизирующих критерий J₁.

6.2.2.2. Выбор признаков, максимизирующих критерий J₂.

6.2.2.3. Выбор признаков, максимизирующих критерий J₃.

6.2.2.4. Выбор признаков, максимизирующих критерий J₄.

6.2.3. Критерии, связанные с вероятностями ошибки

Граница Чернова, Расстояние Бхатачария, Свойства критериев

6.2.4. Дивергенция

Различающая информация, Средняя различающая информация, Дивергенция, Свойства дивергенции

Дивергенция для нормального закона распределения (неравные и равные матрицы)

Процедура выбора признаков, локально оптимальные решения и квазиоптимальное решение

7. Алгебраические методы распознавания

Алгебраические методы в распознавании – обзор областей применения.

Класс алгоритмов АВО

История появления АВО

Основные этапы АВО

Общая граф. схема АВО

Конкретизация модели АВО

О синтезе алгоритмов, оптимальных в Классе АВО.

Пример синтеза алгоритма класса АВО

Таблица данных

Конкретизация модели

Конкретизация параметров

Результат

Пример задания модели для получения классификатора по ближайшему соседу.

Достоинства и недостатки АВО

Алгебра алгоритмов распознавания Ю.И.Журавлева

Корректный алгоритм распознавания

Представление алгоритма распознавания с помощью операторов

Корректирующая операция

Линейный и алгебраические замыкания

Функциональные замыкания

8. Синтаксические методы распознавания

Введение, грамматики и языки.

Деревья вывода, деревья решений, распознавание и способы разбора.

Вывод грамматики.

9. Нейронные сети

Литература

9.1. Введение в НС

9.1.1. Биологические основы функционирования нейрона

9.1.2. Первые модели НС

9.1.3. Прикладные возможности НС

9.1.4. Биологические основы функционирования нейрона

9.2. Построение искусственной НС

9.2.1. Искусственный нейрон

9.2.2. Типы активационных функций нейрона

9.2.3. Архитектура НС

9.3. Теоремы существования решения в рамках НС

9.4. Слоистые (многослойные) НС и методы их обучения

9.4.1. Перцептрон как простейшая НС

9.4.2. Процедура обратного распространения

Обозначения, Работа сети прямого распространения, Алгоритм обучения, Примечания, Обоснование алгоритма, трудности применения алгоритма.

9.5. Модели нейронных сетей (парадигмы)

9.5.1. MaxNet-сеть поиска максимума

9.5.2. Рекуррентные сети как ассоциативные запоминающие устройства

9.5.2.1. Ассоциативная сеть Хопфилда

9.5.2.2. Другие приложения сети Хопфилда –нахождение минимума многочлена

9.5.2.3. Другие приложения сети Хопфилда –Решение СЛАУ

9.5.2.4. Замечение об ИНС, реализующей ассоциативную память

9.5.3. Cеть Хемминга

9.5.4. Самоорганизующаяся сеть Кохонена

9.6. Конструирование нейронных сетей

9.6.1. Конструирование НС для решения нормальной системы диф. уравнений

9.6.2. Применение степенных рядов для конструирования нейронных сетей