ТПР. КР / Контрольная работа (теория)

Задание 1.

Выполнить реферирование основных положений теории принятия решений.

1. Дать определение основных понятий: образ, информативный признак, классификация, обучение классификатора, обучающая последовательность. (Все на 1 стр.).

Образ — воспроизведение объекта, информация о нём или его описание, структурно сходное, но не совпадающее с ним.

Информативный признак – характеристика объекта, или несколько характеристик, на основе информации которых можно классифицировать объект.

Обучение классификатора – целью обучения классификатора является увеличение вероятности верной классификации данных.

Обучающая последовательность – это последовательность обучающих векторов, для которых известно к какому классу они принадлежат.

2. Сущность (основная идея) методов сравнения образов по минимуму расстояния. Меры (или метрики) оценки расстояния: Евклидово расстояние, направляющие косинусы, расстояние Танимото, расстояние Хэмминга. (2-3 стр.).

Методы классификации: метод ближайшего соседа, метод сравнения с эталоном.

Сущность методов сравнения образов по минимуму расстояния заключена в классификации объектов по классам согласно минимальному «расстоянию» между образами.

Мера — функция, определяющая расстояния в метрическом пространстве. Значения данной функции больше либо равно нулю. Если расстояние между образами равно улю, то считается, что образы совпадают.

Вычисление евклидовой меры в декартовых координатах производится по формуле:

Расстояние Танимото – это другой более сложный способ вычисления меры.

Данное расстояние характеризует «похожесть» атрибутов, чем больше «похожих» общих атрибутов, тем ближе располагаются образы.

Направляющие косинусы вычисляются по следующей формуле:

Направлющими косинусами называются косинусы углов направленные вдоль положительной оси. Т.е. чем менее различаются углы, а с ними и косинусы, тем «ближе» будут эти образы.

Расстояние Хэмминга — число позиций, в которых соответствующие цифры двух двоичных слов одинаковой длины различны. В более общем случае расстояние Хэмминга применяется для строк одинаковой длины любых q-ичных алфавитов и служит метрикой различия объектов одинаковой размерности. Первоначально метрика была сформулирована Ричардом Хэммингом для определения меры различия между кодовыми комбинациями в векторном пространстве кодовых последовательностей.

Один из методов классификации с помощью метрики пространтва – метод ближайшего соседа. Его суть в том, что сперва производится вычисление расстояний к каждому из образов обучающей последовательности. После чего неклассифицированный образ относят к тому классу к которому относится ближайшая точка – ближайший сосед.

Метод сравнения с эталоном построен на том, что на сперва строится «эталон» для данного класса, который вычисляется исходя из обучающей последовательности. После чего «неклассифицированный» образ относят к тому классу, расстояние к «эталону» какого класса меньше.

3. Метод классификации с помощью линейной разделяющей (дискриминантной) функции.

Классическая модель формального нейрона. Алгоритмы обучения однослойной нейронной сети. (2-3 стр.).

Суть методов классификации с помощью линейной разделяющей заключена в построении гиперплоскости вида:

где: x_i – i-информационный признак;

w_i – коэффициент соответствующего признака.

Методы и алгоритмы для построения данной гиперплоскости могут быть различными. Например, правило Розенблатта, метод опорных векторов (SVM).

Математически нейрон представляет собой взвешенный сумматор, единственный выход которого определяется через его входы и матрицу весов следующим образом:

y = f(u), где

Здесь x_i и w_i — соответственно сигналы на входах нейрона и веса входов, функция u называется индуцированным локальным полем, а f(u) - передаточной функцией. Возможные значения сигналов на входах нейрона считают заданными в интервале [0,1]. Они могут быть либо дискретными (0 или 1), либо аналоговыми. Дополнительный вход x₀ и соответствующий ему вес используется для инициализации нейрона. Под инициализацией подразумевается смещение активационной функции нейрона по горизонтальной оси, то есть формирование порога чувствительности нейрона. Кроме того, иногда к выходу нейрона специально добавляют некую случайную величину, называемую сдвигом. Сдвиг можно рассматривать как сигнал на дополнительном, всегда нагруженном, синапсе

Рассмотрим алгоритм обучения с учителем.

1. Проинициализировать элементы весовой матрицы (обычно небольшими случайными значениями).

2. Подать на входы один из входных векторов, которые сеть должна научиться различать, и вычислить ее выход.

3. Если выход правильный, перейти на шаг 4.

Иначе вычислить разницу между идеальным и полученным значениями выхода:

Модифицировать веса в соответствии с формулой:

где t и t+1 – номера соответственно текущей и следующей итераций;  – коэффициент скорости обучения, 0<<1; i – номер входа; j – номер нейрона в слое.

Очевидно, что если Y_I > Y весовые коэффициенты будут увеличены и тем самым уменьшат ошибку. В противном случае они будут уменьшены, и Y тоже уменьшится, приближаясь к Y_I.

4. Цикл с шага 2, пока сеть не перестанет ошибаться.

На втором шаге на разных итерациях поочередно в случайном порядке предъявляются все возможные входные вектора. К сожалению, нельзя заранее определить число итераций, которые потребуется выполнить, а в некоторых случаях и гарантировать полный успех.