LR-3
.pdf
Методические указания по выполнению лабораторной работы № 3 по дисциплине
«Системы искусственного интеллекта» для бакалавров образовательных программ:
11.03.01 «Радиотехника», 11.03.02 «Инфокоммуникационные технологии и системы связи»
Цель лабораторной работы – изучение искусственных нейронных сетей на базе нейронов с радиально-базисными функциями. Построение гибридных нейронных сетей.
1. Задание
До начала выполнения лабораторной работы необходимо изучить основные теоретические положение, представленные в п. 2 данного практикума и рекомендованную литературу.
Подготовить ответы на контрольные вопросы, приведенные в п. 3.
Выполнение исследований в лаборатории
1.1 Запустить программу DVeiw
1.2 Выбрать в вкладке «Данные» «Открыть файл связи (*.UDL)»Lab1.udl
1.3 В окне «Входные данные для анализа» выбрать «АРСООбучающая выборка».
1.4 Выбрать следующие поля выборки для анализа: 1Len, 1Type, 2Len, 2Type, PriorObject, sType и нажать кнопку «Продолжить».
1.5 Во вкладке «Анализ» основного окна выбрать «РБФ-сеть».
1.6 В отобразившемся окне установить поле классов «PriorObject», нормировка данных и нажать кнопку «Построить». РБФ-сеть автоматически построится и отобразится окно распознавания объектов.
В данном окне установить поле классов «PriorObject», дисперсия «Одна для всех классов» - 0,01, «Порог» - 0,2. Нажать клавишу «Распознать».
1.7 По результатам распознавания отобразится окно «Результаты работы РБФ-сети». Зафиксируйте параметры порога, дисперсии и долю корректно распознанных объектов.
1.8Закройте окно «Результаты работы РБФ-сети». Изменяя значения «Порог» в диапазоне 0,01…1 и «Дисперсия» в диапазоне 0,001…0,5 найдите значения, при которых доля корректно распознанных объектов максимальна. Постройте трехмерный график зависимости доли корректно распознанных объектов от значений порога и дисперсии.
1.9Закройте окно «РБФ-сеть» и в главном окне откройте «Карта Кохонена». Проведите обучение и распознавание обучающей выборки картой Кохонена со следующими параметрами:
использовать нормировку; структура конкурирующего слоя – одномерная; алгоритм обучения – PLSOM;
начальный радиус обучения – 4,0; минимальный радиус обучения – 1,0; число эпох – 1000.
В окне «Таблица классовой принадлежности» зафиксируйте значение дисперсии для каждого типа сигналов. Если карта делит один класс сигналов не два кластера, то необходимо выбрать из них дисперсию имеющую большее значение.
1.10 Закрыть окно «Карта Кохоннена» и создать новую РБФ-сеть в соответствии с п.1.5 – 1.6 данных методических указаний. В окне «РБФсеть» «Распознать» установить значение «Порог» - 0,2, «Дисперсия» - различная для различных классов.
Нажать знак «?» рядом с кнопкой «Различная для различных классов». В отобразившемся окне ввести значения дисперсии различных классов сигналов, определенных с использованием карты Кохонена. Нажать кнопку «Ок» и нажать кнопку «Распознать» в окне «РБФ-сеть».
1.11 В окне «Результаты работы РБФ-сети» зафиксировать долю корректно распознанных объектов. Сделать вывод о зависимости качества распознавания от значений дисперсии классов сигналов. Какой способ задания значений дисперсии лучше, стандартный или гибридный?
2. Теоретические сведения
2.1 Сеть на радиальных базисных функциях
При использовании сети на радиальных базисных функциях (РБФ-сети, вероятностной сети) объекты классифицируются на основе оценок их близости к соседним образцам. Расстояние до соседних объектов является основным фактором при классификации нового объекта, но важными являются и особенности распределения соседних объектов.
В основу классификации в РБФ-сети положено использование методов Байеса. Идея состоит в том, что для каждого образца можно принять решение на основе выбора наиболее вероятного класса из тех, к которым мог бы принадлежать этот образец. Такое решение требует оценки функции плотности вероятностей для каждого класса. Эта оценка получается в результате рассмотрения учебных данных.
Формальным правилом является то, что класс с наиболее плотным распределением в области неизвестного экземпляра будет иметь преимущество по сравнению с другими классами.
Традиционный подход к оценке плотности вероятности для каждого класса состоит в предположении о том, что плотность имеет некоторый определенный вид. После этого оцениваются параметры модели. Чаще всего используется нормальное распределение, поскольку оно позволяет оценить такие параметры модели, как среднее и стандартное отклонение, аналитически. При этом остается вопрос о том, что предположение о нормальности не всегда оправдано.
Другой подход к оценке плотности вероятностей можно осуществить с помощью метода Парцена, в котором используется весовая функция, имеющая центр в точке, представляющей учебный образец. Такая весовая функция называется функцией потенциала или ядром. Чаще всего в качестве ядра используется функция Гаусса. Чтобы построить функцию распределения класса, для каждого учебного вектора рассматривается функция Гаусса с центром в точке, соответствующей этому вектору. Затем функции Гаусса для всех векторов суммируются, в результате чего получается нужная функция распределения. Может быть использована более простая форма функции Гаусса, а именно:
n |
x xi |
2 |
|
|
|
|
|
|
|||
g(x) exp( |
|
|
) , |
(1) |
|
|
2 |
||||
i 1 |
|
|
|
|
|
|
|
|
|
|
|
где n – число объектов в обучающей выборке, а параметр |
задает |
||||
ширину функций и определяет их влияние.
Пример архитектуры РБФ-сети показан на рисунке 1. Задачей входного слоя является распределение данных входного образца для слоя образцов. В данном случае каждый входной набор данных имеет четыре признака. Слой
образцов имеет по одному элементу для каждого образца из набора учебных данных.
Входной слой и слой образцов образуют полносвязную структуру. Для входящих в элемент слоя образцов связей весовые значения устанавливаются равными элементам соответствующего вектора–образца. Например, для первого элемента слоя образцов значение его первого входящего веса будет положено равным значению первого элемента первого вектора–образца. Значение второго входящего веса уста второму элементу вектора и т.д. Активность элемента слоя образцов будет равна
|
|
|
|
|
ij |
|
|
O |
|
exp( |
|
w |
|
||
j |
|
|
|
2 |
|
||
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
x |
2 |
|
i |
||
|
)
,
(2)
где x обозначает неизвестный входной образец. В этом выражении используется квадрат евклидова расстояния от неизвестного экземпляра до элемента слоя образцов.
f |
A |
(x) |
|
|
ВыВходной слой
|
|
|
f |
B |
(x) |
|
|
|
|
|
|
|
|
||
Входной слой |
Слой |
Слой |
|
|
|||
суммирования |
|||||||
|
образцов |
||||||
|
|
|
|
|
|
||
Рисунок 1 - Архитектура РБФ-сети
Слой суммирования имеет по одному элементу для каждого класса из учебного множества данных. К любому элементу слоя суммирования идут связи только от элементов слоя образцов, принадлежащих соответствующему классу. Весовые значения связей, идущих от элементов слоя образцов к элементам слоя суммирования просто суммирует выходные значения элементов слоя образцов. Эта сумма дает значения функции плотности распределения вероятностей для совокупности экземпляров соответствующего класса.
Выходной элемент представляет собой дискриминатор пороговой величины, указывающий элемент слоя суммирования с максимальным значением активности (т.е. указывает класс, к которому принадлежит неизвестный экземпляр).
Для РБФ-сети не требуется обучения в том смысле, какое требуется для сетей с обратным распространением ошибок, так как все параметры РБФсети (число элементов и значение весов) определяются непосредственно учебными данными:
– число входных элементов равно числу признаков;
–число элементов слоя образцов равно числу учебных образцов;
–число элементов слоя суммирования равно числу классов.
Первый слой весовых значений определяется учебными образцами. Для второго слоя все значения устанавливаются равными единице. Весовые значения конечного слоя устанавливаются так, чтобы на выходе распознавался элемент слоя суммирования с наибольшим значением активности.
Для элементов слоя образцов необходимо выбрать подходящую функцию активности.
Как правило, используется ядро Гаусса в виде, показанном в
выражении (2). Значение |
|
задает ширину функции активности. |
||
|
|
|
|
|
Значение
оказывается очень важным, поэтому чаще всего оно
подбирается в результате эксперимента.
После того как сеть построена, неизвестный экземпляр можно подать на вход сети, и, в результате прямого прохода через сеть, выходной слой укажет класс, к которому, вероятнее всего, принадлежит образец.
Если все входные векторы имеют единичную длину, то функция активности для элемента слоя образцов может быть представлена в форме, содержащей более удобную для использования сумму произведений:
O |
j |
|
|
x w |
|
|
i |
ij |
exp |
|
|
|
|
2 |
|
|
|
|
|
|
1
.
(3)
Для принятия решения об отнесении распознаваемого объекта к неизвестному классу необходимо:
1.для слоя суммирования осуществить переход от плотности вероятности к оценке вероятности принадлежности объекта к классу. Для этого необходимо нормировать на единицу значения слоя суммирования;
2.задать пороговые значения для вероятностей принадлежности объектов к классам, не превышение значений которых позволит однозначно говорить о ситуации неопределенности при распознавании объектов.
Преимуществами РБФ-сетей являются:
– вероятностный смысл выходного значения,
– высокая скорость обучения сети.
При обучении такой сети время тратится практически только на то, чтобы подавать ей на вход обучающие наблюдения. Существенным недостатком таких сетей является их объем. РБФ-сеть фактически вмещает в себя все обучающие данные, поэтому она требует большого объѐма памяти. Ещѐ одним недостатком РБФ-сетей является зависимость качества их работы от статистических характеристик обучающей выборки.
2.2 Гибридные нейронные сети
Гибридными нейронными сетями называются нейросетевые структуры, образованные в результате комплексирования различных типовых ИНС. Как