![](/user_photo/2706_HbeT2.jpg)
- •Тверской государственный университет н.А. Семенов Интеллектуальные информационные технологии
- •Введение
- •Глава 1. Интеллектуальные информационные системы
- •1.2. Данные и знания
- •Эволюция развития информационных систем
- •1.4. Основные разновидности иис и характеристики решаемых задач
- •1.5. Классификация иис
- •Глава 2. Модели представления знаний
- •2.1. Продукционная модель
- •2.2. Формально-логическая модель
- •2.3. Фреймовая модель
- •2.4. Семантические сети
- •Глава 3. Структура и технология проектирования экспертных систем
- •3.1. Структура статической и динамической эс
- •3.2. Характеристики, стадии существования и этапы проектирования статических эс
- •Глава 4. Методы обработки знаний в интеллектуальных системах. Нечеткие знания
- •4.1. Интерпретатор правил и управление выводом
- •4.2. Нечеткие знания и нечеткая логика
- •Глава 5. Теоретические основы инженерии знаний
- •5.1. Процедура извлечения знаний
- •С применением
- •5.3. Методы извлечения знаний
- •Глава 6. Нейронные сети
- •6.1. Искусственный нейрон и функции активации
- •6.2. Нейронные сети с прямой связью
- •6.3. Алгоритмы обучения нейронных сетей
- •Глава 7. Технология создания экономических советующих систем
- •7.1. Определение и виды информационных технологий
- •7.2. Технология «Ресурс – Обучение – Цель»
- •7.3. Определение коэффициента важности целей
- •Глава 8. Программный инструментарий разработки систем, основанных на знаниях
- •8.1. Цели и принципы технологии разработки программных средств
- •8.2. Технология и инструментарий разработки программных средств
- •Глава 9. Интеллектуальные Интернет-технологии
- •9.1. Интеллектуальные агенты
- •9.2. Мультиагентные системы
- •Мультиагентные системы различного функционального назначения
- •Глава 10. Новые тенденции инженерии знаний,
- •10.1. Методы извлечения глубинных пластов экспертного знания
- •10.2. Хранилища данных
- •10.3. Управление знаниями
- •10.4. Технология создания систем управления знаниями
- •Глава 11. Интеллектуальные информационные системы в условиях неопределенности и риска
- •11.1. Понятие риска в сппр слабоструктурированных проблем
- •11.2. Реализация эс инвестиционного проектирования
- •* Эс определения целей инвестирования капитала.
- •Глава 12. Системы, ориентированные на естественно-языковые запросы. Машинное обучение
- •12.1. Естественно-языковые интерфейсы
- •12.2. Машинное обучение
- •Библиографический список
- •Оглавление
Глава 6. Нейронные сети
6.1. Искусственный нейрон и функции активации
Биологический нейрон содержит сому (тело нейрона), совокупность отростков – дендритов, по которым в нейрон поступают входные сигналы и отросток – аксон, передающий выходной сигнал нейрона другим нейронам. Точка соединения дендрита и аксона называется синапсом. Общее число нейронов в головном мозгу человека превышает 100 миллиардов, при этом один нейрон соединен более чем с 10 тысячами соседних нейронов. Время срабатывания нейрона составляет около одной миллисекунды, чуть меньше тратится на передачу сигнала между двумя нейронами. Таким образом, биологический нейрон – чрезвычайно медленный процессорный элемент, уступающий быстродействию современных компьютеров в миллионы раз. Тем не менее, в целом мозг способен за доли секунды решать задачи, которые не может решить и суперкомпьютер (например, узнать лицо человека, показанное в непривычном ракурсе).
Искусственным нейроном называется простой элемент в виде следующей структуры (рис.6.1) [1].
Рис.
6.1. Искусственный нейрон:
вектор входных переменных (дендритов);
вектор синаптических весов;
S – сома; y – выход (аксон)
Сначала вычисляется взвешенная сумма V входных переменных (скалярное произведение):
Затем
полученная сумма (потенциал нейрона)
сравнивается с заданной пороговой
величиной W0.
Если VW0,
то нейрон «не срабатывает», в противном
случае вычисляется функция активации
(решающая функция) f
. При этом
.
Величину порогового барьера можно рассматривать как еще один весовой коэффициент при постоянном входном сигнале.
Функции активации могут быть различных видов: линейная, ступенчатая, линейная с насыщением, многопороговая. Наиболее распространенной является сигмоидная функция с выходными значениями в интервале (0,1):
или в интервале (-1,1):
.
Коэффициент
определяет крутизну сигмоида. Поскольку
сигмоидная функция является гладким
отображением
,
крутизну
можно учесть через величины весов и
порогов, и без ограничения общности
можно полагать
=
1. Чтобы учесть особенности конкретной
задачи, могут быть выбраны различные
другие функции активации – гауссова,
синусоидальная, всплески и т.д.
6.2. Нейронные сети с прямой связью
Нейронная сеть представляет собой совокупность большого числа нейронов, топология соединения которых зависит от типа сети. Нейронные сети с прямой связью состоят из статических нейронов, так что сигнал на выходе сети появляется в тот же момент, когда подаются сигналы на вход. Наиболее общий тип архитектуры сети получается в случае, когда все нейроны связаны друг с другом, но без обратных связей (рис. 6.2).
xn Выходные
переменные Нейроны
выходного слоя y2 Нейроны
скрытого слоя Входные
переменные
Рис. 6.2. Нейронная сеть с прямой связью и одним скрытым слоем
Каждому
нейрону соответствует свой вектор
синаптических весов,
множество которых образуют синаптическую
матрицу
.
Связь с нейронами выходного слоя
определяет синаптическая матрица
,
гдеm
– число нейронов скрытого слоя, k
– число нейронов выходного слоя.
Число нейронов скрытого слоя неограниченно возрастает при увеличении точности решения задачи. На практике рекомендуется выбирать m = (n + k)/2.
Согласно теоретическим результатам, нейронные сети с прямой связью и с сигмоидными функциями активации являются универсальным средством для аппроксимации различных функций. Любую многослойную сеть можно трансформировать в однослойную без потери информации путем пересчета синаптических матриц.
Применение нейронных сетей целесообразно для решения задач моделирования, прогнозирования, распознавания образов, если:
отсутствует алгоритм или неизвестны принципы решения задач, но накоплено достаточно большое количество примеров;
задача характеризуется большим объемом входной информации;
входные данные неполны, зашумлены и противоречивы.
Характер разработок в области нейронных сетей принципиально отличается от ЭС: последние построены на правилах типа «если …, то…», которые вырабатываются на основе формально-логических структур. В основе нейронных сетей лежит преимущественно-поведенческий подход к решаемой задаче: сеть «учится на примерах» и подстраивает свои параметры при помощи алгоритмов обучения через механизм обратной связи.
Пример
6.1. Пусть
n=2,
m=2,k=2.
Порог возбуждения отсутствует,
.
Задана структура сети (рис.6.3).
Рис. 6.3. Структура нейронной сети с одним скрытым слоем
,
x1
= 1, x2
= - 1. Определить
значения y1,
y2.
Решение
Пример
6.2. Пусть
задана нейронная сеть с двумя скрытыми
слоями (рис. 6.4). Порог возбуждения
отсутствует,
.
Рис. 6.4. Структура нейронной сети с двумя скрытыми слоями
,
,x1
= - 1, x2
= 1.
Определить значения y1, y2, и преобразовать сеть в однослойную.
Решение
Для преобразования нейронной сети в однослойную необходимо переопределить семантическую матрицу, т.е. вычислить новую матрицу Wп.
.
Самым важным свойством нейронной сети является ее способность обучаться на примерах. Цель обучения состоит в настройке синаптических матриц.