- •Оглавление
- •Искусственные нейронные сети (инс) Строение биологического нейрона
- •Биологический нейрон и его состав.
- •Искусственный нейрон и его состав.
- •Как работают нейросети (почему они могут решать задачи) 2 2 2
- •Синапсы
- •Уровень сложности нейросетей
- •6. Возможности компьютерного моделирования нейронных сетей.
- •7. Скорости обработки информации реализациями инс и мозгом человека
- •Классификация проблем по сложности
- •8. Типы задач, решаемых с помощью искусственных нейронных сетей (инс). Задачи, решаемые с помощью инс
- •12. Преимущества и недостатки нейронных сетей
- •Устойчивость к шумам входных данных
- •Адаптация к изменениям
- •3. Отказоустойчивость
- •Сверхвысокое быстродействие
- •Недостатки нейронных сетей
- •Ответ инс всегда приблизительный
- •Невозможно многошаговое принятие решений
- •27. Решение задачи принятия решения с помощью инс
- •3. Неспособность решать вычислительные задачи
- •3.Разновидности функций активации искусственного нейрона
- •1. Единичная ступенчатая функция
- •Сигмоидальная функция
- •4.Логистическая функция активации и ее преимущества.
- •3. Гиперболический тангенс
- •9. Виды инс
- •10. Инс со свойством кратковременной памяти.
- •60. Искусственные нейронные системы со свойством кратковременной памяти
- •Обучение нейронной сети
- •11. Обучение инс с учителем и без учителя
- •13. Состав персептрона Розенблатта
- •14. Значения выходов сенсоров, r-элементов, s-a и a-r связей в персептроне.
- •5. Нейронная сеть человека и ее оценки.
- •Разновидности персептронов.
- •19. Классификация персептронов
- •16. Отличие однослойного персептрона от искусственного нейрона
- •17. Задачи, решаемые с помощью персептронов.
- •18. Теоремы Розенблатта и условия их выполнения. Теорема Розенблатта.
- •Вторая теорема Розенблатта.
- •20. Линейная разделимость
- •22. Прикладные возможности нейронных сетей
- •23. Решение задач классификации и распознавания образов с помощью инс
- •24. Решение задач прогнозирования с помощью инс
- •25. Решение задач идентификации и управления динамическими процессами
- •26. Решение задач ассоциации с помощью инс
- •28. Черты искусственного интеллекта в нейронных сетях.
- •Модели нейронов и методы их обучения
- •29. Персептрон МакКаллока-Питса
- •30. Обучение персептрона. Правило Видроу-Хоффа
- •31. Сигмоидальный нейрон
- •32. Нейрон типа «адалайн»
- •33. Сеть мадалайн
- •34. Инстар и аутстар Гроссберга
- •35. Нейроны типа wta
- •36. Нейронная сеть типа wta и ее обучение
- •37. Проблема мертвых нейронов
- •38. Модель нейрона Хебба
- •39. Коэффициент забывания при обучении по правилу Хебба
- •40. Обучение линейного нейрона по правилу Ойя
- •41. Однонаправленные многослойные сети сигмоидального типа
- •42. Однослойная сеть. Ограниченность возможностей однослойных сетей
- •43. Решение проблемы нелинейного разделения применением двух линейных разделителей
- •44. Структура инс, выполняющей функцию xor
- •45. Многослойный персептрон
- •46. Алгоритм обратного распространения ошибки
- •47. Этапы алгоритма обратного распространения ошибки
- •48. Градиентные алгоритмы обучения сети
- •50. Математические основы теории радиальных инс
- •51. Простейшая нейронная сеть радиального типа
- •49. Радиальная нейронная сеть
- •52. Отличия радиальной инс от сигмоидальной
- •53. Сравнение радиальных и сигмоидальных инс
- •74. Алгоритм нейронного газа
- •75. Сети с самоорганизацией корреляционного типа
- •76. Нейронные сети рса
- •77. Нейронные ica-сети Херольта-Джуттена
- •Литература
- •Свёрточные нейронные сети
- •54. Сверточные нейронные сети (снс), их особенности и структура
- •Слои свёрточной нейронной сети
- •57. Преимущества снс
- •56. Параметры сверточного слоя в снс
- •55. Алгоритмы обучения снс
10. Инс со свойством кратковременной памяти.
Возможность сигналов циркулировать в сети открывает новые, удивительные возможности нейронных сетей. С помощью таких сетей можно создавать нейросети, восстанавливающие или дополняющие сигналы.
Другими словами такие нейросети имеют свойства кратковременной памяти (как у человека).
60. Искусственные нейронные системы со свойством кратковременной памяти
Сети с обратными связями (Recurrent neural network) – искусственные нейронные сети, в которых выход нейрона может вновь подаваться на его вход. В более общем случае это означает возможность распространения сигнала от выходов к входам.
Обучение нейронной сети
Искусственная нейронная сеть – это совокупность искусственных нейронов. Если взять, например, 100 нейронов и соединить их друг с другом, то при подаче сигнала на вход, мы получим что-то бессмысленное на выходе.
Значит, надо менять какие-то параметры сети до тех пор, пока входной сигнал не преобразуется в нужный нам выходной.
Что мы можем менять в нейронной сети?
Изменять общее количество искусственных нейронов бессмысленно по двум причинам. Во-первых, увеличение количества вычислительных элементов в целом лишь делает систему тяжеловеснее и избыточнее. Во-вторых, если вы соберете 1000 некомпетентных людей вместо 100, то они все равно не смогут правильно ответить на вопрос.
Сумматор изменить не получится, так как он выполняет одну жестко заданную функцию – складывать. Если мы его заменим на что-то другое или вообще уберем, то это вообще уже не будет искусственным нейроном.
Если менять у каждого нейрона функцию активации, то мы получим слишком разношерстную и неконтролируемую нейронную сеть. К тому же, в большинстве случаев нейроны в нейронных сетях одного типа. То есть они все имеют одну и ту же функцию активации.
Остается только один вариант – менять веса связей.
Обучение нейронной сети (Training) – поиск такого набора весовых коэффициентов, при котором входной сигнал после прохода по сети преобразуется в нужный нам выходной.
Обучающая и тестовая выборки
Еще один важный момент. Если обучать сеть, используя только один входной сигнал, то сеть просто «запомнит правильный ответ». Со стороны будет казаться, что она очень быстро «обучилась». И как только вы подадите немного измененный сигнал, ожидая увидеть правильный ответ, то сеть выдаст бессмыслицу.
В самом деле, зачем нам сеть, определяющая лицо только на одном фото. Мы ждем от сети способности обобщать какие-то признаки и узнавать лица и на других фотографиях тоже.
Именно с этой целью и создаются обучающие выборки.
Обучающая выборка (Training set) – конечный набор входных сигналов (иногда вместе с правильными выходными сигналами), по которым происходит обучение сети.
После обучения сети, то есть когда сеть выдает корректные результаты для всех входных сигналов из обучающей выборки, ее можно использовать на практике.
Однако прежде чем пускать свежеиспеченную нейросеть в бой, часто производят оценку качества ее работы на так называемой тестовой выборке.
Тестовая выборка (Testing set) – конечный набор входных сигналов (иногда вместе с правильными выходными сигналами), по которым происходит оценка качества работы сети.
Итак, «обучение сети» – подбор правильного набора весов. Теперь возникает вопрос – а как можно обучать сеть? В самом общем случае есть два подхода, приводящие к разным результатам: обучение с учителем и обучение без учителя.