- •Нейрокомпьютинг
- •Как мозг обрабатывает информацию Из чего построен мозг
- •Структура и функции мозга
- •Восприятие
- •Мышление
- •Мозг, компьютеры и нейрокомпьютеры Право-лево-полушарный симбиоз
- •Встречная эволюция мозга и компьютеров
- •Эволюция компьютеров: от вычислений - к распознаванию образов Первые компьютеры: супер-калькуляторы
- •От вычислений - к обработке символов
- •От символов - к образам
- •Символы и образы, алгоритмы и обучение Трудности современной схемотехники
- •Специфика образной информации
- •Нейрокомпьютеры
- •Вездесущие умные нейрочипы
- •Операционные системы будущего
- •Современные нейрокомпьютеры Элементная база нейрокомпьютеров
- •Сравнение стоимости обычных и нейро-вычислений
- •Преимущества нейро-эмуляторов
- •Готовые нейро-пакеты
- •Инструменты разработки нейроприложений
- •Готовые решения на основе нейросетей
- •Нейросетевой консалтинг
- •Рынок нейропродукции
- •Какие задачи решают нейросети
- •Где применяются нейросети
- •Парадигмы нейрокомпьютинга Что такое парадигмы
- •Коннекционизм
- •Локальность и параллелизм вычислений
- •Программирование: обучение, основанное на данных
- •Универсальность обучающих алгоритмов
- •Классификация базовых нейроархитектур Типы обучения нейросети
- •Архитектура связей
- •Классификация по типу связей и типу обучения (Encoding-Decoding)
- •Нейрон - классификатор
- •Выбор функции активации
- •Двухслойные персептроны
- •Персептрон Розенблатта
- •Байесовский подход
- •Принцип максимального правдоподобия (maximum likelihood)
- •Принцип минимальной длины описания (minimum description length)
- •Градиентное обучение
- •Метод обратного распространения ошибки
- •Эффективность алгоритма back-propagation
- •Использование алгоритма back-propagation
- •Вычислительная сложность обучения
- •Ошибка аппроксимации
- •Переобучение
- •Ошибка, связанная со сложностью модели
- •Оптимизация размера сети
- •Валидация обучения
- •Ранняя остановка обучения
- •Прореживание связей
- •Конструктивные алгоритмы
- •Постановка задачи
- •Правило обучения Хебба
- •Правило обучения Ойа
- •Постановка задачи
- •Необходимость взаимодействия нейронов
- •Самообучающийся слой
- •Сравнение с традиционным статистическим анализом
- •Нелинейный анализ главных компонент Целевая функция
- •Автоассоциативные сети
- •Предикторы
- •Латеральные связи
- •Победитель забирает все
- •Алгоритм обучения соревновательного слоя нейронов
- •Кластеризация и квантование
- •Оценка вычислительной сложности обучения
- •Победитель забирает не все
- •Алгоритм Кохонена
- •Аппроксиматоры с локальным базисом
- •Гибридное обучение
- •Симметричность связей
- •Асинхронная динамика
- •Метрика пространства состоянний
- •Энергия состояния
- •Ассоциативная память
- •Обучение сети. Правило Хебба
- •Выделение сигнала из шума
- •Минимальный базис
- •Пример: поиск промоторов в днк
- •Активная кластеризация
- •Анализ голосований
- •Генетические алгоритмы
- •Метод муравьиных колоний
- •Максимизация энтропии как цель предобработки
- •Типы нечисловых переменных
- •Кодирование ординальных переменных
- •Кодирование категориальных переменных
- •Отличие между входными и выходными переменными
- •Индивидуальная нормировка данных
- •Совместная нормировка: выбеливание входов
- •Понижение размерности входов методом главных компонент
- •Восстановление пропущенных компонент данных
- •Понижение размерности входов с помощью нейросетей
- •Квантование входов
- •Линейная значимость входов
- •Нелинейная значимость входов. Box-counting алгоритмы
- •Формирование оптимального пространства признаков
- •Последовательное добавление наиболее значимых входов
- •Формирование признакого пространства методом ортогонализации
- •Кому нужно предсказывать рынок?
- •Можно ли предсказывать рынок?
- •Технический анализ и нейронные сети
- •Метод погружения. Теорема Такенса
- •Эмпирические свидетельства предсказуемости финансовых рядов
- •Формирование входного пространства признаков
- •Выбор функционала ошибки
- •Обучение нейросетей
- •Способы погружения временного ряда
- •Понижение размерности входов: признаки
- •Метод искусственных примеров (hints)
- •Связь предсказуемости с нормой прибыли
- •Выбор функционала ошибки
- •Обучение нейронной сети
- •Прореживание нейронной сети
- •Извлечение правил
- •Исправление данных
- •Рейтинг корпоративных облигаций
- •Оценка акций
- •Исторические корни
- •Нейросетевое предсказание банкротств
- •Обсуждение
- •Постановка задачи
- •Данные о российских банках
- •Сечения
- •Линейное сжатие информации - метод главных компонент
- •Нелинейное сжатие информации - карты Кохонена
- •Расположение на карте банков с отозванной лицензией
- •Раскраски карты Кохонена
- •Карта размеров банков
- •Балансовые показатели
- •Обсуждение
- •Являются ли нейронные сети языком описания?
- •В чем различие нейронных сетей и статистики?
- •Что лучше, статистические методы или нейронные сети?
- •Почему статистики ревнуют специалистов по нейронным сетям, а не наоборот?
- •Перекрестное опыление.
- •Практические выводы
- •Сети интервальных нейронов
- •Элементы нечеткой логики
- •Нечеткие нейроны
- •Извлечение правил if-then
- •Адаптация функций принадлежности
- •Стохастические нейроны
- •Приближение среднего поля
- •Фазовые переходы
- •Сеть Хопфилда с Хеббовскими связями
Структура и функции мозга
Мозг управляет организмом в целом, его восприятием окружения, движением, поддержанием важнейших функций жизнедеятельности, оперативно реагируя на всевозможные изменения среды. Генетическая программа организма, конечно, тоже способна адаптироваться к изменяющимся условиям, но очень медленно, за счет крайне редких полезных мутаций. Если использовать только этот способ, то необходимо производить огромное потомство, только малая часть которого выживает. Этим методом пользуются низшие формы жизни - такие как бактерии и вирусы. Высшие же формы в ходе эволюции выработали у себя способность к изменению и адаптации в течение жизни - благодаря особому свойству своей нервной системы - пластичности. Поэтому у высших животных потомство немногочисленно, зато мозг сильно развит.2
Объем накопленной в мозге информации вначале дополнял, а затем и превзошел (у рептилий и млекопитающих) объем наследственной информации, закодированной в ДНК (см. Рисунок 2). Можно сказать, что генетическая информация у высших организмов исполняет роль ракеты-носителя, направляя процесс построения организма. Затем управление передается адаптирующейся к внешнему миру нервной системе, вершиной которой и является мозг.
Рисунок 2. Сравнение наследственной и приобретенной информации для различных видов организмов
В строении мозга как на фотографии запечатлен весь эволюционный путь его развития. Так, мозг человека фактически включает в себя три больших отдела, управляющие наиболее древней структурой (нейрошасси), доставшейся нам еще от рыб и амфибий, и ответственной за поддержание жизнедеятельности и размножение. Первый отдел - рептильный комплекс - возник несколько сот миллионов лет назад и помогает нам ориентироваться в пространстве. Второй отдел - лимбическая система - образовался около ста пятидесяти миллионов лет назад. Благодаря ей мы обладаем эмоциями. Наконец, последнее достижение - новая кора, особо развитая у человека, позволяет нам говорить и логически мыслить.
В фантастических романах прошлого человек будущего (или инопланетный гуманоид) иногда изображался как хилое существо с огромным мозгом.3 На самом деле, и при нынешних его размерах (примерно 5% от общего веса тела) мозг человека потребляет около 20% кислорода и, следовательно, энергии. При этом он обычно не задействован "на полную мощность": одновременно активны в нем лишь 2-3% нейронов4. Благодаря такой избыточности, мозг человека обладает огромным запасом прочности, позволяющим ему работать даже, несмотря на серьезные повреждения и утраты. Этой способности лишены современные компьютеры.
Известны случаи, когда человек продолжал сознательную жизнь после удаления большей части коры головного мозга. В одном из них, молодой человек, получивший в автокатастрофе травмы черепа, оцененные как несовместимые с жизнью, выжил, и, несмотря на удаление в ходе многочисленных операций большой части тканей мозга (включая обе лобных доли!), возвратился к работе директором коммерческого буфета. Известный пример проявления компенсаторных возможностей дает мозг Ленина. Для него были характерны многочисленные поражения коры левого полушария, отягощенные колоссальной нагрузкой (при письме) на управляемую им правую руку, и обращающие на себя внимание хорошо развитые слои клеток в правом полушарии.
