Импульс

Другой часто применяемый прием состоит в том, что при определении направления поиска к текущему градиенту добавляется поправка - вектор смещения предыдущего шага, взятый с некоторым коэффициентом. Можно

сказать, что учитывается уже имеющийся импульс движения. Окончательная формула для изменения весов выглядит так:

где 11- число в интервале (0,1), которое задается пользователем.

Часто значенией волевым образом задается равным 0.9, безотносительно к специфике задачи и архитектуре сети. Нужно отметить, что метод импуль­са очень чувствителен к способу упорядочения примеров в обучающем множестве. Если подряд попал ось несколько примеров из одного класса, импульс станет очень большим, и это нарушит ход процесса обучения. Ска­занное еще раз свидетельствует о. необходимости предварительного случай­ного упорядочения обучающего множества.

Другие алгоритмы обучения

Наконец, в последнее время пользуются успехом так называемые генети­ческие алгоритмы, в которых набор весов рассматривается как ИНДИВИД, под­верженный мутациям и скрещиванию, а в качестве показателя его «качества» берется критерий ошибки. По мере того как нарождаются новые поколения, все более вероятным становится появление оптимального индивида.

ШУМ

в финансовых приложениях данные зашумлены особенно сильно. На­пример, совершение сделок может регистрироваться в базе данных с запо­зданием, причем в разных случаях- с разным. Про пуск значений или не­полную информацию также иногда рассматривают как шум: в таких случаях берется среднее или наилучшее значение, и это, конечно, приводит к зашум­лению базы данных. Отрицательно сказывается на обучении неправильное определение класса объекта в задачах распознавания - это ухудшает спо­собность системы к обобщению при работе с новыми (т.е. не входившими в число образцов) объектами.

Перекрестное подтверждение

Для того чтобы устранить произвол в разбиении базы данных, могут быть применены методы повторных проб. Рассмотрим один из таких мето­дов, который называется перекрестным подтверждением. Его идея состо­ит в том, чтобы случайным образом разбить базу данных на q попарно непересекающихся подмножеств. Затем производится q обучений на (q -1) множестве, а ошибка вычисляется по оставшемуся множеству. Если q дос­таточно велико, например, равно 10, каждое обучение задействует большую часть исходных данных. Если процедура обучения надежна, то результаты по q различным моделям должны быть очень близки друг к другу. После этого итоговая характеристика определяется как среднее всех полученных значений ошибки. К сожалению, при применении этого метода объем вы­числений часто оказывается очень большим, так как требуется проделать q обучений, и в реальном приложении с большей размерностью это может быть невыполнимо. В предельном случае, когда q = Р, где Р - общее чис­ло примеров, метод называется пере крестным подтверждением с одним востатке. Такой метод оценки имеет смещение, и разработан метод» складного ножа», уменьшающий этот недостаток ценой еще большего объема вычислений.