1.7. Линейная регрессия

Общее назначение линейной регрессии состоит в анализе связи между несколькими независимыми переменными (называемыми также регрессорами или предикторами) и зависимой переменной. Общая вычислительная задача, которую требуется решать при анализе методом множественной регрессии, состоит в подгонке линейной функции к некоторому набору точек [25].

Делается это с помощью метода наименьших квадратов. Общий смысл оценивания по методу наименьших квадратов заключается в минимизации суммы квадратов отклонений наблюдаемых значений зависимой переменной от значений, предсказанных моделью.

Линейная регрессия не выдает на выходе правил «если-то», следовательно, этот метод не удовлетворяет выбранному критерию вида представляемой зависимости.

1.9. Наивная байесовская классификация

Одним из эффективных алгоритмов классификации является так называемый «наивный» (упрощенный) алгоритм Байеса [1]. Точность классификации, осуществляемой «наивным» алгоритмом Байеса, сравнима с точностью всех приведенных выше алгоритмов. С точки зрения быстроты обучения, стабильности на различных данных и простоты реализации, «наивный» алгоритм Байеса превосходит практически все известные эффективные алгоритмы классификации.

Рис. 1.3. Представление логистической регрессии в виде нейронной сети

Обучение алгоритма производится путем определения относительных частот значений всех атрибутов входных данных при фиксированных значениях атрибутов класса. Классификация осуществляется путем применения правила Байеса для вычисления условной вероятности каждого класса для вектора входных атрибутов. Входной вектор приписывается классу, условная вероятность которого при данном значении входных атрибутов максимальна. «Наивность» алгоритма заключается в предположении, что входные атрибуты условно (для каждого значения класса) независимы друг от друга, т.е. для всех атрибутов и значений класса C. Это предположение является очень сильным, и, во многих случаях неправомерным, что делает факт эффективности классификации при помощи «наивного» алгоритма Байес довольно неожиданным.

Большинство других методов классификации предполагают, что перед началом классификации вероятность того, что объект принадлежит тому или иному классу, одинакова; но это не всегда верно.

Метод наивной байесовской классификации на выходе не выдает информации вида правил «если-то». Следовательно, этот метод не удовлетворяет выбранному критерию вида представляемой зависимости.

1.10. Нейронные сети

Согласно словарю по психофизиологии [35], нейронная сеть — это группа взаимодействующих нервных клеток или ее модель. Искусственная нейронная сеть — это вычислительная или логическая схема, построенная из однородных процессорных элементов, являющихся упрощенными функциональными моделями нейронов. Как математическая модель искусственная нейронная сеть представляет собой частный случай методов распознавания образов или дискриминантного анализа [5].

Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. и тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи.

Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что, в случае успешного обучения, сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке. Нейронные сети, по сути, представляют собой «черные ящики», которые не могут предоставить информации о скрытых знаниях в доступных человеку формах. Следовательно, методы, основанные на нейронных сетях, не удовлетворяют выбранному критерию вида представляемой зависимости.