Точки зрения на природу случайности

1) нечто такое, в чем не найдена закономерность (Лаплас: случайность не присуща самим объектам, а связана с незнанием, возможно устранимым)

2) объективное свойство всех явлений (О. Курно: случайность вмешивается во все, что творится на свете; миром правит случай)

3) объективное свойство только некоторых явлений (случайные процессы, описываемые статистическими закономерностями: законы физики, химии, термодинамики, квантовой механики)

4) случайные и детерминированные периоды сменяют друг друга в истории любой системы (школа И. Пригожина: детерминированные процессы постепенно сменяются процессами все более удаленными от равновесия, и в период сильной хаотичности случайность становится возможной причиной нового равновесного состояния системы)

Рис. 6.3.

Типы задач для классификационных моделей

Кластеризация – (поиск «естественной » группировки объектов). Не заданы ни границы классов в пространстве признаков, ни число классов. Требуется их определить исходя из близости, похожести или различия описаний объектов хi = (xi1, …, xin). Компоненты вектора Хо – признаки кластера, значения которых подлежат определению.

Классификация – (распознавание образов). Число классов задано. При заданных границах между классами имеем априорную классификацию; если границы требуется найти, оценить их классифицированным примерам, то задача называется распознаванием образов по обучающей выборке. Целевой признак Хо имеет значения в номинальной шкале (имена классов)

Уменьшение размерности модели. Классификационные модели как первоначальные «сырье» учитывают множество предположений, которые еще надо проверять (список признаков с запасом, с дублирующими и «шумящими» признаками). Отбирают наиболее информативные признаки, «склеивают» несколько в один и т.д. (могут оказаться различными для разных классов).

Упорядочивание объектов. Требуется установить отношения порядка между х1 о, х2 о, …, хn о (или некоторой их частью) по определенному критерию предпеочтения.

Рис. 6.4

Отличия числовых моделей от классификационных

1) Целевые признаки хо измеряются в числовых шкалах

2) Числа хо могут быть функционалами или функциями признаковых переменных (не обязательно все являются числовыми)

3) Чаще учитываются связи переменных во времени

Рис. 6.5

Типичные задачи для числовых моделей

Косвенные измерения (оценка параметра). Требуется определить значение хо по заданному множеству хij, хо измеряется не в номинальной, а в числовой шкале. Еслихij определены до некоторого момента tо, а хо требуется оценить для t  tо, тот задача называется прогнозированием

Поиск экстремума (планирование эксперимента). Считается, что имеется возможность пошагового изменения величин хij(tk), tk = tо + kt, k = 0, 1, 2, … . Требуется изменять их так, чтобы в конце концов получить экстремальное значение целевого признака хо

Рис. 6.6.

Особенности протоколов наблюдений

Большая размерность. Во многих исследованиях числа объектов N и признаков n велики и произведение nN достигает нескольких десятичных порядков. Учет времени приводит к еще большему увеличению размерности блока данных. Применение ЭВМ существенно расширяет количественные возможности обработки данных, но «проклятие размерности» характерно и здесь

Разнотипность данных. Разные признаки могут измеряться в различных шкалах. Многие алгоритмы построены для обработки однотипных переменных, что вызывает необходимость приводить разнотипные данные к одной шкале. Более правильной стратегией является разработка специальных алгоритмов, способных обрабатывать разнотипные данные, не внося в протокол изменений, не связанных с экспериментом.

Зашумленность. Часто измерение, занесенное в протокол, отличается от измеряемого значения на некоторую случайную величину. Статистические свойства этой добавочной помехи могут не зависеть от измеряемой величины (аддитивный шум) или зависеть (неаддитивная помеха). Все эти варианты должны по-разному учитываться при обработке.

Пропущенные значения. Не всегда удается заполнить все ячейки таблицы данных особенно в естественных, а не лабораторных условиях. Исключение из таблицы стоки и столбца с пустой ячейкой бывает неприемлемо. Критерий «восстановления» и цель обработки данных должны быть согласованы (нет универсального способа «восстановления» пропусков). Перспективно конструирование алгоритмов обработки, позволяющих использовать таблицы с пробелами без их предварительного заполнения

«восстановления»

Искажения, отклонение от предположений. Приступая к обработке протокола наблюдений всегда исходят из определенных предположений о природе величин, занесенных в протокол. Любой способ обработки дает результаты ожидаемого качества только в случае, если данные отвечают определенным предположениям. К сожалению, не всегда на это обращают внимание.

Рис. 6.7.