5.5.Числовые модели

Числовые модели отличаются от классификационных тем, что: 1) целевые признаки jc₀ измеряются в числовых шкалах; 2) числа х₀ представляют собой функционалы или функции признаковых переменных (которые не обязательно все являются числовыми); 3) В них гораздо чаще учитываются связи переменных во времени (в классификационных задачах время иногда даже называют "забытой" переменной). В связи с этим и протоколы наблюдений могут не обязательно относиться к множеству объектов: модель можно уточнять и по экспериментам с одним объектом в разные моменты времени.

Отметим, что числовые модели могут задавать связь между переменными как в параметризованной форме (т.е. в виде функции с конечным числом параметров), так и в параметризованной форме (в виде функционала). Например, зависимость между входом х = {x_i} и выходом у некоторой системы может задаваться в виде параметризованной линейной регрессии либо в непараметризованной форме как функционал линии регрессии , где р(ух) - неизвестная плотность условного распределения вероятностей.

Приведем типичные задачи для числовых моделей.

Косвенные измерения (оценка параметра). Требуется определить значение x₀ по заданному множеству {x_ij}. В отличие от классификации x0 измеряется не в номинальной, а в числовой шкале. Если {х_ij} определены до некоторого момента t₀, a x₀ требуется оценить для t > t₀, то задача называется прогнозированием. (Прогнозирование имеет смысл и в задаче классификации; например, ранняя диагностика заболевания.)

Поиск экстремума (планирование эксперимента). Считается, что имеется возможность пошагового изменения величин , .... Требуется изменять их так, чтобы в конце концов получить экстремальное значение целевого признака х0.

5.6.Особенности протоколов наблюдений

Отметим встречающиеся на практике особенности реальных протоколов наблюдений, которые следует учитывать при их обработке.

Большая размерность. Во многих исследованиях число объектов N и число признаков n велики, так что произведение n  N достигает нескольких десятичных порядков. Учет времени приводит к еще большему увеличению размерности блока данных. В настоящее время применение ЭВМ существенно расширяет количественные возможности обработки данных, но "проклятие размерности" остается в силе и для ЭВМ.

Разнотипность данных. Разные признаки могут измеряться в различных шкалах. Многие алгоритмы построены для обработки однотипных переменных, что часто вызывает необходимость приводить разнотипные данные к одной шкале. Ясно, что более правильной стратегией поведения является разработка алгоритмов, специально построенных так, чтобы имелась возможность обрабатывать разнотипные данные, не внося в протокол никаких изменений, не связанных с экспериментом.

Пропущенные значения. Незаполненная ячейка таблицы данных - не такой уж редкий случай, особенно если эксперимент производится не в лабораторных, а в естественных условиях. Исключить из таблицы строку и столбец, на пересечении которых находится пустая ячейка, - выход далеко не всегда приемлемый. Можно, используя избыточность таблицы, некоторым образом "восстановить" пропущенные значения, а затем обрабатывать таблицу так, будто их и не было. Однако критерий "восстановления" и цель обработки должны быть согласованы, поэтому не может быть универсального способа "восстановления" пропусков. Хотя этот путь в ряде случаев вполне допустим, перспективным представляется конструирование алгоритмов обработки, позволяющих использовать таблицы с пробелами без их предварительного заполнения.

Зашумленностъ. Довольно часто измерение, занесенное в протокол., на самом деле отличается от измеряемого значения на некоторую случайную величину. Статистические свойства этой добавочной помехи могут не зависеть от измеряемой величины, и тогда мы говорим об аддитивном шуме. В противном случае имеет место неаддитивная или зависимая помеха. Все эти варианты должны по-разному учитываться при обработке.

Искажения, отклонения от предположений. Приступая к обработке протокола наблюдений, мы всегда исходим из определенных предположений о природе величин, занесенных в протокол. Любой способ обработки дает результаты ожидаемого качества только в том случае, если данные отвечают определенным предположениям. Далеко не всегда в ходе обработки данных обращают внимание на то, действительно ли данные отвечают предположениям, заложенным в алгоритм обработки.

Например, данные могут выглядеть как не размытые, но быть на самом деле расплывчатыми. Цифры в действительности могут быть символами, а мы можем считать, что они числа. Числовые шкалы предполагают одинаковость единиц измерения вдоль всей шкалы, а измерительный прибор может обладать нелинейной характеристикой, и если это не отражено в протоколе, то мы будем обрабатывать искаженные данные. Измеряемая величина может быть непрерывной, но в протоколе она неизбежно приводится с округлением, и это также является искажением.