Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Введение в анализ данных с интервальной неопределенностью. Учебное пособие
.pdf
Министерство науки и высшего образования Российской Федерации
САНКТ-ПЕТЕРБУРГСКИЙ
ПОЛИТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ ПЕТРА ВЕЛИКОГО
Физико-механический институт
Высшая школа прикладной математики и вычислительной физики
А. Н. Баженов
ВВЕДЕНИЕ В АНАЛИЗ ДАННЫХ
С ИНТЕРВАЛЬНОЙ НЕОПРЕДЕЛЕННОСТЬЮ
Учебное пособие
Санкт-Петербург
2022
УДК 519.6
ББК 22.172я73
Б16
Р е ц е н з е н т ы:
Кандидат физико-математических наук, научный сотрудник
Физико-технического института им. А. Ф.Иоффе
А. А. Красилин
Кандидат физико-математических наук, доцент Санкт-Петербургского
политехнического университета Петра Великого
Л. В. Павлова
Баженов А. Н.
деленностью
Введение в анализ данных с интервальной неопре-
: учеб. пособие / А. Н. Баженов. — СПб. : ПОЛИТЕХ-ПРЕСС,
2022. — 92 с.
Учебное пособие соответствует образовательному стандарту высшего об-
разования Санкт-Петербургского политехнического университета Петра Ве-
ликого по направлению подготовки бакалавров 01.03.02 «Прикладная мате-
матика и информатика», по дисциплине «Интервальный анализ».
Пособие посвящено введению в анализ данных с интервальной неопреде-
ленностью и его применению в различных задачах. Важной частью пособия
являются примеры, и простые, иллюстрирующие базовые конструкции и опе-
рации, и более сложные.
Пособие предназначено для студентов, аспирантов, научных сотрудников
и инженеров, занимающихся анализом данных.
Табл. 3. Ил. 36. Библиогр.: 48 назв.
Печатается по решению
Совета по издательской деятельности Ученого совета
Санкт-Петербургского политехнического университета Петра Великого.
©
БаженовА. Н., 2022
ISBN 978-5-7422-7910-5
©
Санкт-Петербургский политехнический
doi:10.18720/SPBPU/2/id22-247 университет Петра Великого, 2022
Ministry of Science and Higher Education of the Russian Federation
PETER THE GREAT
SAINT PETERSBURG POLYTECHNIC UNIVERSITY
Institute of Physics and Mechanics
Graduate School of Applied Mechanics and Computational Physics
A. N. Bazhenov
INTRODUCTION TO ANALYSIS OF DATA
WITH INTERVAL UNCERTAINTY
Training manual
St. Petersburg
2022
R e v i e w e r s:
Candidate (PhD) of Physics and Mathematics, researcher at the Ioe
Physical-Technical Institute
A. A. Krasilin
Candidate (PhD) of Physics and Mathematics, associate professor at Peter the
Great St. Petersburg Polytechnic University
L. V. Pavlova
Bazhenov A. N.
uncertainty
Introduction to analysis of data with interval
: training manual / A.N. Bazhenov. — St. Petersburg. :
POLYTECH-PRESS, 2022. — 92 p.
The training manual corresponds to the educational standard of higher
education of Peter the Great St. Petersburg Polytechnic University in the
Bachelor’s degree program 01.03.02 «Applied mathematics and informatics», for
the discipline «Interval analysis».
The manual is devoted to introduction to analysis of data with interval
uncertainty and its application to various problems. An important part of
the manual includes examples, both simple, illustrating basic structures and
operations, and more complex.
The manual is intended for students, graduate students, researchers, and
engineers involved in data analysis.
Tables 3. Figures 36. References: 48 titles.
Printed by decision
of the Council for Publishing Activities of the Academic Board
of Peter the Great St. Petersburg Polytechnic University.
©
BazhenovA. N., 2022
ISBN 978-5-7422-7910-5
©
Peter the Great St. Petersburg
doi:10.18720/SPBPU/2/id22-247 Polytechnic University, 2022
ОГЛАВЛЕНИЕ
Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Г л а в а 1.
данных
Г л а в а 2.
Г л а в а 3.
Краткие сведения о методах статистики и обработки
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.1. Данные, погрешности и их обработка . . . . . . . . . . . . . . . 9
1.2. Критика вероятностной статистики
и альтернативные подходы . . . . . . . . . . . . . . . . . . . . . 10
1.2.1. Статистика нечетких данных . . . . . . . . . . . . . . . 12
1.3. Место и особенности интервального подхода . . . . . . . . . . . 13
1.3.1. Почему интервалы? . . . . . . . . . . . . . . . . . . . . . 13
1.3.2. Статистика интервальных данных . . . . . . . . . . . . 14
Базовые понятия
2.1. Интервалы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2. Классическая интервальная арифметика . . . . . . . . . . . . . 19
2.3. Примеры интервальных расчетов . . . . . . . . . . . . . . . . . 21
2.4. Полная интервальная арифметика Каухера . . . . . . . . . . . 22
2.5. Оценки и погрешности измерений . . . . . . . . . . . . . . . . . 25
2.5.1. Оценки точечные и интервальные . . . . . . . . . . . . . 25
2.5.2. Измерения и их результаты . . . . . . . . . . . . . . . . 26
2.5.3. Более сложные типы интервалов . . . . . . . . . . . . . 29
2.6. Описание измерений . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.6.1. Накрывающие и ненакрывающие
измерения . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.6.2. Информационное множество . . . . . . . . . . . . . . . . 33
2.7. Выбросы и промахи . . . . . . . . . . . . . . . . . . . . . . . . . 34
Измерение постоянной величины
3.1. Выборка измерений и интервалы их неопределенности . . . . . 36
3.2. Обработка накрывающих выборок . . . . . . . . . . . . . . . . . 38
3.3. Оценки интервальных выборок . . . . . . . . . . . . . . . . . . . 40
3.3.1. Мода интервальной выборки . . . . . . . . . . . . . . . . 40
3.3.2. Медиана интервальной выборки . . . . . . . . . . . . . . 44
. . . . . . . . . . . . . . . . . . . . . . . . 16
. . . . . . . . . . . . . . 36
5
3.3.3. Мера совместности интервальной выборки . . . . . . . . 47
3.4. Обработка ненакрывающих выборок . . . . . . . . . . . . . . . . 49
3.5. Вариабельность оценки
и варьирование неопределенности . . . . . . . . . . . . . . . . . 55
Г л а в а 4.
4.1. Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.2. Накрывающие и ненакрывающие измерения и выборки . . . . 61
4.3. Информационное множество задачи . . . . . . . . . . . . . . . . 62
4.4. Прогнозный коридор и коридор совместных зависимостей . . . 65
4.5. Выбросы и их выявление . . . . . . . . . . . . . . . . . . . . . . 67
4.6. Случай точных измерений входных переменных . . . . . . . . . 71
4.7. Общий случай задачи восстановления зависимостей . . . . . . 82
Библиографический список . . . . . . . . . . . . . . . . . . . . . . . . . . 86
Предметный указатель . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
Задача восстановления зависимостей
4.5.1. Варьирование неопределенности измерений . . . . . . . 69
4.6.1. Пример решения задачи для случая точных измерений
входных переменных . . . . . . . . . . . . . . . . . . . . 74
. . . . . . . . . . . 59
6
ВВЕДЕНИЕ
Учебное пособие является дополнением к книге коллектива авторов «Об-
работка и анализ данных с интервальной неопределенностью» [1], изложение
материала в которой носит методически основательный характер. В посо-
бии представлена согласованная система понятий и терминов, относящих-
ся к обработке данных, имеющих интервальную неопределенность, а также
дан краткий обзор основных и наиболее значимых результатов научного на-
правления, которое можно назвать «статистикой интервальных данных», или
«анализом интервальных данных». В пособии много ссылок на издание [1],
в котором подробно изложены теоретические аспекты анализf данных с ин-
тервальной неопределенностью. Задача пособия — дать обучащимся краткие
сведения о теории и рассмотреть ряд примеров, иллюстрирующих интерваль-
ный подход.
Фундаментом статистики данных с интервальной неопределенностью яв-
ляется интервальный анализ, основы которого представлены в работе [2]. В
работе [3] дана картина применения интервальных данных и интервально-
го анализа в более широком контексте. Наиболее полное изложение идей и
методов интервального анализа дано в книге [4]. Изучение материала книги
[4] требует более основательной математической подготовки и рекомендуется
для углубленного изучения данного вопроса.
В общем виде задачи статистики данных с интервальной неопределен-
ностью состоят в решении практических проблем в тех областях обработ-
ки данных, в которых недостаточно применение ранее развитых методов. В
практике обработки экспериментальных данных в настоящее время широко
используются статистические методы, основанные на идеях и результатах
теории вероятностей. Эти методы опираются на использование ряда допу-
щений о вероятностных свойствах погрешностей измерений, а также на на-
личие выборок представительной длины (как минимум в несколько десятков
измерений).
Однако специалисты часто сталкиваются с ситуациями, когда выборки
измерений коротки, а погрешности измерений не могут быть адекватно опи-
саны с помощью инструментов теории вероятностей или же информация о
вероятностных характеристиках погрешностей отсутствует.
В этих ситуациях можно применить методы интервальной статистики,
основанные на идеях и результатах интервального анализа, использующие
его подходы, алгоритмы и соответствующее программное обеспечение. Ин-
тервальные методы широко представлены практически для всех популяр-
ных платформ программирования. В некоторых интегрированных средах,
как, например,
струкций встроенная. Для использования наиболее популярного в настоя-
щее время языка программирования
конструкций и методов интервального анализа.
Mathematica,Octave
, поддержка базовых интервальных кон-
Python
также есть реализации основных
7
Терминология интервальной статистики наследует многое из традицион-
ной статистики, развитый понятийный аппарат которой уже сложился. Раз-
личным аспектам анализа интервальных данных посвящены, в частности,
работы [5, 38, 39].
Следует отметить, что в XX в. в статистике различные математические
методы продолжали развиваться и использоваться, но как будто не входя в
математическую статистику. Дж.Тьюки в конце 50-х годов прошлого века
предложил оформить новую научную дисциплину «анализ данных», кото-
рая охватывала те математические методы обработки данных, которые не
подпадали под математическую статистику в узком смысле этого слова [40].
Материал учебного пособия апробирован в учебных курсах для сту-
дентов Высшей школы прикладной математики и вычислительной физики
Физико-механического института Санкт-Петербургского политехнического
университета Петра Великого и аспирантов Физико-технического институ-
та им. А. Ф. Иоффе Российской академии наук.
8
Г л а в а 1
КРАТКИЕ СВЕДЕНИЯ О МЕТОДАХ
СТАТИСТИКИ И ОБРАБОТКИ ДАННЫХ
1.1. Данные, погрешности и их обработка
На практике данные не бывают точными. В действительности нам извест-
но приближенное значение измеряемой величины, а также некоторая инфор-
мация (качественная и количественная) о погрешности этого значения. На
результаты измерений могут оказывать влияние изменчивость измеряемых
величин, их непостоянство во времени или пространстве. На измерения мо-
гут влиять внешние неконтролируемые факторы, так называемые «шумы».
У применяемой аппаратуры имеются собственные погрешности. В процессе
математической обработки данных на результат влияют неизбежные неточ-
ности расчетов (ошибки представления, округления и т. п.).
В работе [11] погрешности измерений и наблюдений разделяются на три
класса:
1. Систематические погрешности.
2. Случайные погрешности.
3. Промахи (или выбросы).
Систематической погрешностью
погрешности измерения, которая остается постоянной или изменяется по
какому-то определенному закону при повторных измерениях одной и той
же величины.
своей величине и природе погрешности, в появлении каждой из которых не
наблюдается какой-либо явной закономерности.
зываются погрешности, приводящие к явному искажению результата измере-
ний. Для выявления выбросов и промахов организуют специальный этап об-
щей технологии обработки данных —
применению формальных математических методов. На этом этапе промахи
(выбросы) должны быть определены и удалены из обрабатываемых данных.
Что касается случайных погрешностей, то в работе [11] указывается: «Мы
считаем случайными те явления, которые определяются сложной совокуп-
ностью переменных причин, трудно поддающихся анализу; к этим явлени-
ям индивидуальный подход невозможен, и лишь для их совокупности могут
быть установлены определенные закономерности». Термин «случайный» в
Случайными погрешностями
измерения называется составляющая
называются неопределенные по
Промахами(выбросами
предобработку
, который предшествует
) на-
9
этом понимании фактически означает «непредсказуемый» или такой, в ко-
тором отсутствует закономерность.
Как учитывать случайные погрешности в данных?
сам факт присутствия таких погрешностей в данных можно учесть подходя-
щей математической постановкой задачи обработки этих данных. Например,
при восстановлении функциональных зависимостей (см. гл. 4) вместо зада-
чи интерполяции данных нужно рассматривать задачу их аппроксимации
(приближения), так как не имеет смысла требовать точных равенств значе-
ний функции измеренным значениям. Вообще говоря, получение результата
измерения или наблюдения как решения задачи некоторого математическо-
го приближения к данным, учитывающей модель исследуемого объекта или
явления, является основой
Если о природе случайных погрешностей ничего более не известно, то на
этом можно и нужно остановиться и применять далее аппроксимационные
методы. Если о природе случайных погрешностей известно что-то опреде-
ленное, то можно применить для обработки данных более точные методы,
учитывающие дополнительную информацию.
В настоящее время существует несколько различных подходов к описа-
нию случайности, и некоторые их них широко развиты и применимы. Преж-
де всего, это теоретико-вероятностная модель погрешностей, основанная на
аппарате математической теории вероятности и приводящая к
вероятностным методам
дель погрешностей за прошедшие два века получила большое развитие и
распространение, став одним из основных инструментов обработки данных.
Также следует отметить методы нечеткой статистики (см. п. 1.2.1) и
стические методы
малоизученных явлений, когда отсутствует четкая модель и нет представле-
ния об искомых характеристиках явления или объекта.
аппроксимационных методов
обработки данных. Теоретико-вероятностная мо-
обработки данных, которые применяются при анализе
Прежде всего,
обработки данных.
теоретико-
эври-
1.2. Критика вероятностной статистики
и альтернативные подходы
Развернутая критика вероятностной статистики содержится в работе [1].
Кратко перечислим основные пункты, по которым в данной книге проведено
обсуждение.
Статистическая устойчивость.
роятности является так называемая
рой вероятность понимается как предел относительной частоты рассматрива-
емого события в серии однородных независимых испытаний (экспериментов
и т. п.).
Многие явления окружающего нас мира, в отношении которых приме-
нимо слово «случайный», не обладают свойством существования устойчивой
10
Главной интерпретацией понятия ве-
частотная интерпретация
, при кото-
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]