Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Методы обработки и анализа экспериментальных данных. Учебное пособие

.pdf
Скачиваний:
0
Добавлен:
07.09.2026
Размер:
2 Мб
Скачать
☆
С.А. Дубровский
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ
ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ
ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
«ЛИПЕЦКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ»
МЕТОДЫ ОБРАБОТКИ И АНАЛИЗА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ
Учебное пособие
В.А. Дудина
Я.В. Садыева
Липецк
Липецкий государственный технический университет
2015
УДК 519.8:669(07)
Д797
Рецензенты:
Загайнов С.А. - д-р техн. наук, проф., зав. каф. «Железо и сплавы» Уральского федерального университета; кафедра «Металлургические и теплофизические процессы» д-р техн.наук, Старооскольского технологического института им. А.А. Угарова (филиал НИТУ МИСиС), заведующий кафедрой Меркер Э.Э. – д-р техн.наук, профессор
Дубровский С.А.
Д797 Методы обработки и анализа экспериментальных данных [Текст]: учеб. пособие / С.А. Дубровский, В.А. Дудина, Я.В. Садыева. – Липецк: Изд-во Липецкого государственного технического университета, 2015. – 62 с.
ISBN 978-5-88247-719-5
Учебное пособие соответствует федеральному государственному
образовательному стандарту подготовки бакалавров по направлению 150400 «Металлургия».
Учебное пособие рассматривает проблемы статистического подхода к анализу случайных величин и случайных процессов. Обсуждаются ограничения, лежащие в основе регрессионного анализа. Детально обсуждаются проблемы, возникающие при анализе временных рядов.
Учебное пособие окажется весьма полезным при изучении дисциплин, связанных с моделированием в металлургии, причем не только для бакалавров, но и для магистров, и для аспирантов. Можно рекомендовать данное пособие для инженерных и научных кадров металлургических и других предприятий.
Табл. 1. Ил. 27. Библиогр.:5 назв. УДК 519.8:669(07)
Печатается по решению Редакционно-издательского совета ЛГТУ
ISBN 978-5-88247-719-5
© ФГБОУ ВПО «Липецкий государственный
технический университет», 2015
© Дубровский С.А., Дудина В.А., Садыева
Я.В.
2015
ОГЛАВЛЕНИЕ
Введение ……………………………………………………..……..…....
4
1. Основные понятия и определения статистики…………………….....…..
5
2. Методика проведения статистического анализа…………………...….....
7
3. Статистические характеристики одномерной случайной
величины……
11
4. Статистические характеристики многомерных случайных величин..…
21
5. Переход к корреляции……………………………………………………..
23
6. Доверительные интервалы и вероятности………………………………..
30
7. Проверка статистических гипотез………………………………..………
34
8. Анализ временных рядов……………………………………..….………..
35
9. Автокорреляция и взаимокорреляция…………………..……….……….
43
10. Оценка причинных зависимостей………………………………………..
48
11. Регрессионные модели………………………………….…………..…..
50
12. Оценка коэффициентов регрессии методом наименьших квадратов….
53
13. Точность регрессионных моделей…………………………………….…
54
14. Ограничения и предпосылки использования регрессионного анализа..
57
Заключение…………………………………………………..…………………
61
Библиографический список…………………………………..……………….
61
3
Введение
Если теория вероятностей относится к категории абстрактных математических дисциплин, то математическая статистика касается вопросов анализа, сбора и обработки собранного на практике экспериментального материала. При этом теория вероятностей выступает как фундамент, теоретическая основа методов математической статистики. В литературе, наравне с термином «математическая статистика», как синонимы часто упоминаются термины «статистика», «анализ данных», «обработка экспериментальных данных», «прикладная статистика».
Вообще экспериментатору следовало бы избегать прилагательного математическая в применении к статистике, ибо оно сразу наталкивает исследователя на мысль, что именно математика решит все проблемы статического анализа данных. На самом деле далеко не так. Именно здравый смысл и логика, тщательное изучение данных, планирование рационального их сбора, квалифицированная и вдумчивая интерпретация результатов обработки позволяют получить полезный практический результат. При этом математические методы лишь помогают получить надежный и правильный результат, но ни в коем случае не заменяют знания специалиста в конкретной его предметной области. Ниже после введения ключевых понятий статистики мы обсудим последовательность этапов любого статистического исследования.
4
1. Основные понятия и определения статистики
Одним из главных понятий в статистике является собранный экспериментальный материал, его, как правило, называют выборкой. Выборка – это как бы извлечение данных из бесконечного числа возможных экспериментов на объекте исследования.
В статистике в противовес выборке вводится понятие генеральная совокупность. Под ней понимается некий гипотетический, на 100% полный, объем данных, который бы позволил абсолютно точно оценить статистические свойства изучаемого объекта. Понятие генеральная совокупность весьма условное, но вместе с тем считается, что выборка есть извлечение экспериментального материала из нее.
Выборка характеризуется ее объемом. Объем выборки – это количество наблюдений, сделанных над интересующими нас переменными на объекте исследования. Обычно объем выборки обозначается буквой N. Переменные, над которыми осуществляются наблюдения, относят к категории случайных величин или случайных событий.
Случайная величина – это наблюдение за некоторой переменной, изменение поведения которой нельзя предсказать однозначно.
Случайные величины бывают статистические и нестатистические. Нестатистическая случайная величина непредсказуема ни в каких вариантах и обработке статистическими методами не подлежит. Примеры нестатистических случайных величин: место падения звезд, жизнь отдельного человека и так далее. К нестатистическим случайным величинам и событиям относятся величины, которые нельзя воспроизвести многократно, либо характеристики их поведения непредсказуемо изменяются во времени и пространстве.
Статистической случайной величиной называется величина, поведение которой можно предсказать в среднем с определенной точностью. Именно эти случайные величины и события изучаются статистикой.
5
Случайное событие есть некоторое явление, которое может произойти
ˆ
ˆ
или не произойти.
Пример. Будет дождь или не будет дождь. Орел или решка (теоретически это событие непредсказуемо при центральном расположении центра тяжести монеты, ибо оба исхода события равновероятны).
Случайное событие может быть представлено и в виде случайной величины, если появление события обозначить 1, а его отсутствие 0. Случайная величина принимает определенные числовые значения, при этом различают непрерывные и дискретные случайные величины. Непрерывные случайные величины принимают значение на всем континууме числовой оси. Дискретная случайная величина принимает счетное количество значений, например, в классе целых чисел. Дискретная величина, как правило, принимает конечное число значений. Например, шестигранный кубик (6 значений), монета (2 значения).
Оценкой называется какая–то характеристика случайной величины,
полученная при обработке выборки. Если истинное значение случайной
величины Θ (тетта), то ее оценка обычно обозначается
(тетта с крышечкой)
или аналогичной по звучанию буквой латинского алфавита t.
Считается, что истинное значение статистической характеристики может быть получено при обработке самой генеральной совокупности. На практике истинного значения Θ мы никогда не узнаем.
Любая статистическая оценка, полученная при обработке выборки, в глобальном масштабе характеризуется состоятельностью, несмещенностью и эффективностью. Оценка называется состоятельной, если при N → ∞ она становится все более устойчивой и стабильной. В конечном счете, состоятельная оценка удовлетворяет требованию



 .
6
Несмещенной называется такая оценка, которая не имеет постоянного систематического отклонения от истинного значения.
Эффективной называется оценка, наилучшая из всего ряда оценок данного класса.
Пример. Характеристики положения случайной величины – арифметическая средняя является наиболее эффективной из этих трех оценок. Но, вместе с тем, эта оценка – самая неустойчивая из вышеперечисленных, она весьма чувствительна к резким выбросам в исходных данных.
2. Методика проведения статистического анализа
Конечной целью практически любого статистического исследования является получение новой информации, полезной для управления анализируемым объектом либо его аналогом. Вместо управления можно говорить о принятии решения, но принятие решений это и есть один из этапов управленческого цикла. Такая постановка вопроса требует комплексного системного подхода с использованием методологии системного анализа, являющегося общей теорией решения сложных проблем в условиях неопределенности. С этих позиций решение задач статистического анализа экспериментальных данных с использованием статистических методов можно условно разбить на следующие этапы:
1) осмысление и формализация цели исследования, четкая смысловая
постановка задачи на вербальном (словесном) уровне;
2) определение объекта исследования – четкое установление границ
исследуемого объекта и выделение его из окружающей среды с учетом всех экономических, технологических, материальных, энергетических и информационных каналов связи;
7
3) выбор структурной схемы объекта исследования и методов его
математического описания в рамках этой модели. Строгая формальная математическая постановка задачи;
4) планирование и постановка эксперимента, сбор статистического
материала;
5) проверка соответствия собранного статистического материала тем
ограничениям, которые лежат в основе выбранной математической схемы и статистических методов. Любой статистический метод и математический подход всегда работоспособны в определенных «правовых» рамках, которые задаются наборами ограничений и/или условий применимости;
6) осуществление первичной обработки исходной информации с целью
получения выборки, удовлетворяющей требуемым свойствам. Как правило, основным требованием к данным в выборке является их однородность;
7) получение интересующих нас статистических характеристик и
зависимостей;
8) статистическая проверка надежности, чувствительности и
достоверности полученных результатов;
9) содержательная интерпретация полученных результатов
статистического анализа.
Следует отметить, что в ходе исследования, в рамках перечисленных выше этапов возможны обратные связи с любого этапа на более ранние в зависимости от полученного на данном этапе результата.
Пример. На этапе 8 выяснено, что результаты обработки не надежны, и исследователь, не переходя к шагу интерпретации, переходит к дополнительному сбору материала (на пункт 4) или к более тщательной проверке в рамках пункта 5.
Пример. На этапе 3 выявилась довольно сложная структура объекта исследования, что потребовало возвращения к пункту 1 для переосмысления цели.
8
Пример. На 5 этапе выяснено, что собранный статистический материал не удовлетворяет условиям применимости выбранного метода, и исследователь возвращается на пункт 3 для выбора другой группы статистических процедур обработки данных.
Обращает на себя внимание тот факт, что лишь в двух пунктах приведенной схемы (7 и 8) непосредственно применяются математические методы статистической обработки результатов наблюдения. В некоторой степени в ограниченном объеме математические процедуры могут применяться в рамках работ по пунктам 4, 5 и 6. Отсюда становится ясной необходимость разумного сочетания формальных математических методов статистического анализа со здравым смыслом, логикой, опытом и интуицией как самого исследователя, так и специально формируемых групп высо­коквалифицированных экспертов. Мы должны понять, что математика всемогуща, но не всесильна.
Интерпретация и логический вывод пронизывают статистическое исследование от начала и до конца. Многие серьезные исследователи, в частности крупный специалист по обработке данных Д. Тьюки, отмечают, что «большая часть данных требует исследования, в то время как почти вся статистическая теория посвящена математической обработке данных», поэтому многие предлагают говорить не о «математической статистике», а об «анализе данных», в котором методы математической статистики используются, когда в этом возникает необходимость.
Начинающему исследователю следует также запомнить непоколебимую истину о том, что отсутствие знаний в предметной области объекта исследования никогда нельзя заменить получением результатов статистической обработки. Обработка данных статистическими методами лишь дополняет знания, имеющиеся у исследователя, и может дать положительный результат только при глубоком знании существа проблемы, как с практических, так и с теоретических позиций.
9
Пример. Анализ временного ряда котировки акций конкретного предприятия не даст позитивных результатов, если исследователь не владеет вопросами экономического состояния предприятия и внешнеэкономической ситуацией.
Обсуждая последовательность этапов статистического исследования, следует несколько подробнее остановиться на этапе 3. Выделение объекта исследования из окружающей среды - всегда нетривиальная задача, требующая серьезной проработки вопроса. Особенно сложно бывает выделить все внешние связи объекта с окружающей средой. Как правило, основные проблемы воз­никают с выявлением информационных каналов.
Пример. Преподаватель оценивает знания студента путем по­следовательного предоставления ему многочисленных вопросов. Студент по радиосвязи получает ответ. Исследователь (преподаватель) в результате делает неправильную оценку знаний студента. Причина – отсутствие информации о дополнительном канале связи объекта (студента) с окружающей средой.
Пример. Психолог тестирует ребенка, за дверью стоит мама и шепчет ребенку, как действовать.
Кроме внешних связей, весьма важен и подэтап этапа 3, связанный с выбором структуры объекта, в рамках которого исследователь должен построить топологическую структуру причинно-следственных связей. Для этих целей удобно использовать теорию графов.
Граф – это топологическая структура, состоящая из вершин и ребер, где, как правило, вершины есть некоторые объекты, события, процессы и явления, а ребра – это линии, соединяющие вершины. Ребра определяют связи между вершинами. Если ребра со стрелками, то граф называют ориентированным. С помощью графов легко и наглядно отражаются причинно-следственные связи между переменными объекта исследования.
10
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]