Санкт-Петербургский государственный университет телекоммуникаций
им. проф. М. А. Бонч-Бруевича» Кафедра Безопасности информационных систем
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
Лекция 4
Технологии обработки экспериментальных данных
Кривцов Александр Николаевич
an.krivtsov@gmail.com
1.МЕТОДЫ ОБРАБОТКИ ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ
2.КРАТКИЙ ОБЗОР СОВРЕМЕННОГО ПО ДЛЯ ПРОВЕДЕНИЯ АНАЛИЗА ДАННЫХ
3.ТЕХНОЛОГИИ МЕТОДОВ СТАТИСТИЧЕСКОЙ ОБРАБОТКИ ДАННЫХ В ТАБЛИЧНЫХ ПРОЦЕССОРАХ
1. Методы обработки экспериментальных 
данных
По материалам (http://www.myshared.ru/slide/169362/)
Кузнецов Алексей Владимирович
доктор экономических наук, член-корреспондент РАН
1.1. Введение
Окружающий нас мир насыщен информацией…
Ее НЕОБХОДИМО обрабатывать для принятия управленческих решений.
Существует множество мат. пакетов: MatLab, Statistica, Statgraphics, SPSS …
НО ЕСТЬ проблема…. понимание и интерпретация результатов!
НЕОБХОДИМО ЗНАТЬ И ПОНИМАТЬ КАК И ЧТО ПРОИСХОДИТ ВНУТРИ математических ПАКЕТОВ!
Области применения анализа экспериментальных данных
Экономика
Менеджмент
Медицина
Социология
Геология
Контроль качества
Концепция «Шесть сигм»
– система управления компанией на основе
интенсивного использования методов анализа разнообразных данных о деятельности компании
Зрелость производственного процесса в этой концепции описывается как σ-рейтинг отклонений, или процентом бездефектной продукции на выходе, так, процесс управления качеством 6σ на выходе даёт 99,99966 % выходов без дефектов, или не более 3,4 дефектных выходов на 1 млн операций.
1.2. Основные этапы анализа данных
1. Планирование
и сбор данных
4. Построение
моделей и проверка гипотез
2.
Предварительное
исследование
данных
3. Оценка
неизвестной
величины
1.3. Структуры данных
Одномерные наборы данных (одна переменная) содержат только один признак, зарегистрированный для каждой элементарной единицы.
Двумерные наборы данных содержат информацию о
двух признаках для каждого из объектов. Обобщают свойства каждой из этих двух переменных, рассматриваемых как отдельные наборы одномерных данных, устанавливают зависимости между ними
Наборы многомерных данных содержат
информацию о трех или более признаках для каждого объекта. Обобщают свойства каждой из этих переменных (рассматриваемых как отдельные наборы одномерных данных) и устанавливают зависимости между парами переменных (как при анализе набора двумерных данных)
1.3. Структуры данных
Количественные данные
Дискретные Непрерывные
Качественные данные
Порядковые Номинальные
Временные ряды
1.3. Структуры данных
Источники данных
|
|
|
Первичные |
|
|
|
Вторичные |
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
Планирование и сбор |
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
Поиск в |
|
|
Специальные |
||||||||||
|
|
|
данных |
|
|
|
|
|
Internet |
|
|
издания и |
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
журналы |
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
Маркетинговые |
|
Социологические |
|
|
|||||||||||||
|
|
|
|
|
|
|
|
||||||||||
исследования |
|
|
опросы |
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
Покупка готовых |
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
данных у |
|
||
|
|
|
Проведение |
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
специализирующихся |
|
|||||||||
|
|
|
экспериментов |
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
компаний |
|
|||||||
|
|
|
на производстве |
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
1.4. Что такое переменная?
Переменная (английский термин variable) — это то, что можно измерять, контролировать или чем можно манипулировать в исследованиях. Иными словами, переменная — это то, что варьируется, изменяется, а не является постоянным (от английского корня var).
ПРИМЕРЫ: анкетные данные, систолическое давление пациентов, количество лейкоцитов в крови, цена акций, товаров, услуг, потребление, инвестиции, доход, государственные закупки товаров и услуг, инструмент государственного регулирования (в экономике); рейтинг программ, доля зрителей, количество посещений сайта (в рекламе); скорость, температура, объем, масса в (физике) и т. д.