4. Системное знание

4.1. Статистический портрет

Статистический портрет дает развернутое статистическое описание эмпири­ческого среза системы, отображает типические проявления ее изменчивости, фик­сирует общие закономерности явления, но не его системные законы, табл. 2.

Объект «Показатель» раскрывает реальный факт проявления сущности системы в каком-то одном ее измерении на уровне первичного анализа признако­вого пространства системы, рис. 7.

Выборка данных - вектор значений показателя, полученных в процессе на­блюдений, измерений и вычислений.

Объем выборки - количество значений показателя в выборке.

Вариационный ряд - множество упорядоченных по возрастанию значений показателя.

Статистическая оценка - функция результатов наблюдений, предназначен­ная для статистического оценивания неизвестных характеристик и параметров рас­пределения вероятностей, рис. 8.

Минимальное и максимальное значения - крайние левый и правый элементы вариационного ряда.

Размах - диапазон значений вариационного ряда.

Функция распределения - вероятность того, что значение показателя, яв­ляющегося случайной величиной, не превосходит заданного значения действи­тельного числа.

Плотность распределения - производная функции распределения; характе­ризует плотность, с которой значения показателя распределены в заданной точке.

Кривая распределения - кривая, изображающая плотность распределения.

Среднее арифметическое - мера «центрального положения» наблюдаемого показателя. Сумма значений показателя, деленная на объем выборки.

Дисперсия - характеристика рассеяния значений показателя; мера среднего отклонения значений показателя от среднего арифметического.

Среднее квадратическое отклонение — квадратный корень из дисперсии.

Стандартная ошибка среднего - среднее квадратическое отклонение сред­него.

Коэффициент вариации - мера относительной изменчивости; отношение среднего квадратического отклонения к среднему арифметическому.

Асимметрия - мера несимметричности распределения; несет информацию о различии между положительными и отрицательными отклонениями значений по­казателя от среднего арифметического; для симметричных распределений обраща­ется в нуль.

Эксцесс - мера островершинности распределения по отношению к нормаль­ному; эксцесс нормированного нормального распределения равен 3.

Мода - значение, наиболее часто встречающееся в выборке (наиболее веро­ятное значение); соответствует максимуму кривой распределения.

Унимодальное распределение - одновершинное распределение; распределе­ние вероятностей с одной модой.

Мультимодальное распределение - распределение вероятностей с несколь­кими модами. Мультимодальность может показывать, что выборка не является од­нородной и наблюдения порождены двумя или более распределениями.

Табулирование - определение частоты встречаемости в выборке каждого значения показателя. Табулирование данных может быть выполнено для показате­лей, измеренных на номинальных или порядковых шкалах с небольшим числом уровней значений. Результаты подсчета частот могут быть использованы для лока­лизации грубых ошибок при подготовке данных, рис. 9.

Группирование — разбиение вариационного ряда на несколько интервалов группировки.

Варианты группирования - группирование по методу равных интервалов, по методу равных частот, путем выбора границ интервалов значений.

Интервал группировки - диапазон значений показателя, ширина которого за­висит от размаха вариационного ряда и заданного количества интервалов.

Количество интервалов группировки - зависит от числа членов вариацион­ного ряда и наличия в нем повторяющихся значений.

Частота значений - отношение числа значений показателя в каком-то од­ном интервале группировки к объему выборки.

Накопленная частота — сумма частот значений до заданного интервала группировки.

Гистограмма - графическое изображение группированного распределения. Построение гистограмм осуществляется для показателей, измеренных на интер­вальных шкалах. В качестве абсциссы берется значение показателя, в качестве ор­динаты - частота значений, деленная на длину интервала группировки. При равных интервалах группировки деление обычно опускается, а в качестве ординаты ис­пользуются частота значений или число значений. Гистограммы имеют, как прави­ло, вид ступенчатой функции или столбчатой диаграммы, рис. 10.

Полигон частот - графическое представление распределения. Для группи­рованного распределения строится путем соединения наименьшими отрезками прямой точек, абсциссы которых соответствуют границам интервалов, а ординаты - частотам значений в этих интервалах.

Полигон накопленных частот - графическое представление распределения; строится путем соединения наименьшими отрезками прямой точек, абсциссы кото­рых соответствуют значениям показателя, а ординаты - накопленным частотам. Для группированного распределения абсциссами считаются границы интервалов, а соответствующие накопленные частоты - ординатами, рис. 11.

Критерии проверки нормальности - оценивают близость распределения зна­чений показателя к нормальному закону.

Визуальный способ проверки нормальности - наложение теоретической кри­вой нормального распределения, построенной по полученным выборочным харак­теристикам (среднему арифметическому и среднему квадратическому отклонению) на гистограмму распределения, рис. 12.

Критерий Колмогорова-Смирнова - устанавливает расхождение между тео­ретическим и эмпирическим распределениями; отношение модуля разности между эмпирическим и теоретическим распределениями к квадратному корню из объема выборки, рис. 13.

Нормальный вероятностный график - графическое изображение негруппированного распределения на вероятностной бумаге, имеющей специальную шкалу на оси ординат; используется для визуальной проверки соответствия закона рас­пределения нормальному закону и наличия выбросов. Для нормального распреде­ления график имеет вид прямой линии. Отклонение от прямой свидетельствует о несоответствии закона распределения нормальному. Аномальные значения показа­теля просматриваются на «хвостах» распределения, рис. 14.

Аномальные выбросы — отдельные резко выделяющиеся значения показате­ля. Аномальные выбросы могут быть объяснены допустимыми колебаниями значе­ний показателя или ошибками, возникающими при сборе информации. В послед­нем случае аномальные значения необходимо исключить из выборки данных.

Способы обнаружения выбросов - основаны на выделении аномальных на­блюдений в зонах больших и малых значений показателя по нормальному вероят­ностному графику, по гистограмме распределения, рис. 15, с помощью аналитиче­ских методов с 5-процентным уровнем значимости, табл. 3. Возможно также выде­ление областей аномальных значений по смысловому содержанию показателя.

Квантиль - значение показателя, отделяющее определенную долю элемен­тов вариационного ряда.

Медиана — значение показателя, делящее вариационный ряд на две равные по численности элементов части. При четном числе элементов вариационного ряда за медиану берется среднее арифметическое двух центральных элементов.

Квартиль нижняя и верхняя — частный случай квантили в случае деления ва­риационного ряда на четыре равные по численности элементов части.

Группирование по методу равных частот - задание интервалов значений на базе квантилей (квартилей, медиан); используется для интервальных показателей.

Таблица частот - способ представления распределения, группированного на базе квантилей, рис. 16.

Величина показателя малая - диапазон значений показателя, у которого нижняя граница совпадает с минимальным значением, а верхняя граница устанав­ливается равной нижней квартили; для интервальных показателей с малым объе­мом выборки вместо квартилей используется медиана.

Величина показателя большая - диапазон значений показателя, у которого нижняя граница устанавливается равной верхней квартили, а верхняя граница сов­падает с максимальным значением; для интервальных показателей с малым объе­мом выборки вместо квартилей используется медиана.

Главной проблемой применения объекта «Показатель» является анализ на его основе представительности данных с учетом следующих положений:

• репрезентативная выборка значений показателя обеспечивает статистическую проявленность определенного аспекта системы;

• повторяемость значений количественного показателя уменьшает степень объективности проявления системы;

• типические и особенные аспекты системы передаются полными наборами стати­стических характеристик.

Объект «Таблица наблюдений» задает целокупность наблюдаемых вели­чин, осознаваемую через имена, значения и развернутые комментарии всех отдель­но взятых показателей.

Имя - символическое обозначение показателя.

Вектор значений показателя - столбец таблицы наблюдений, содержащий целые или вещественные числа и, возможно, пропуски данных; характеризует ин­дивидуальные особенности единичных объектов; воспринимается как канал прояв­ления системы во всем разнообразии ее типического и особенного; одномерный взгляд на систему, в котором скрыты следы всех других показателей, рис. 17.

Развернутый комментарий - краткая характеристика предметного содержа­ния показателя (методика наблюдения и измерения, единицы измерения, шкала из­мерения, способ кодирования значений и т.д.), табл. 4.

Пропуски данных - неизвестные значения показателей; допускаются, если они непреднамеренные.

Шкалы измерений - номинальные, порядковые, интервальные.

Количество наблюдений - число единичных объектов наблюдений, рассмат­риваемых в эмпирическом опыте в качестве носителей идеи системы.

Количество показателей — общее количество показателей, включенных в исходное эмпирическое описание.

Таблица описательных статистик - таблица, содержащая объем выборки, минимальное и максимальное значения, размах, среднее арифметическое, среднее квадратическое отклонение и коэффициент вариации для каждого интервального показателя, табл. 5.

Сводная табуляграмма - таблица, содержащая частоты встречаемости в вы­борке значений всех номинальных и порядковых показателей, табл. 6.

Таблица группировок данных - представление распределения значений кате­гориальных (номинальных) показателей в выборке; для интервальных показателей

в качестве категорий выступают интервалы группировки; количество интервалов и их ширина выбираются одинаковыми для всех показателей, табл. 7.

Группирование - таблица, содержащая объем выборки, количество групп, минимальное и максимальное значения, медиану, нижнюю и верхнюю квартили для каждого интервального показателя, табл. 8.

Большие и малые значения показателей - таблица, содержащая границы об­ластей больших и малых величин для каждого интервального показателя, табл. 9.

Трехвходовая гистограмма - распределение значений группы показателей по значениям группирующего параметра. В качестве группирующего параметра могут выступать один или более категориальных или порядковых показателей. Ес­ли группирующий параметр формируют несколько показателей, то получаемые в результате области значений не должны перекрываться, рис. 18.

Главной проблемой применения объекта «Таблица наблюдений» является проверка полноты данных. Ее результат выражается числом и составом наиболее существенных показателей каждого уровня восприятия проявленной сущности

системы, создающих в своей совокупности ее исчерпывающий панорамный внеш­ний образ.

Технологические индикаторы. Таблица данных воспринимается как еди­ное целое, скрывающее в себе потенциал системы, реализация которого при рекон­струкции сложного позволяет раскрывать смыслы проблемы. Статистический портрет используется в качестве базы реконструктивного анализа, содержащей на­бор независимо рассматриваемых показателей вместе с их значениями и вычислен­ными статистиками, применяемыми для оценки возможности включения каждого отдельно взятого показателя в базу анализа.

Аппарат технологических индикаторов статистического портрета оценивает полноту и представительность исходного эмпирического описания для раскрытия проблемы в общесистемном решении через:

• количество пропусков данных, ухудшающих выражение системы в целом, рис. 19;

• корректность значений всех показателей, табл. 10;

• выявление и исключение неизменяющихся показателей, табл. 11

• проверку и улучшение группировок, табл. 12

• оценку многовидности изменчивости показателей;

• оценку существенности (необходимости) показателей;

• полноту и представительность выражения системы в данных.

Статистический портрет охватывает все единичные объекты наблюдения, взятые независимо один от другого, и отображает их во множество значений ос­новных показателей, каждый из которых воспринимается на этом шаге независимо друг от друга. Любой показатель задается помимо совокупности его отдельных значений полным набором статистических характеристик.

Резюме статистического портрета (на примерах двух проектов). Стати­стический портрет отображает проявления проблемы через изменчивость показате­лей состояния единого носителя информации о проблеме. Основная задача портре­та состоит в обеспечении корректности данных и проверке самодостаточности эм­пирического описания.

Проект: Конкурентоспособность, качество, техническая и экологическая безопасность продуктов и технологий производства

Технологические индикаторы Общая оценка портрета Результаты

Исходных показателей: 59, из них 3 по- Система данных в смысле ее Получено развернутое стати-

казателя - идентификаторы стального полноты и представительности стическое описание проблемы

листа может служить достаточным качества продуктов и техноло-

На базе 10 показателей сформированы 5 эмпирическим основанием для гий металлургического произ-

новых вычисляемых показателей получения общесистемного водства

Мало данных: 2 показателя решения проблемы Установлен факт соответствия

Информативных показателей: 49 Большое число количествен- выпускаемых продуктов тре-

Показателей с аномальными значения- ных показателей (98%) - по- буемым нормам и стандартам

ми: 16 (от 1 до 5 выбросов) ложительный факт для вери- рынка по списку сдаточных

Объемы выборок: от 158 до 288 фикации общесистемного ре- показателей (11 характеристик

Пропуски в таблице наблюдений: есть шения проблемы химического состава металла

Полных строк в таблице наблюдений: 4 Большое число пропусков в и 3 показателя механических

Полных строк по сдаточным показате- таблице наблюдений может свойств стального листа)

лям: 4 затруднить оценку статиста- Установлено нарушение вос-

Показателей с достаточными объемами ческих взаимосвязей между производимости процессов

выборок: 49 показателями производства стального листа

Распределения сдаточных показателей: (законы распределения всех

не нормальныесдаточных показателей - не

Шкалы измерений: интервальные - 98%; нормальные)

номинальные - 2%

Проект: Технология снижения затрат и ускорения хозяйственных механизмов производства Технологические индикаторы Общая оценка портрета Результаты

Показателей: 179, из них 1 показатель - Система данных в смысле ее Получено развернутое стати- идентификатор заказа полноты и представительности стическое описание системы

104 показателя имеют аномальные зна- может служить достаточным позаказного управления ма- чения (от 1 до 9 аномальных выбросов) эмпирическим основанием для шиностроительным производ- Выборки варьируют от 0 до 1541 получения общесистемного ством

Распределение показателей по объему решения проблемы Система производственного

выборки: Большое число качественных аппарата предприятия выра-

6 показателей - 0; 23 показателя - до показателей (39%) - отрица- жена через 172 показателя 500; 38 показателей - от 500 до 1000; тельный факт для верифика- Выявлен большой разброс 72 показателя - от 1000 до 1500; 39 ции общесистемного решения значений для показателей, показателей - более 1500 проблемы характеризующих практиче-

149 показателей имеют оптимальные Большое число пропусков в ски все этапы жизненного выборки таблице наблюдений может цикла заказа

Дублирующие показатели: 3 затруднить оценку статисти-

Информативные показатели: 169 ческих взаимосвязей между

Все распределения не нормальные показателями

Шкалы измерений: интервальные - 61%; Малые объемы выборок за- номинальные - 39% труднят верификацию обще-

системного решения Для 49 показателей характер­ны большие значения коэффи­циента вариации (> 3) Большая доля показателей (104 из 172) с аномальными значениями

В полном статистическом портрете представлены результаты статистическо­го анализа эмпирического среза проблемы, характеризующие статистические свой­ства показателей, полноту и представительность эмпирического описания. Оценена достаточность этого описания для проведения полного системного исследования проблемы.