5) Иерархическая классификация

При иерархической классификации все исходное множество элементов, соответствующих анализируемой предметной области, образует первоначально нулевой уровень классификации (он вначале является текущим). Затем выполняются шаги:

нулевой уровень делится на классы в зависимости от выбранного классификационного признака. Полученные группы образуют первый уровень;

каждый класс очередного уровня делится на подклассы, в общем случае, в соответствии со своим признаком классификации или его значением. Использование оригинального признака классификации при этом и каждом последующем разбиении на подклассы позволяет использовать независимые классификационные признаки в разных ветвях иерархической структуры. Получается следующий уровень классификации;

полученный уровень классификации становится текущим и к нему применяется шаг 2.

Пример 1. Пусть решается задача анализа успеваемости отдельных студентов в учебных группах первого курса специальностей кафедры СУиВТ по итогам зимней сессии. В результате первичного восприятия (первый этап сбора информации) выявлены следующие характеристики предметной области, существенные для решаемой задачи:

на первом курсе по кафедре СУиВТ набраны 2 учебные группы с шифрами АС и ВС ;

в зимнюю сессию включены экзамены по дисциплинам (условно): для группы АС – информатика, математика; для группы ВС – физика, культурология.

знания студентов оцениваются по пятибалльной системе.

Тогда приведенная ранее таблица конкретизируется следующим образом:

Признак классификации	Значение признака
название дисциплины	Информатика,математика,физика, культурология
оценка за экзамен	от 1 до 5
шифр учебной группы	ВС,АС

Требуется построить классификацию студентов первого курса кафедры СуиВТ для решения задачи анализа результатов сессии, применив метод иерархической классификации.

Решение задачи. Зададимся нулевым уровнем классификации – это все множество студентов первого курса кафедры СУиВТ (см. рисунок). Применим первый классификационный признак – пусть это шифр учебной группы. Получим первый уровень классификации.

К каждому классу первого уровня применим признак классификации – "название дисциплины" с соответствующими учебной группе значениями. Получим второй уровень классификации.

К каждому классу второго уровня применим признак классификации – "оценка за экзамен". Получим третий уровень классификации.

Классификатор построен.

6) Формула Шеннона

Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Например, если монета несимметрична (одна сторона тяжелее другой), то при ее бросании вероятности выпадения "орла" и "решки" будут различаться.

Формулу для вычисления количества информации в случае различных вероятностей событий предложил К. Шеннон в 1948 году. В этом случае количество информации определяется по формуле:

где I - количество информации;

N - количество возможных событий;

рi - вероятность i-го события.

Формула Хартли

Мы уже упоминали, что формула Хартли – частный случай формулы Шеннона для равновероятных альтернатив.

Подставив в формулу (1) вместо pi его (в равновероятном случае не зависящее от i) значение , получим:

таким образом, формула Хартли выглядит очень просто:

Из нее явно следует, что чем больше количество альтернатив (N), тем больше неопределенность (H). Эти величины связаны в формуле (2) не линейно, а через двоичный логарифм. Логарифмирование по основанию 2 и приводит количество вариантов к единицам измерения информации – битам.