13. Статистическое определение меры информации.

Этот подход изучается в разделе кибернетики, называемой “теорией информации”. Основоположником этого подхода считается Шеннон, опубликовавший в 1948 году математическую теорию связи. Шенноном было введено понятие “количества информации” как меры неопределённости состояния системы, снижаемой при получении информации. При получении информации уменьшается неопределённость, то есть энтропия системы. Kоличество информации может быть определено как I(X) = H(X) – H’(X), где H(X) – априорная энтропия системы, H’(X) – апостериорная неопределенность системы. Согласно теореме Шеннона, энтропия системы равна: .

Здесь коэффициент K₀ и основание логарифма a определяют систему единиц измерения количества информации.

Логарифмическая мера информации была предложена Хартли для представления технических параметров систем связи как наиболее удобная и более близкая к восприятию человеком, привыкшему к линейным уравнениям. Знак “–“ поставлен для того, чтобы значение энтропии было положительным. Если все состояния равновесны, то есть P_i = 1/N , то её энтропия .

В общем случае при N равновероятных состояний количество информации будет: I = log₂ N - формула Хартли. Эта формула показывает, что количество информации, необходимое для снятия неопределённости по системе с равновероятными состояниями, зависит лишь от количества этих состояний. Количество кодовых комбинаций N = mⁿ.

14 Основные модели баз данных

Для ИС характерны 2 способа схемы представления данных – графический (основан на изображении моделей данных в виде ориентированного графа, вершины которого служат для отображения типов записей, в дуги – связи между записями) и табличный (состоит в представлении информации о предметной области в виде одной или нескольких таблиц, заголовок каждой из которых аналогичен типу записи графической модели). В настоящее время известны 3 графические модели: иерархическая; сетевая; реляционная.

Иерархическая модель данных Сетевая структура

Реляционная модель данных (РМД) строится на использовании табличных средств представления данных и манипулирования ими, в РМД вся информация о предметной области отображается в таблице

Рис. Реляционная модель данных.

15 Формула Хартли для определения количества информации

Логарифмическая мера информации была предложена Хартли для представления технических параметров систем связи как наиболее удобная и более близкая к восприятию человеком, привыкшему к линейным уравнениям с принятыми эталонами.

- формула Хартли. Эта формула показывает, что количество информации, необходимое для снятия неопределённости по системе с равновероятными состояниями, зависит лишь от количества этих состояний. Количество кодовых комбинаций N = mⁿ. Если это выражение подставить в формулу Хартли, то получим: I = log₂m . Если код двоичный, то m = 2, и I = n . В этом случае количество информации в сообщении составит n двоичных единиц, называемых битами (binary digit -> bit). При использовании в качестве основного логарифма числа 10, то единица информации будет десятичной, и называться дитом. Иногда удобно использовать число e как основание. В этом случае единицы информации называются натуральными или натам.