Вопрос1. Произошло ли с1? Да – 1;

Вопрос2. Произошло ли с2? Да – 01;

Вопрос3. Произошло ли с3? Да – 001;

Ясно, что вопрос о событии C₄ задавать нет необходимости (т.к. какое-то из них обязательно должно произойти). Естественно его закодировать кодом 000.

Длина 200 сообщений = 100*1+50*2+25*3+25*3=350, то есть средняя длинна сообщения 1,75, хотя, если бы мы кодировали как в предыдущем случае нам бы понадобилось log₂4 = 2 бит информации под каждое сообщение. Такая экономия произошла оттого, чтопри выборе кодирования учитывались вероятности появления событий.

Именно такой вероятностный подход и принят в теории информации при измерении количества информации. А именно, вводится понятие энтропии, как меры неопределенности множества событий С={С₁, С₂, С₃, …, С_n}. Эта величина называется энтропией и вычисляется по формуле:

Как видим, энтропия всегда отрицательна, поскольку величины под знаком логарифмов меньше 1.

По смыслу количество информации противоположно энтропии,т.к. информация снижает неопределенность. Поэтому среднее количество информации, приходящееся на одно сообщение о событии вычисляется по формуле I(C) = -H(C).

Применим эту формулу к нашему случаю:

.

Если же считать события равновероятными, то получим

.

Определение. Количеством информации в сообщении из множества исходов С={С₁, С₂, С₃, …, С_n} называется мера уменьшения неопределенности в данном сообщении и вычисляется по формуле

,

где p_i – вероятность происхождения ш-ого события. Справедлива такая теорема.

Теорема. Величина I(c) максимальна в случае, когда события равновероятны и равна Log₂N, если N есть степень двойки, и равна[Log₂N]+1 в противном случае.

2. Преобразование информации при решении задач на компьютере

При решении сложных задач всегда можно выделить некоторый объект, который является главным элементом исследования. Это может быть номенклатура изделий некотрого завода, календарный план работы цеха, студенческая группа. Объект характеризуется свойствами, для исследования взаимосвязей котрых и решается задача. Один из возможных методов решения задачи – моделирование объекта с помощью компьютера. Очень часто поведение объекта зависит от предистории и воздействия внешней среды. Это значит, что необходимо хранить какую-то информацию о моделируемом объекте.

Таким образом мы имеем бъект исследования. Наша основная цель научиться предсказывать поведение объекта, т.е. как изменение одних свойств влияет на другие. Один из способов достижения этой цели - моделирование на компьютере. Основная наша задача - научиться делать это оптимально.

У исследуемого объекта выделяем его свойства, т.е. те его стороны, для исследования взаимосвязи которых и решается задача. Все объекты, участвующие в решении задачи, с набором сущесвенных для задачи свойств составляют предметную область (ПО) задачи.

Описываем изучаемый объект с информационной стороны, т.е. строим информационную модель объекта. Сюда включается информация только о существенных для данной задачи свойствах. Информационная модель строится из набора одинаковых объектов и является изображением (описанием) объекта при решении задачи. В информационной модели каждому свойству соответствует атрибут. Атрибут может принимать значения только из области дупустимых значений.

Атрибутом является логически неделимый элемент информации об объекте, который может быть связан с другими элементами. Связи между атрибутами определяются связями между свойствами, присущими объектам предметной области. Атрибуты могут меняться с течением времени. По отношению к внешней среде объекта все атрибуты можно разделить на входные, внутренние и выходные.

Вектор входных атрибутов Вектор выходных атрибутов

--- ---

X --- Объект --- Y

--- ---

С

Вектор внутренних атрибутов

Через X внешняя среда влияет на объект. C определяет конфигурацию (состояние) объекта в данный момент. Y указывает через какие атрибуты объект воздействует на внешнюю среду.

============================== Белова Наталия =================================

	Материальный мир	Область информации	Область логических данных	Область физических данных
О п и с а н и е	Предметная область (ПО) Объекты и их свойства.	Информационная модель предметной области (ИМ) Описание (изображение) предметной области на некотором языке с информационной точки зрения. Экземпляры информационной модели, атрибуты и их значения.	Абстрактная структура данных Погрузить информационную модель в абстрактную структуру данных. Логические записи и элементы данных.	Конкретные структуры данных в языке программирования Реализация структуры данных в языке программирования. Физические записи и способы их хранения в оперативной памяти.
П р и м е р ы	масса ускорение сила цвет … ІІ Закон Ньютона цвет - красный	F = m * a (обозначение и способ интерпретации) Информационное сообщение: цвет шарика - красный	F := massa * * uskor или massa:= F / uskor cvet := red	0 0 0 0 0 0 1 1

(1) (3)

(2)

1) Изучение (этап преобразования из ПО в ИМ)

Результат: постановка задачи.

2) Проектировка ( этап преобразования из ИМ в область логич. данных)

Результат: проект (алгоритм + структура данных).

3) Реализация

Результат: программа.

Материальный мир Область информации Область логических данных Область физических данных

Предметная область Информационная модель Совокупность логических записей Совокупность физических записей

Объекты и их свойства Описание предметной Логическая запись представляет Физическая запись представляет собой

области на некотором собой совокупность взаимосвязанных совокупность взаимосвязанных данных,

языке элементов данных хранящихся определенным образом

на физическом носителе

Терминология

Объект экземпляр модели логическая запись физическая запись

Свойство атрибут элемент данных поле носитеся

Пример 1

Второй закон Hьютона

( ) F=m*a, F := Massa*Uskor, Hа физическом уровне мы

I--- масса должны расположить эти переменные

I--- сила т.е. для записи отноше- т.е. мы можем на основе на некотором носителе и выбрать способ

I--- ускорение ний между массой, силой этого закона предсказывать представления их зачений (систему

и ускорением здесь ис- изменение силы на основе кодировки)

Второй закон Hьютона пользован язык математики. знаний о массе и ускорении.

утверждает, что сила Свойства объекта заменены Здесь F, Massa и Uskor -

пропорциональна обозначениями атрибутов и это переменные, используемые

массе и ускорению задана интерпретация этих в алгоритме. Этот закон можно

обозначений использовать и в другом виде.

Hапример,

Massa := F/Uskor

Пример 2

Шарик

( )

I--- цвет

Состояние шарика - Информационное сообщение: Последовательность символов на Состояние поля носителя информации:

он красный шарик красный логическом уровне: Red 00000011

================================== Ткаченко ==================================