Практическая работа 3

МИНОБРНАУКИ РОССИИ

Санкт-Петербургский государственный

электротехнический университет

«ЛЭТИ» им. В.И. Ульянова (Ленина)

Кафедра информационных систем

отчет

по практической работе №3

по дисциплине «Теория информации, данные, знания»

Тема: Условно-энтропийный, алгоритмический, семантический и прагматический (ценностный) подходы к определению количества информации.

Студент(ка) гр.
Преподаватель

Санкт-Петербург

2020

Цель работы

Изучить различные подходы к определению количества информации.

Вопросы по теме 3:

1. Понятие условной энтропии.

2. Сущность алгоритмического подхода к измерению количества информации.

3. Формула А. А. Харкевича для оценки ценности информации.

Задание по теме 3:

1. Составьте информационный тезаурус по теме «информатика».

2. Приведите примеры двух последовательностей символов некоторого алфавита и предложите сравнительную оценку количества информации на основе алгоритмического подхода А. Н. Колмогорова.

Выполнение работы

Вопросы.

1. Условной энтропией называют энтропию при условии возникновения какого-либо события.

Условной энтропией случайной величины X при условии B называется величина H_B(X) = - , где =

Условной энтропией случайной величины X при заданном значении случайной величины Y называется величина H_Y(X)

H_Y(X) = - ,

где = -

2. Сущность алгоритмического подхода к измерению количества информации заключается в том, что количество информации определяется как минимальная длина программы, позволяющей преобразовать один объект (множество) в другой. Чем больше различаются два объекта между собой, тем сложнее (длиннее) программа перехода от одного объекта к другому.

3. V = Log₂ – формула Харкевича для оценки ценности информации. Где P₀ – вероятность достижения цели до получения информации (априорная вероятность), P₁ – вероятность достижения цели после получения информации (апостериорная вероятность).

Если P₁ > P₀, то полученная информация будет способствовать достижению цели.

Если P₁ = P₀, то мы не получили никакой новой информации.

Если P₁ < P₀, то полученная информация будет мешать достижению цели.

Задачи.

1. Тезаурус по теме «Информатика».

Информация - сведения об окружающем мире, получаемые человеком в процессе его жизнеобразовательной деятельности. Компьютеры обладают огромными возможностями по накоплению, поиску и обработке информации.

Бит- является единицей измерения памяти, также это наименьшая структурная единица памяти.

Система счисления - символический метод записи чисел, представление чисел с помощью письменных знаков.

Язык - это знаковая система представления информации.

Языковое общение - это процесс передачи информации в знаковой форме.

2. aaaaaaaaaaa…aaaaaaaaa(символ “a” напечатан n количество раз)

Для того, чтобы вывести данную строку надо напечатать символ “a” n количество раз.

bcdfg…wxz(все согласные буквы английского алфавита)

Чтобы вывести эту строку, надо вывести все согласные буквы английского алфавита.

Очевидно, что вторую строку будет вывести сложнее(потребуется куда более сложная программа для того, чтобы вывести все согласные буквы английского алфавита), чем первую, следовательно, и информации в ней содержится больше, чем в первой строке, в которой содержится n-ое количество символов ‘a’.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Луковкин С.Б. Теоретические основы информатики.