ТИДЗ_П3_Соболева,_Солдаткина,_Кузьмичева

МИНОБРНАУКИ РОССИИ

Санкт-Петербургский государственный

электротехнический университет

«ЛЭТИ» им. В.И. Ульянова (Ленина)

Кафедра информационных систем

отчет

по практической работе №3

по дисциплине «Теория информации, данные, знания»

Тема: Условно-энтропийный, алгоритмический, семантический и прагматический

(ценностный) подходы к определению количества информации.

Студентки гр. 2395		Кузьмичёва Ю. И.
		Соболева В. А.
		Солдаткина Е. Е.
Преподаватель		Писарев И. А.

Санкт-Петербург

2024

Цель работы

Изучить понятия условной энтропии, алгоритмический подход А. Н. Колмогорова к оценке количества информации, семантический (тезаурусный) подход к оценке количества информации, прагматический подход А. Харкевича к оценке количества информации. Сформулировать ответы на вопросы с указанием источников информации.

Вопросы:

1. Понятие условной энтропии

2. Сущность алгоритмического подхода к измерению количества информации.

3. Формула А. А. Харкевича для оценки ценности информации.

Решить задачи:

4. Составьте информационный тезаурус по теме «информатика».

5. Приведите примеры двух последовательностей символов некоторого алфавита и предложите сравнительную оценку количества информации на основе алгоритмического подхода А. Н. Колмогорова

Выполнение работы

1) Пусть B – случайное событие, A_k – событие, состоящее в том, что случайная величина X примет значение x_k:

Условной энтропией случайной величины X при условии B называется величина

Пусть теперь Y – другая случайная величина, принимающая значения

{y₁, y₂, … y_M}. Обозначим через B_j событие, состоящее в том, что случайная величина Y примет значение y_j:

Условной энтропией случайной величины X при заданном значении случайной величины Y называется величина H_Y(X)

(1, C. 39)

2)

Идея алгоритмического измерения количества информации была выдвинута в 1965 г. А.Н. Колмогоровым. Суть ее заключается в том, что количество информации определяется как минимальная длина программы, позволяющей преобразовать один объект (множество) в другой. Чем больше различаются два объекта между собой, тем сложнее (длиннее) программа перехода от одного объекта к другому. (1, С. 53)

3)

Попытки оценить не только количественную, но и содержательную сторону информации дали толчок к развитию семантической (смысловой) теории информации. Исследования в этой области теснее всего связаны с семиотикой – теорией знаковых систем. Семантика изучает знаковые системы как средства выражения смысла, определенного содержания, т.е. правила интерпретации знаков и их сочетаний, смысловую сторону языка. (1, С. 54)

А.А. Харкевич предложил связать меру ценности информации с изменением вероятности достижения цели при получении этой информации:

где p₀ и p₁ – вероятность достижения цели соответственно до и после получения информации.

А.А. Харкевич первым подчеркнул фундаментальный характер связи прагматических свойств информации с категорией цели, понимаемой как опережающее отражение, модель будущего результата деятельности. (2, С. 5)

4)

Тезаурус – информация, содержащаяся в системе на данном уровне, необходимая для рецепции или генерации информации на следующем уровне. (1, С. 56)

Информатика

Связь	Термин
Используется для	Сбор, хранение, обработка, передача, анализ и оценка информации, принятие решений
Более узкое понятие	Теоретическая информатика, техническая информатика, социальная информатика, биологическая информатика, физическая информатика
Более широкое понятие	Информационные технологии, наука
Связан с	Программирование, алгоритм, структура данных, информация, энтропия

1. Сбор информации – процесс, в ходе которого данные собираются из различных источников и преобразуются в структурированную форму для дальнейшего анализа.

2. Хранение информации – процесс сохранения данных в удобной и доступной форме для последующего использования.

3. Обработка информации – процесс преобразования и анализа данных с целью получения новой информации или выводов.

4. Передача информации – процесс передачи данных от одного узла к другому с использованием различных коммуникационных средств.

5. Анализ информации – процесс изучения данных с целью выявления закономерностей, трендов или паттернов для принятия решений.

6. Оценка информации – процесс оценки достоверности и значимости данных для принятия обоснованных решений.

7. Принятие решений – процесс выбора оптимального варианта действий на основе анализа информации и установленных критериев.

8. Теоретическая информатика – область науки, занимающаяся изучением основных понятий, структур и методов обработки информации.

9. Техническая информатика – область науки, связанная с разработкой и применением вычислительной техники и программного обеспечения.

10. Социальная информатика – область науки, изучающая взаимодействие между информацией, технологиями и обществом.

11. Биологическая информатика – область науки, объединяющая биологию и информатику для решения задач в биологических науках.

12. Физическая информатика – область науки, изучающая использование информационных технологий в физике и других естественных науках.

13. Информационные технологии – совокупность методов, техник и средств для сбора, хранения, обработки, передачи и использования информации.

14. Наука – систематическое исследование природы и закономерностей явлений в различных областях знания.

15. Программирование – процесс создания программного кода для реализации заданных функций компьютерной системы.

16. Алгоритм – последовательность инструкций или правил, определяющих порядок выполнения задачи или решения проблемы.

17. Структура данных – организация данных в компьютерной памяти для эффективного доступа и обработки.

18. Информация – данные, представленные в удобной для восприятия форме и имеющие смысл для получателя.

19. Энтропия – мера неопределенности или хаоса в системе, используемая в теории информации для оценки степени упорядоченности данных.

5)

Пусть дана последовательность символов из алфавита A, B: «ABABABABABAB»

Алгоритм:

1. Написать символ «А»

2. Написать символ «В»

3. Повторить шаги 1,2 6 раз

Пусть дана последовательность символов из алфавита A, B, C, D, E: «ABDCDCDCDCABСABС»

Алгоритм:

1. Написать символ «А»

2. Написать символ «В»

3. Написать символ «D»

4. Написать символ «C»

5. Повторить шаги 3,4 3 раза

6. Повторить шаги 1,2,4 2 раза

Длина программы при этом измеряется количеством команд (операций), позволяющих воспроизвести заданную последовательность. (1, С. 53) Количество действий в первом алгоритме меньше, чем во втором, значит, количество информации в первой последовательности меньше.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Луковкин С.Б. Теоретические основы информатики: учеб. пособие. Мурманск: Изд-во МГТУ. 2008. 125 с.

2. Учебное пособие «Чанышев О.Г. Информация, данные, знания» 8 с.