Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации

Ордена Трудового Красного Знамени

федеральное государственное бюджетное образовательное учреждение высшего образования

«Московский технический университет связи и информатики»

(МТУСИ)

Кафедра МКиИТ

Реферат

по дисциплине: «Интеллектуальные базы данных»

по теме:

«Элементы теории информации: энтропия,

теорема сложения энтропий»

Выполнил: студент группы

Проверил: Старший преподаватель Фатхулин Тимур Джалилевич

Москва, 2021

Оглавление

Вступление

Слово «информация», как и многие другие, пришло из латинского языка. Оно рассматривалась еще античными философами и вопросы, связанные с данным понятием, рассматриваются по сей день в разных областях науки. Несмотря на то, что термин «информация» широко применяется, он был и продолжает являться одним из самых дискуссионных в науке в принципе. За свою длительное существование, значение термина «информация» претерпевало различные изменения, то расширяя, то наоборот сужая свои границы. Это связано с его применением в различных областях человеческой деятельности в разное время.

Первоначально «информацией» считались сведения, которые передаются людьми в устной, письменной или любой другой форме с помощью условных сигналов, технических средств и так далее. Лексико-семантический подход трактует информацию как знание, которое используется для ориентировки, активного действие, управления или самоуправления. То есть важна содержательная часть знания, использующаяся для действия.

С середины XX века термин «информация» превратился в общенаучное понятие, включающее обмен сведениями между людьми, людьми и автоматами, автоматами и автоматами, передачу признаков от клетки к клетке и так далее. Одна из концепций рассматривает информацию как свойство или атрибут материи. Ее появление связано с развитием кибернетики и основывается на утверждении, что информацию содержат любые сообщения, воспринимаемые человеком или прибором. К первой половине XX века телефонные и телеграфные установки использовались по всему миру, а чуть позже будут созданы электронные вычислительные машины – устройства обработки информации. Теория информации была создана в практических целях – повысить эффективность функционирования систем связи. Основные ее разделы – сжимающее кодирование и помехоустойчивое кодирование.

В данном реферате будет рассмотрен такой элемент теории информации как «энтропия» - история его появления, определение, математический аппарат, описывающий данное понятие, теорема сложения энтропий систем, а также практическое применение энтропии в информационных системах.

1. История теории информации

Многие связывают появление теории информации с размещением американским математиком и криптографом Клодом Шенноном в 1948-ом году работ под названием «Математическая теория связи». Данные работы печатались в журнале американской телефонной компании «Bell Systems». Однако, результаты данных работ основывались на положениях и теориях, сформулированных в статьях Гарри Найквиста и, что чуть более важно, Ральфа Хартли. Именно направление его работ продолжил Шеннон.

Теория информации – это раздел прикладной математики, радиотехники и информатики, направленный на решение задач измерения количества информации, ее свойств и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, теория информации оперирует различными математическими моделями, а не реальными физическими объектами, такими как источники информации или каналы связи. Основой теории информации является математический аппарат теории вероятности и математической статистики. Основными разделами теории информации являются кодирование источника (или сжимающее кодирование) и канальное кодирование (помехоустойчивое кодирование). Данная область находится на пересечении таких дисциплин как математика, статистика, информатика, физика, нейробиология, информационная инженерия и электротехника. Применение теории информации нашлось в других областях, включая статистический вывод, обработку естественного языка, криптографию, человеческое зрение, выявление плагиатов, распознавание образов и выявление аномалий.

С точки зрения Шеннона, теорию информации необходимо относить в раздел математической теории связи. Она устанавливает основные границы возможностей систем передачи информации, задает исходные принципы их разработки и практического воплощения. Круг задач теории информации представляется с помощью структурной схемы, типичной системы передачи или хранения информации.

Одной из проблем, которой занимается теория информации, является определение количества информации в таких вещах как события, случайные переменные и распределения. Это одно из проявлений связи теории информации и теории вероятности и математической статистики. Меру, которая численной характеризует количество информации на символ передаваемого сообщения при отсутствии информационных потерь, называют энтропией.