Теория информации, данные, знания

Лекции читает канд.техн.наук, доцент Литвинов Владислав Леонидович

Раздел 3: Основы количественной

теории информации

Основные понятия теории информации. Количественные меры информации.

Энтропия и ее свойства

Литература

1.Теория информационных процессов и систем. Часть 1: учебное пособие / В. Л. Литвинов; СПбГУТ.- СПб., 2016.

2.Теория информационных процессов и систем. Часть 2: учебное пособие / В. Л. Литвинов; СПбГУТ.- СПб., 2016.

3.Кудряшов, Б. Д. Теория информации : учебное пособие / Б. Д. Кудряшов ; рец. В. И. Коржик. - СПб. : Питер , 2009. - 314 с. : ил. - (Учебник для вузов).

•Цель лекции: изучение количественных мер информации, изучение понятия энтропии и ее свойств.

•Задачи:

1.Рассмотреть основные понятия и определения теории информации.

2.Изучить количественные меры информации.

3.Изучить понятие энтропии.

4.Рассмотреть свойства энтропии.

•Информация (от лат. informātiō «разъяснение, представление, понятие о чём-либо» ← informare «придавать вид, форму, обучать; мыслить, воображать») — сведения независимо от формы их представления.

•Несмотря на широкую распространённость, понятие информации остаётся одним из самых дискуссионных в науке, а термин может иметь различные значения в разных отраслях человеческой деятельности.

•Определений информации существует множество, причём академик Н. Н. Моисеев даже полагал, что в силу широты этого понятия нет и не может быть строгого и достаточно универсального определения информации.

содержания, полученного нами из внешнего мира в процессе приспосабливания к нему нас и наших чувств»

В международных и российских стандартах даются следующие определения:

•знания о предметах, фактах, идеях и т. д., которыми могут обмениваться люди в рамках конкретного контекста (ISO/IEC 10746-2:1996);

•знания относительно фактов, событий, вещей, идей и понятий, которые в определённом контексте имеют конкретный смысл (ISO/IEC 2382:2015);

•сведения, воспринимаемые человеком и (или) специальными устройствами как отражение фактов материального или духовного мира в процессе коммуникации (ГОСТ 7.0-99).

Хотя информация должна обрести некоторую форму представления (то есть превратиться в данные), чтобы ею можно было обмениваться, информация есть в первую очередь интерпретация (смысл) такого представления (ISO/IEC/IEEE 24765:2010). Поэтому в строгом смысле информация отличается от данных, хотя в неформальном контексте эти два термина очень часто используют как синонимы.

Первоначально «информация» — сведения, передаваемые людьми устным, письменным или другим способом (с помощью условных сигналов, технических средств и т. д.); с середины XX века термин «информация» превратился в общенаучное понятие, включающее обмен сведениями между людьми, человеком и автоматом, автоматом и автоматом; обмен сигналами в животном и растительном мире; передачу признаков от клетки к клетке, от организма к организму (например, генетическая информация).

•А.Н. Колмогоров определил кибернетику как науку о системах,

воспринимающих, хранящих, перерабатывающих и использующих информацию. В теории информации изучаются количественные закономерности процессов передачи, хранения и обработки информации.

•Информация – свойство материи, состоящее в том, что в результате взаимодействия объектов между их состояниями устанавливается определенное соответствие.

•Информация проявляется в виде сообщений.

•Сообщение – совокупность символов конечного алфавита, являющаяся формой выражения информации.

•Например, информация о характере изменения функции. Сообщение

– совокупность координат точек, принадлежащих кривой. Либо: сообщение – аналитическое выражение функции и значения аргумента.

•Передача информации – процесс перемещения сообщения от источника к приемнику посредством вещества или энергии.

•Колмогоров Андрей Николаевич (1903 - 1987). Великий русский ученый, один из крупнейших математиков XX столетия, член Национальной Академии наук США и американской Академии искусств и наук, член Нидерландской Королевской академии наук, Академии наук Финляндии, Академии наук Франции, Германской академии естествоиспытателей "Леопольдина", Международной академии истории наук и национальных академий Румынии, Венгрии и Польши, почетный член Королевского статистического общества Великобритании, Лондонского математического­ общества, Международного статистического института и Математического общества Индии, иностранный член Американского философского общества, Американского метеорологического общества, лауреат самых почетных научных премий: премии П.Л.Чебышева и Н.И.Лобачевского АН

СССР, Международной премии фонда Больцано и Международной премии фонда Вольфа, а также государственной и Ленинской премии, награжденный 7-ю орденами Ленина, медалью "Золотая Звезда" Герой Социалистического труда академик Андрей Николаевич Колмогоров сам себя всегда называл "просто профессор Московского университета". На протяжении почти полувека А.Н.Колмогоров был общепризнанным лидером в теории вероятностей. Вместе с А.Я. Хинчиным и многими своими учениками он внес значительный вклад в развитие теории информации. К середине 50-х гг. именно А.Н.Колмогоров предложил наиболее общее определение количества информации в вероятностном смысле, а в дальнейшем развил и другой подход, так называемую алгоритмическую теорию информации, в котором под энтропией понималась сложность объекта, равная сложности алгоритма, описывающего объект.