- •Н.Н. Куцый теория информации
- •1. О понятии "информация"
- •2. Этапы обращения информации
- •3. Информационные системы
- •4. Система передачи информации: основные понятия и определения
- •5. Уровни проблем передачи информации
- •6. Теория информации
- •7. Понятия сигнала и его модели
- •8. Формы представления детерминированных сигналов
- •9. Ортогональные представления сигналов
- •10. Временная форма представления сигнала
- •11. Частотная форма представления сигнала. Спектры периодических сигналов
- •12. Распределение энергии в спектре периодического сигнала
- •13. Частотная форма представления сигнала. Спектры непериодических сигналов
- •14. Распределение энергии в спектре непериодического сигнала
- •15.Соотношения между длительностью импульсов и шириной их спектра
- •16.Спектральная плотность мощности детерминированного сигнала
- •17.Функция автокорреляции детерминированного сигнала
- •18.Случайный процесс как модель сигнала
- •19.Стационарные и эргодические процессы
- •20.Спектральное представление случайных сигналов
- •21.Частотное представление стационарных случайных процессов (дискретный спектр)
- •22.Частотное представление стационарных случайных сигналов. Непрерывные спектры
- •23.Основные свойства спектральной плотности
- •24.Преимущества цифровой формы представления сигналов
- •25.Общая постановка задачи дискретизации
- •26.Способы восстановления непрерывного сигнала
- •27.Критерии качества восстановления
- •28.Методы дискретизации посредством выборок
- •29.Равномерная дискретизация. Теорема котельникова
- •30.Теоретические и практические аспекты использования теоремы котельникова
- •31.Дискретизация по критерию наибольшего отклонения
- •32.Адаптивная дискретизация
- •33.Квантование сигнала
- •34.Квантование сигналов при наличии помех
- •35.Геометрическая форма представления сигналов
- •36.Энтропия как мера неопределенности выбора
- •37.Свойства энтропии
- •38.Условная энтропия и её свойства
- •39.Энтропия непрерывного источника информации (дифференциальная энтропия)
- •40.Свойства дифференциальной энтропии
- •41.Количество информации как мера снятой неопределенности
- •42.Эпсилон-энтропия случайной величины
- •43.Информационные характеристики источника сообщений и канала связи. Основные понятия и определения
- •44.Информационные характеристики источника дискретных сообщений
- •45.Информационные характеристики дискретных каналов связи
- •46.Информационные характеристики источника непрерывных сообщений
- •47.Информационные характеристики непрерывных каналов связи
6. Теория информации
Как уже отмечалось выше для того, чтобы проанализировать смысл высказываний, или оценить эффект, ими произведенный, необходима некоторая система знаков, составляющая например, естественный или искусственный язык. Данная система знаков имеет свои внутренние свойства, которые составляют синтаксическую часть информации. Именно эта часть информации изучается в математической дисциплине, которая и именуется как "Теория информации". Здесь полностью абстрагируются от смысла и эффекта информации и основное внимание уделяют вопросам измерения её количества, фундаментальных границах для её сжатия и надёжной передачи.
Если в физике давно научились измерять количество материи и энергии, то о том же, как измерить количество информации, мы знаем только с 1948 г., когда появилась статья Клода Шеннона "A Mathematical Theory of Communication", название которой при переиздании в виде книги год спустя было изменено на "The Mathematical Theory of Communication". То есть Шеннон к этому времени понял, что его результаты в теории информации имеют фундаментальное значение для передачи сообщений (коммуникации). Однако в научном мире эти результаты были крайне новыми, а идеи необычными, поэтому потребовались годы для их осознания. И только через 35-40 лет фундаментальные достижения теории информации , в которую органически вошли и результаты, полученные другими учеными, например Р. Хартли, который впервые предложил в 1928 году количественную меру информации были включены в повседневное использование.
К теории информации в её узкой классической постановке относят результаты решения ряда фундаментальных теоретических вопросов, которые касаются повышения эффективности функционирования систем связи. Это в первую очередь:
анализ сигналов как средства передачи сообщений, который включает вопросы оценки переносимого ими "количества информации";
анализ информационных характеристик источников сообщений и каналов связи и обоснование принципиальной возможности кодирования и декодирования сообщения, которые обеспечивают предельно допустимую скорость передачи сообщений по каналу связи как при отсутствии, так и при наличии помех.
Прикладные результаты приводятся здесь только для пояснения основ теории. При более широкой трактовке теории информации результаты рассмотрения указанных вопросов составляют её основу, при этом расширяя и углубляя их. Так если, рассмотрение связано с приложением теории информации в технике связи - рассмотрением проблемы разработки конкретных методов и средств кодирования сообщений, то совокупность излагаемых вопросов называют теорией информации и кодирования или прикладной теорией информации.
Другая точка зрения состоит в том, что глобальной проблемой теории информации следует считать разработку принципов оптимизации информационных систем в целом. В этом случае к ней относят все локальные проблемы информационных систем, включая, например, проблему оптимального приема и др.
В соответствии с третьей крайней точкой зрения к компетенции теории информации относят все проблемы и задачи, в формулировку которых входит понятие информации. Её предметом считают изучение процессов, связанных с получением, передачей, хранением, обработкой и использованием информации. В такой постановке она затрагивает проблемы многих наук (в частности, кибернетики, биологии, психологии, лингвистики, педагогики) на всех трех уровнях: синтаксическом, семантическом и прагматическом.
Попытки широкого использования идей теории информации в различных областях науки связаны с тем, что в основе своей эта теория математическая. Основные её понятия (энтропия, количество информации, пропускная способность) определяются только через вероятности событий, которым может быть приписано самое различное физическое содержание. Подход к исследованиям в других областях науки с позиции использования основных идей теории информации получил название теоретико-информационного подхода. Его применение в ряде случаев позволило получить новые теоретические результаты и ценные практические рекомендации. Однако нередко такой подход приводит к созданию моделей процессов, далеко не адекватных реальной действительности. Поэтому в любых исследованиях, выходящих за рамки чисто технических проблем передачи и хранения сообщений, теорией информации следует пользоваться с большой осторожностью. Особенно это касается моделирования умственной деятельности человека, процессов восприятия и обработки им информации.