
- •1. Теория информации – дочерняя наука кибернетики.
- •2. Что такое информация. Свойства информации. Этапы обращения информации. Информационные системы. Что такое информация
- •Свойства информации
- •Этапы обращения информации
- •Информационные системы
- •3. Система передачи информации.
- •4. Виды информации
- •5. Задачи и постулаты прикладной теории информации.
- •6. Количественная оценка информации
- •7. Что такое канал связи. Шум в канале связи Канал связи
- •Шум в канале связи
- •8. Кодирование информации. Код. Способы кодирования. Кодирование текстовой, графической, звуковой информации.
- •Кодирование текстовой информации.
- •Кодирование графической информации.
- •Кодирование звуковой информации.
- •9. Принципы хранения, измерения, обработки и передачи информации.
- •10. Информация в материальном мире, информация в живой природе, информация в человеческом обществе, информация в науке, классификация информации. Информация в материальном мире
- •Информация в живой природе
- •Информация в человеческом обществе
- •Информация в науке
- •Классификация информации
- •11. Информатика, история информатики.
- •История информатики
- •12. Измерение количества информации. Подходы к измерению информации.
- •13. Единицы измерения информации, носитель информации
- •14. Передача информации, скорость передачи информации.
- •15. Экспертные системы. Назначение экспертных систем.
- •Назначение экспертных систем
- •16. Классификация экспертных систем.
- •17. Представление знаний в экспертных системах.
- •18. Методы поиска решений в экспертных системах.
- •19. Вероятностный подход к измерению дискретной и непрерывной информации.
- •20. Информация Фишера.
- •21. Теорема отсчетов Котельникова или Найквиста-Шеннона.
- •22. Математическая модель системы передачи информации
- •23. Энтропия. Виды энтропии. Условная энтропия.
- •24. Энтропия. Виды энтропии. Взаимная энтропия.
- •25. Энтропия. Виды энтропии. B-арная энтропия
- •26. Энтропийное кодирование.
- •27. Пропускная способность дискретного канала.
- •28. Интерполяционная формула Уиттекера-Шеннона
- •29. Частота Найквиста.
- •30. Семантика. Семантическая модель.
- •31. Семантика естественных и формальных языков. Семантическая информация.
- •32. Формула Шеннона.
- •33. Теория вероятности. Основные понятия.
- •34. Дисперсия случайной величины.
- •35. Теорема Муавра-Лапласа.
- •36. Экстраполятор нулевого порядка. Экстраполятор первого порядка
- •37. Передискретизация. Децимация.
- •38. Закон распределения вероятностей.
- •39. Простейшие алгоритмы сжатия информации
- •40. Методы Лемпела-Зива
- •41. Особенности программ архиваторов.
- •42. Применение алгоритмов кодирования в архиваторах
- •43. Принципы сжатия данных
- •44. Характеристики алгоритмов сжатия и их применимость Коэффициент сжатия
- •Системные требования алгоритмов
- •45. Коэффициент сжатия, допустимость потерь.
- •Допустимость потерь
- •46. Алгоритмы сжатия данных неизвестного формата.
- •47. Помехоустойчивое кодирование.
- •48. Линейные блочные коды.
- •49. Адаптивное арифметическое кодирование.
- •50. Полиномиальные коды.
- •51. Цифровое кодирование, аналоговое кодирование,
- •52. Дельта-кодирование.
- •53. Таблично-символьное кодирование
- •54. Числовое кодирование.
- •55. Сетевое кодирование
- •56. Кодирование Хаффмена.
- •57. Кодирование и декодирование информации
- •58. Понятие криптографии. Различные методы криптографии
- •59. Методы шифрования.
- •60. Криптография с симметричным ключом, с открытым ключом.
- •61. Криптоанализ, управление ключами.
- •62.Криптографические протоколы, Криптографические примитивы
- •Примечания:
27. Пропускная способность дискретного канала.
Математически
канал задается множеством допустимых
сообщений на входе, множеством допустимых
сообщений на выходе и набором условных
вероятностей
получения
сигнала
на
выходе при входном сигнале
.
Условные вероятности описывают
статистические свойства "шумов"
(или помех), искажающих сигнал в процессе
передачи. В случае, когда
при
и
при
,
канал называется каналом без
"шумов". В соответствии со
структурой входных и выходных сигналов
выделяют дискретные и непрерывные
каналы. В дискретных каналах сигналы
на входе и выходе представляют собой
последовательность символов одного
или двух (по одному для входа и
выхода) алфавитов. В непрерывных
каналах входной и выходной
сигналы представляют собой функции от
непрерывного параметра-времени. Бывают
также смешанные или гибридные каналы,
но тогда обычно рассматривают их
дискретные и непрерывные компоненты
раздельно. Далее рассматриваются только
дискретные каналы.
Способность
канала передавать информацию
характеризуется числом - пропускной
способностью или емкостью
канала (обозначение -
).
Для случая канала без шума формула расчета емкости канала имеет вид
где
-
число всех возможных сигналов за время
.
Наибольшая возможная в данном канале скорость передачи информации называется его пропускной способностью. Пропускная способность канала есть скорость передачи информации при использовании «наилучших» (оптимальных) для данного канала источника, кодера и декодера, поэтому она характеризует только канал.
Пропускная способность дискретного (цифрового) канала без помех
C = log(m) бит/символ
где m — основание кода сигнала, используемого в канале. Скорость передачи информации в дискретном канале без шумов (идеальном канале) равна его пропускной способности, когда символы в канале независимы, а все m символов алфавита равновероятны (используются одинаково часто).
28. Интерполяционная формула Уиттекера-Шеннона
Интерполяционная формула Уиттекера — Шеннона служит для восстановления непрерывного сигнала с ограниченным спектром из последовательности равноотстоящих отсчётов.
Интерполяционная формула, как её обычно называют, восходит к работе Эмиля Бореля, датированной 1898 годом, и к работе Эдмунда Уиттекера, датированной 1915 годом. Интерполяционная формула была процитирована из работы сына Эдмунда Уиттекера — Джона Макнагтена Уиттекера, датированной 1935 годом, в виде теоремы отсчётов Найквиста — Шеннона в 1949 году, автором редакции был Клод Шеннон, до Шеннона данную теорему сформулировал Котельников. Также интерполяционную формулу обычно называют интерполяционной формулой Шеннона, или интерполяционной формулой Уиттекера.
Теорема
отсчётов гласит, что
при некоторых ограничивающих
условиях, функция
может
быть восстановлена из её дискретизации,
,
согласно интерполяционной формуле
Уиттекера — Шеннона:
где
—
период дискретизации,
—
частота дискретизации,
—
нормализированная sinc-функция.
Есть два
граничных условия, которым должна
удовлетворить функция
,
для того чтобы выполнялась интерполяционная
формула:
должно
быть ограничено. Преобразование
Фурье для функции
должно
обладать следующим свойством:
для
,
где
.
Частота
дискретизации
должна
в два раза превышать диапазон частот,
,
или что эквивалентно:
где
—
период дискретизации.
Интерполяционная формула воссоздаёт оригинальный сигнал , только тогда, когда эти два условия будут выполнены. В противном случае возникает наложение высокочастотных компонентов на низкочастотные — алиасинг.