- •1. Теория информации – дочерняя наука кибернетики.
- •2. Что такое информация. Свойства информации. Этапы обращения информации. Информационные системы. Что такое информация
- •Свойства информации
- •Этапы обращения информации
- •Информационные системы
- •3. Система передачи информации.
- •4. Виды информации
- •5. Задачи и постулаты прикладной теории информации.
- •6. Количественная оценка информации
- •7. Что такое канал связи. Шум в канале связи Канал связи
- •Шум в канале связи
- •8. Кодирование информации. Код. Способы кодирования. Кодирование текстовой, графической, звуковой информации.
- •Кодирование текстовой информации.
- •Кодирование графической информации.
- •Кодирование звуковой информации.
- •9. Принципы хранения, измерения, обработки и передачи информации.
- •10. Информация в материальном мире, информация в живой природе, информация в человеческом обществе, информация в науке, классификация информации. Информация в материальном мире
- •Информация в живой природе
- •Информация в человеческом обществе
- •Информация в науке
- •Классификация информации
- •11. Информатика, история информатики.
- •История информатики
- •12. Измерение количества информации. Подходы к измерению информации.
- •13. Единицы измерения информации, носитель информации
- •14. Передача информации, скорость передачи информации.
- •15. Экспертные системы. Назначение экспертных систем.
- •Назначение экспертных систем
- •16. Классификация экспертных систем.
- •17. Представление знаний в экспертных системах.
- •18. Методы поиска решений в экспертных системах.
- •19. Вероятностный подход к измерению дискретной и непрерывной информации.
- •20. Информация Фишера.
- •21. Теорема отсчетов Котельникова или Найквиста-Шеннона.
- •22. Математическая модель системы передачи информации
- •23. Энтропия. Виды энтропии. Условная энтропия.
- •24. Энтропия. Виды энтропии. Взаимная энтропия.
- •25. Энтропия. Виды энтропии. B-арная энтропия
- •26. Энтропийное кодирование.
- •27. Пропускная способность дискретного канала.
- •28. Интерполяционная формула Уиттекера-Шеннона
- •29. Частота Найквиста.
- •30. Семантика. Семантическая модель.
- •31. Семантика естественных и формальных языков. Семантическая информация.
- •32. Формула Шеннона.
- •33. Теория вероятности. Основные понятия.
- •34. Дисперсия случайной величины.
- •35. Теорема Муавра-Лапласа.
- •36. Экстраполятор нулевого порядка. Экстраполятор первого порядка
- •37. Передискретизация. Децимация.
- •38. Закон распределения вероятностей.
- •39. Простейшие алгоритмы сжатия информации
- •40. Методы Лемпела-Зива
- •41. Особенности программ архиваторов.
- •42. Применение алгоритмов кодирования в архиваторах
- •43. Принципы сжатия данных
- •44. Характеристики алгоритмов сжатия и их применимость Коэффициент сжатия
- •Системные требования алгоритмов
- •45. Коэффициент сжатия, допустимость потерь.
- •Допустимость потерь
- •46. Алгоритмы сжатия данных неизвестного формата.
- •47. Помехоустойчивое кодирование.
- •48. Линейные блочные коды.
- •49. Адаптивное арифметическое кодирование.
- •50. Полиномиальные коды.
- •51. Цифровое кодирование, аналоговое кодирование,
- •52. Дельта-кодирование.
- •53. Таблично-символьное кодирование
- •54. Числовое кодирование.
- •55. Сетевое кодирование
- •56. Кодирование Хаффмена.
- •57. Кодирование и декодирование информации
- •58. Понятие криптографии. Различные методы криптографии
- •59. Методы шифрования.
- •60. Криптография с симметричным ключом, с открытым ключом.
- •61. Криптоанализ, управление ключами.
- •62.Криптографические протоколы, Криптографические примитивы
- •Примечания:
35. Теорема Муавра-Лапласа.
Теорема Муавра-Лапласа — одна из предельных теорем теории вероятностей, установлена Лапласом в 1812 году. Если при каждом из n независимых испытаний вероятность появления некоторого случайного события Е равна р (0<р<1) и m — число испытаний, в которых Е фактически наступает, то вероятность неравенства близка (при больших n) к значению интеграла Лапласа.
Используется в теории вероятностей.
При рассмотрении
количества
появлений
события
в
испытаниях
Бернулли чаще всего
нужно найти вероятность того,
что
заключено
между некоторыми значениями
и
.
Так как при достаточно
больших
промежуток
содержит
большое число единиц, то непосредственное
использование биномиального распределения
требует громоздких вычислений, так как нужно суммировать большое число определённых по этой формуле вероятностей.
Поэтому
используют асимптотическое выражение
для биномиального
распределения при
условии, что
фиксировано,
а
.
Теорема Муавра-Лапласа утверждает, что
таким асимптотическим выражением для
биномиального распределения является
нормальная функция.
36. Экстраполятор нулевого порядка. Экстраполятор первого порядка
Экстраполяция – это особый тип аппроксимации, при котором функция аппроксимируется вне заданного интервала, а не между заданными интервалами.
Иными
словами, экстраполяция —
приближённое определение значений
функции
в
точках
,
лежащих вне отрезка
,
по её значениям в точках
.
Аппроксимация - научный метод, состоящий в замене одних объектов другими, в том или ином смысле близкими к исходным, но более простыми.
Экстраполятор нулевого порядка — математическая модель, использующаяся при цифро-аналоговом преобразовании для восстановления дискретизованного сигнала в аналоговой форме.
Таким образом, экстраполятор нулевого порядка — это гипотетический электронный фильтр, преобразовывающий идеально оцифрованный сигнал в кусочно-постоянный сигнал
Амплитудно-фазовая частотная характеристика экстраполятора нулевого порядка — этопреобразование Фурье его импульсной передаточной функции:
Экстраполятор первого порядка — математическая модель для восстановления дискретизованного сигнала, которое может производиться обычным цифро-аналоговым преобразователем (который в данном случае выступает в качестве экстраполятора нулевого порядка) и аналоговой схемой (интегратором). В этом случае сигнал восстанавливается в виде кусочно-линейной аппроксимации изначально оцифрованного сигнала. По сравнению с экстраполятором нулевого порядка экстраполятор первого порядка в общем случае имеет меньший шум квантования и, следовательно, более точно восстанавливает сигнал.
37. Передискретизация. Децимация.
Передискретизация (англ. resampling) в обработке сигналов — изменение частоты дискретизации дискретного (чаще всего цифрового) сигнала. Алгоритмы передискретизации широко применяются при обработкезвуковых сигналов, радиосигналов и изображений (передискретизациярастрового изображения — это изменение его разрешения в пикселах).
Отсчёты сигнала, соответствующие новой частоте дискретизации, вычисляются по уже имеющимся отсчётам и не содержат новой информации.
Повышение частоты дискретизации называется интерполяцией, понижение — децимацией.
Согласно теореме
Котельникова любой
непрерывный сигнал с финитнымспектром (то
есть таким спектром, в котором спектральные
составляющие, соответствующие частотам выше
или равным некоторой частоты
,
отсутствуют) может быть представлен в
виде отсчётов дискретного
сигналас частотой
дискретизации
.
При этом такое преобразование
является взаимно
однозначным, то есть при
соблюдении условий теоремы Котельникова
по дискретному сигналу можно восстановить
исходный сигнал с финитным спектром
без искажений.[2]
При передискретизации отсчёты сигнала, соответствующие одной частоте дискретизации, вычисляются по имеющимся отсчётам этого же сигнала, соответствующим другой частоте дискретизации (при этом предполагается, что обе частоты дискретизации соответствуют условиям теоремы Котельникова). Идеальная передискретизация эквивалентна восстановлению непрерывного сигнала по его отсчётам с последующей дискретизацией его на новой частоте.
Точное вычисление значения исходного непрерывного сигнала в определённой точке производится следующим образом:
где
—
i-й отсчёт сигнала,
—
момент времени, соответствующий этому
отсчёту,
— циклическая
частотадискретизации,
—
интерполированное значение сигнала в
момент времени
.
Функция
не
является финитной,
поэтому для вычисления значения сигнала
в определённый момент времени с помощью
вышеприведённого выражения необходимо
обработать бесконечное число его
отсчётов (как в прошлом, так и в будущем),
что нереализуемо на практике. В реальной
жизни интерполяция осуществляется с
помощью других фильтров,
при этом выражение для неё принимает
следующий вид:
где
— импульсная
характеристика соответствующего восстанавливающего
фильтра. Вид этого фильтра
выбирается в зависимости от задачи.
Прямое вычисление новых отсчётов сигнала по вышеприведённым формулам требует значительных вычислительных ресурсов и нежелательно для приложений реального времени. Существуют важные частные случаи передискретизации, для которых вычисление новых отсчётов производится проще:
децимация с целым коэффициентом (уменьшение частоты дискретизации в целое число раз);
интерполяция с целым коэффициентом (увеличение частоты дискретизации в целое число раз);
изменение частоты дискретизации в рациональное (
)
число раз (этот случай можно рассматривать
как комбинацию двух предыдущих).
