- •1. Теория информации – дочерняя наука кибернетики.
- •2. Что такое информация. Свойства информации. Этапы обращения информации. Информационные системы. Что такое информация
- •Свойства информации
- •Этапы обращения информации
- •Информационные системы
- •3. Система передачи информации.
- •4. Виды информации
- •5. Задачи и постулаты прикладной теории информации.
- •6. Количественная оценка информации
- •7. Что такое канал связи. Шум в канале связи Канал связи
- •Шум в канале связи
- •8. Кодирование информации. Код. Способы кодирования. Кодирование текстовой, графической, звуковой информации.
- •Кодирование текстовой информации.
- •Кодирование графической информации.
- •Кодирование звуковой информации.
- •9. Принципы хранения, измерения, обработки и передачи информации.
- •10. Информация в материальном мире, информация в живой природе, информация в человеческом обществе, информация в науке, классификация информации. Информация в материальном мире
- •Информация в живой природе
- •Информация в человеческом обществе
- •Информация в науке
- •Классификация информации
- •11. Информатика, история информатики.
- •История информатики
- •12. Измерение количества информации. Подходы к измерению информации.
- •13. Единицы измерения информации, носитель информации
- •14. Передача информации, скорость передачи информации.
- •15. Экспертные системы. Назначение экспертных систем.
- •Назначение экспертных систем
- •16. Классификация экспертных систем.
- •17. Представление знаний в экспертных системах.
- •18. Методы поиска решений в экспертных системах.
- •19. Вероятностный подход к измерению дискретной и непрерывной информации.
- •20. Информация Фишера.
- •21. Теорема отсчетов Котельникова или Найквиста-Шеннона.
- •22. Математическая модель системы передачи информации
- •23. Энтропия. Виды энтропии. Условная энтропия.
- •24. Энтропия. Виды энтропии. Взаимная энтропия.
- •25. Энтропия. Виды энтропии. B-арная энтропия
- •26. Энтропийное кодирование.
- •27. Пропускная способность дискретного канала.
- •28. Интерполяционная формула Уиттекера-Шеннона
- •29. Частота Найквиста.
- •30. Семантика. Семантическая модель.
- •31. Семантика естественных и формальных языков. Семантическая информация.
- •32. Формула Шеннона.
- •33. Теория вероятности. Основные понятия.
- •34. Дисперсия случайной величины.
- •35. Теорема Муавра-Лапласа.
- •36. Экстраполятор нулевого порядка. Экстраполятор первого порядка
- •37. Передискретизация. Децимация.
- •38. Закон распределения вероятностей.
- •39. Простейшие алгоритмы сжатия информации
- •40. Методы Лемпела-Зива
- •41. Особенности программ архиваторов.
- •42. Применение алгоритмов кодирования в архиваторах
- •43. Принципы сжатия данных
- •44. Характеристики алгоритмов сжатия и их применимость Коэффициент сжатия
- •Системные требования алгоритмов
- •45. Коэффициент сжатия, допустимость потерь.
- •Допустимость потерь
- •46. Алгоритмы сжатия данных неизвестного формата.
- •47. Помехоустойчивое кодирование.
- •48. Линейные блочные коды.
- •49. Адаптивное арифметическое кодирование.
- •50. Полиномиальные коды.
- •51. Цифровое кодирование, аналоговое кодирование,
- •52. Дельта-кодирование.
- •53. Таблично-символьное кодирование
- •54. Числовое кодирование.
- •55. Сетевое кодирование
- •56. Кодирование Хаффмена.
- •57. Кодирование и декодирование информации
- •58. Понятие криптографии. Различные методы криптографии
- •59. Методы шифрования.
- •60. Криптография с симметричным ключом, с открытым ключом.
- •61. Криптоанализ, управление ключами.
- •62.Криптографические протоколы, Криптографические примитивы
- •Примечания:
Системные требования алгоритмов
Различные алгоритмы могут требовать различного количества ресурсов вычислительной системы, на которых они реализованы:
оперативной памяти (под промежуточные данные);
постоянной памяти (под код программы и константы);
процессорного времени.
В целом, эти требования зависят от сложности и «интеллектуальности» алгоритма. Общая тенденция такова: чем эффективнее и универсальнее алгоритм, тем большие требования к вычислительным ресурсам он предъявляет. Тем не менее, в специфических случаях простые и компактные алгоритмы могут работать не хуже сложных и универсальных. Системные требования определяют их потребительские качества: чем менее требователен алгоритм, тем на более простой, а следовательно, компактной, надёжной и дешёвой системе он может быть реализован.
Так как алгоритмы сжатия и восстановления работают в паре, имеет значение соотношение системных требований к ним. Нередко можно усложнив один алгоритм значительно упростить другой. Таким образом, возможны три варианта:
Алгоритм сжатия требует больших вычислительных ресурсов, нежели алгоритм восстановления.
Это наиболее распространённое соотношение, характерное для случаев, когда однократно сжатые данные будут использоваться многократно. В качестве примера можно привести цифровые аудио- и видеопроигрыватели.
Алгоритмы сжатия и восстановления требуют приблизительно равных вычислительных ресурсов.
Наиболее приемлемый вариант для линий связи, когда сжатие и восстановление происходит однократно на двух её концах (например, в цифровой телефонии).
Алгоритм сжатия существенно менее требователен, чем алгоритм восстановления.
Такая ситуация характерна для случаев, когда процедура сжатия реализуется простым, часто портативным устройством, для которого объём доступных ресурсов весьма критичен, например, космический аппарат или большая распределённая сеть датчиков. Это могут быть также данные, распаковка которых требуется в очень малом проценте случаев, например запись камер видеонаблюдения.
45. Коэффициент сжатия, допустимость потерь.
Коэффициент сжатия может быть как постоянным (некоторые алгоритмы сжатия звука, изображения и т. п., например А-закон, μ-закон, ADPCM, усечённое блочное кодирование), так и переменным. Во втором случае он может быть определён либо для каждого конкретного сообщения, либо оценён по некоторым критериям:
средний (обычно по некоторому тестовому набору данных);
максимальный (случай наилучшего сжатия);
минимальный (случай наихудшего сжатия);
или каким-либо другим. Коэффициент сжатия с потерями при этом сильно зависит от допустимой погрешности сжатия иликачества, которое обычно выступает как параметр алгоритма. В общем случае постоянный коэффициент сжатия способны обеспечить только методы сжатия данных с потерями.
Допустимость потерь
Основным критерием различия между алгоритмами сжатия является описанное выше наличие или отсутствие потерь. В общем случае алгоритмы сжатия без потерь универсальны в том смысле, что их применение безусловно возможно для данных любого типа, в то время как возможность применения сжатия с потерями должна быть обоснована. Для некоторых типов данных искажения не допустимы в принципе. В их числе
символические данные, изменение которых неминуемо приводит к изменению их семантики: программы и их исходные тексты, двоичные массивы и т. п.;
жизненно важные данные, изменения в которых могут привести к критическим ошибкам: например, получаемые с медицинской измерительной аппаратуры или контрольных приборов летательных, космических аппаратов и т. п.;
многократно подвергаемые сжатию и восстановлению промежуточные данные при многоэтапной обработке графических, звуковых и видеоданных.
