- •1. Теория информации – дочерняя наука кибернетики.
- •2. Что такое информация. Свойства информации. Этапы обращения информации. Информационные системы. Что такое информация
- •Свойства информации
- •Этапы обращения информации
- •Информационные системы
- •3. Система передачи информации.
- •4. Виды информации
- •5. Задачи и постулаты прикладной теории информации.
- •6. Количественная оценка информации
- •7. Что такое канал связи. Шум в канале связи Канал связи
- •Шум в канале связи
- •8. Кодирование информации. Код. Способы кодирования. Кодирование текстовой, графической, звуковой информации.
- •Кодирование текстовой информации.
- •Кодирование графической информации.
- •Кодирование звуковой информации.
- •9. Принципы хранения, измерения, обработки и передачи информации.
- •10. Информация в материальном мире, информация в живой природе, информация в человеческом обществе, информация в науке, классификация информации. Информация в материальном мире
- •Информация в живой природе
- •Информация в человеческом обществе
- •Информация в науке
- •Классификация информации
- •11. Информатика, история информатики.
- •История информатики
- •12. Измерение количества информации. Подходы к измерению информации.
- •13. Единицы измерения информации, носитель информации
- •14. Передача информации, скорость передачи информации.
- •15. Экспертные системы. Назначение экспертных систем.
- •Назначение экспертных систем
- •16. Классификация экспертных систем.
- •17. Представление знаний в экспертных системах.
- •18. Методы поиска решений в экспертных системах.
- •19. Вероятностный подход к измерению дискретной и непрерывной информации.
- •20. Информация Фишера.
- •21. Теорема отсчетов Котельникова или Найквиста-Шеннона.
- •22. Математическая модель системы передачи информации
- •23. Энтропия. Виды энтропии. Условная энтропия.
- •24. Энтропия. Виды энтропии. Взаимная энтропия.
- •25. Энтропия. Виды энтропии. B-арная энтропия
- •26. Энтропийное кодирование.
- •27. Пропускная способность дискретного канала.
- •28. Интерполяционная формула Уиттекера-Шеннона
- •29. Частота Найквиста.
- •30. Семантика. Семантическая модель.
- •31. Семантика естественных и формальных языков. Семантическая информация.
- •32. Формула Шеннона.
- •33. Теория вероятности. Основные понятия.
- •34. Дисперсия случайной величины.
- •35. Теорема Муавра-Лапласа.
- •36. Экстраполятор нулевого порядка. Экстраполятор первого порядка
- •37. Передискретизация. Децимация.
- •38. Закон распределения вероятностей.
- •39. Простейшие алгоритмы сжатия информации
- •40. Методы Лемпела-Зива
- •41. Особенности программ архиваторов.
- •42. Применение алгоритмов кодирования в архиваторах
- •43. Принципы сжатия данных
- •44. Характеристики алгоритмов сжатия и их применимость Коэффициент сжатия
- •Системные требования алгоритмов
- •45. Коэффициент сжатия, допустимость потерь.
- •Допустимость потерь
- •46. Алгоритмы сжатия данных неизвестного формата.
- •47. Помехоустойчивое кодирование.
- •48. Линейные блочные коды.
- •49. Адаптивное арифметическое кодирование.
- •50. Полиномиальные коды.
- •51. Цифровое кодирование, аналоговое кодирование,
- •52. Дельта-кодирование.
- •53. Таблично-символьное кодирование
- •54. Числовое кодирование.
- •55. Сетевое кодирование
- •56. Кодирование Хаффмена.
- •57. Кодирование и декодирование информации
- •58. Понятие криптографии. Различные методы криптографии
- •59. Методы шифрования.
- •60. Криптография с симметричным ключом, с открытым ключом.
- •61. Криптоанализ, управление ключами.
- •62.Криптографические протоколы, Криптографические примитивы
- •Примечания:
33. Теория вероятности. Основные понятия.
Теория вероятностей – математическая наука, изучающая закономерности в случайных явлениях. Одним из основных понятий теории вероятностей является понятие случайного события (или просто события).
Событием называется любой факт, который в результате опыта может произойти или не произойти. Примеры случайных событий: выпадение шестерки при подбрасывании игральной кости, отказ технического устройства, искажение сообщения при передаче его по каналу связи. С событиями связываются некоторые числа, характеризующие степень объективной возможности появления этих событий, называемые вероятностями событий.
К понятию «вероятность» существует несколько подходов.
Современное построение теории вероятностей основывается на аксиоматическом подходе и опирается на элементарные понятия теории множеств. Такой подход называется теоретико-множественным.
Пусть производится
некоторый опыт со случайным исходом.
Рассмотрим множество W всех возможных
исходов опыта; каждый его элемент
будем
называть элементарным событием, а
множество Ω – пространством
элементарных событий. Любое событие A в
теоретико-множественной трактовке есть
некоторое подмножество множества Ω:
.
Достоверным называется событие W, которое происходит в каждом опыте.
Невозможным называется событие Æ, которое в результате опыта произойти не может.
Несовместными называются события, которые в одном опыте не могут произойти одновременно.
Суммой (объединением) двух событий A и B (обозначается A+B, AÈB) называется такое событие, которое заключается в том, что происходит хотя бы одно из событий, т.е. A или B, или оба одновременно.
Произведением (пересечением) двух событий A и B (обозначается A×B, AÇB) называется такое событие, которое заключается в том, что происходят оба события A и B вместе.
Противоположным к
событию A называется такое
событие
,
которое заключается в том, что событие A не
происходит.
События Ak (k=1, 2, ..., n) образуют полную группу, если они попарно несовместны и в сумме образуют достоверное событие.
34. Дисперсия случайной величины.
Дисперсия
случайной величины — мера
разброса данной случайной
величины, то есть её
отклонения от математического
ожидания. Обозначается
в
русской литературе и
(англ. variance)
в зарубежной. В статистике часто
употребляется обозначение
или
.
Квадратный корень из дисперсии, равный
,
называется среднеквадрати́чным
отклоне́нием, станда́ртным
отклоне́нием или
стандартным разбросом. Стандартное
отклонение измеряется в тех же единицах,
что и сама случайная величина, а дисперсия
измеряется в квадратах этой единицы
измерения.
Из неравенства Чебышева следует, что вероятность того, что случайная величина отстоит от своего математического ожидания более чем на k стандартных отклонения, составляет менее 1/k². Так, например, как минимум в 95 % случаев случайная величина удалена от её среднего не более чем на два стандартных отклонения, а в примерно 99,7 % — не более чем на три.
Пусть
—
случайная величина, определённая на
некотором вероятностном
пространстве. Тогда
где
символ
обозначает математическое
ожидание.
