- •1. Мера информации предложенная автором теории информации Клодом Шенноном:
- •1.2 Аддитивная мера количества информации, ее связь с мерой к. Шеннона и сфера применения.
- •2. Роль, виды и критерии квантования (дискретизации) непрерывных сигналов.
- •2.1. Виды дискретизации (квантования)
- •2.2. Критерии точности представления квантованного сигнала
- •3. Формулировка теоремы Найквиста-Котельникова и ее ограничения.
- •4. Теорема о минимальной средней длине кодового слова.
- •5. Назначение и порядок построения оптимальных кодов Шеннона-Фэно и Хаффмена. Коды Хаффмена
- •Коды Шеннона−Фэно:
- •6. Кодирование информации. Равномерные и неравномерные коды. Двоичное кодирование.
- •7. Общие принципы использования избыточности при построении помехоустойчивых кодов
- •Принципы помехоустойчивого кодирования
- •8. Основная теорема Шеннона для дискретных каналов с шумом.
- •9. Пропускная способность непрерывного канала с аддитивным шумом.
- •10. Состав современного пк. Назвачение. Состав компьютерной системы
- •11. Микропроцессоры. Назвачение, типы . Основные характеристики.
- •1. Оперативная память
- •3. Специальная память
- •4. Видеопамять
- •12. Понятие и основные свойства алгоритма. Способы описания алгоритмов. Стандарты для изображения блок-схем алгоритмов.
- •Блок-схемы:
- •13. Отличительные особенности эвм различных поколений. Первое поколение эвм (1948 — 1958 гг.)
- •Второе поколение эвм (1959 — 1967 гг.)
- •Третье поколение эвм (1968 — 1973 гг.)
- •Четвертое поколение эвм (1974 — 1982 гг.)
- •14. Основные характеристики эвм.
- •15. Архитектурные особенности четвёртого поколения эвм.
- •16. Назначение и характеристики системы прерываний. Порядок обработки прерывания.
- •Характеристики системы прерываний:
- •17. Иерархическая структура памяти эвм. Назначение.
- •18. Концепция виртуальной памяти и методы её реализации.
- •19. Многопроцессорные вычислительные системы.
- •20. Типовые структуры многопроцессорных систем.
- •21. Многомашинные вычислительные системы:
- •22. Организация параллельных вычислений в современных компьютерах.
- •23. Risc и cisc архитектуры.
- •24. Принципы построения ос.
- •25. Задачи ос по управлению файлами и устройствами.
- •26. Классификация ос.
- •27. Функция ос.
- •28. Базовые технологии безопасности ос.
- •29. Поколение ос.
- •30. Свопинг и виртуальная память
- •31. Задачи файловой системы в ос.
- •32. Типы структур файловой системы:
- •33. Физическая организация фс. (Файловой системы)
- •34. Классификация компьютерных сетей:
- •35. Эталонная модель взаимодействия открытых систем osi.
- •Распределенные системы обработки данных
- •В модели osi средства взаимодействия делятся на семь уровней:
- •Уровни модели osi Физический уровень.
- •Канальный уровень.
- •Сетевой уровень.
- •36. Характеристика методов доступа к передающей среде в компьютерных сетях.
- •37. Характеристика спутниковых сетей связи.
- •38. Маршрутизация пакетов в сетях.
- •39. Коммутация пакетов в сетях.
- •Процесс передачи данных в сети с коммутацией пакетов
- •Методы пакетной коммутации
- •Дейтаграммный метод
- •Виртуальный метод
- •41. Характеристики и области применения цифровых сетей с isdn
- •42. Характеристика и области применения сетей атм.
- •43. Характеристика и области применения локальных компьютерных сетей.
- •44. Топология локальных сетей. Основные топологии. Преимущества и недостатки.
- •45. Архитектуры файл-сейрвер и клиент-сервер локальных сетей.
- •46. Типовая структура глобальных компьютерных сетей.
- •47. Типы глобальных компьютерных сетей
- •48. Корпоративные компьютерные сети: характеристики и функции.
- •49. Протоколы семейства tcp/ip.
- •50. Понятия: протокол, интерфейс, стек протоколов, спецификации.
- •51. Назначение и классификация интерфейсов.
- •52. Пользовательский интерфейс.
- •54. Программный интерфейс.
- •55. Аппаратный интерфейс.
- •56. Системные и периферийные интерфейсы.
- •57. Сетевые интерфейсы и протоколы.
- •58. Мультиплексный режим передачи данных.
- •59. Способы доступа к удаленным ресурсам.
- •Служба общего доступа (sharing)
1. Мера информации предложенная автором теории информации Клодом Шенноном:
Мера информации, предложенная автором теории информации Клодом Шенноном, и ее экстремальные свойства.
Существует несколько видов статистических мер информации. В дальнейшем будем рассматривать только одну их них ─ меру Шеннона. Мера Шеннона количества информации тесно связана с понятием неопределенности ситуации ─ энтропии ─ и равна уменьшению этой неопределенности после получения сообщения, т.е. разности априорной (до получения сообщения) и апостериорной (после получения сообщения) энтропии.
Если произошло событие (например вы получили сообщение), в результате чего неопределенность была полностью снята, априорная вероятность возникновения которого Р, количество информации по Шеннону, которое вы при этом получаете, равно
I = - log2 P
Если же событие не произошло, но вам известна вероятность его появления, вы имеете дело с неопределенностью в отношении этого события - энтропией, которая вычисляется по аналогичной формуле:
H = - log2 P
В зависимости от происхождения и, соответственно, смысла, который вкладывается в вероятность, которая используется для вычисления количества информации и энтропии, меняется смысл получаемой информации и энтропии. Если же после получения сообщения неопределенность снимается не полностью, количество информации измеряется как разность между априорной энтропией (неопределенностью до получения сообщения) и апостериорной энтропией (неопределенностью после получения сообщения):
I = Наприорная - Напостериорная .
Надо при этом иметь в виду, что как информация, так и энтропия ─ понятия относительные и имеют смысл по отношению к некоторым определенным событиям, вероятности которых используются в соответствующих формулах.
1.2 Аддитивная мера количества информации, ее связь с мерой к. Шеннона и сфера применения.
Аддитивную меру можно рассматривать как более удобную для ряда применений комбинаторную меру. Наши интуитивные представления об информации предполагают, чтобы количество информации увеличивалось приблизительно объему сообщения и объему используемого при этом алфавита. Ни геометрическая, ни комбинаторная меры этим свойством не обладают. Геометрическая мера вообще не учитывает свойства алфавита, объем же информации в случае комбинаторной меры растет не прямо пропорционально размеру сообщения, а по закону геометрической прогрессии. Например, если сообщение представлено не одной, а двумя перфокартами ─ число возможных комбинаций возрастет в 2800 раз и станет равным 21600.
В 1929 году Хартли была предложена аддитивная мера. Словом аддитивность (суммируемость) здесь подчеркивается важное свойство этой меры, заключающееся в том, что измеренное при ее помощи количество информации в совокупности нескольких сообщений равно сумме количеств информации в каждом из сообщений в отдельности.
Количество информации по Хартли измеряется в битах (binary digit) и вычисляется как двоичный логарифм от числа состояний в котором может находиться сообщение или его источник.
Вернемся к нашему примеру с перфокартой. Каждая позиция на поверхности перфокарты может находиться в двух состояниях ─ с отверстием и без него. Таких позиций 800. Следовательно перфокарта может находиться в 2800 состояниях. Количество информации по Хартли в этом случае равно Ih =log22800=800 бит.
Две перфокарты будут иметь в совокупности 21600 состояний, что соответствует 1600 битам информации, т.е. количество информации по Хартли в двух перфокартах 2 два раза больше, чем в одной. Это соответствует принципу аддитивности (сложения).
Аддитивная мера проста и удобна для многих приложений, в частности, она широко используется в вычислительной технике, однако не отражает нашего интуитивного представления о связи количества информации со степенью неожиданности появления того или иного сообщения. Ведь обычно мы считаем, что в редких и неожиданных, т.е. маловероятных сообщениях, заключено больше информации.
Таким образом, более совершенная, отвечающая нашим интуитивным представлениям об информации мера информации должна быть связана с вероятностью появления сообщения, что и имеет место в статистических мерах информации.