Теория информации. Лекция 1.(14.02.12)
Кибернетика – совокупность законов и направленных действий, наука об управлении.
Информация – атрибут, совокупность сведений, необходимых для обеспечения целенаправленных действий во всех сферах человеческой деятельности.
Любое управление – информационный процесс.
Подходы:
Философский
Управленческий
Технический
Правовой
Информация – сведений и данные вне зависимости от формы их представления
Информатика – научно – техническое направление/отрасль знаний, предметом которого является системное изучение информации в интересах информационного обеспечения деятельности общества.
Информатизация – процесс практической реализации достижения информатики.
Жизненный цикл информации
Получение->Передача->Хранение->Преобразование/Обработка->Использование
Подходы к определению количества информации:
Статистический (оценка с точки зрения меры неопределенности, при этом не затрагивается сам смысл информации)
Семантический (учет целостности/полезности информации(важен процесс старения))
Структурный (для сравнения берутся элементарные структурные единицы, считается их сумма)
Лекция №2. (21.02.12)
Пусть в алфавите m символов, n длина сообщения.
N=
– размер сообщения.
Хартли
: I
=
– количество информации
I
=
=
=
– формула Хартли,
первая формула теории информации, 1928
год.
При
m=2
I=
=
1
бит информации
!!! Символы в алфавите должны быть равновероятны!!!
I= [Хартли]= [Нат]
Если буквы в алфавите не равновероятны, то формула Хартли неприменима.
1946 г. Шеннон:
Если
символы равновероятны : I
=
I
=
– формула Шеннона
H(A)
– энтропия
– количество информации на 1 символ,
если в алфавите m
символов и k-й
символ появляется вероятностью
.
Формула
Шеннона – обобщение формулы Хартли.
Энтропия – мера неопределенности в поведении источников или численно количество информации, которую переносит один символ при неравновероятном появлении символов.
Свойства энтропии:
Неотрицательна (H(A)=0
Максимальна, когда
Условная
вероятность : вероятность того, что за
последует
:
.
Условная энтропия:
H(A/
)
=
Среднее количество информации, переносимое одним символом при условии ??? связей.
Коэффициент
избыточности
-
максимальное количество информации,
-
количество информации с учетом связей
Для
европейских языков r
0.5
– производительность
источника, бит/с.
H*W= R – скорость передачи информации
W- скорость образования символов, Max R – пропускная способность канала.
Основная задача – согласовать пропускную способность канала и производительность источника.
Процесс передачи информации
Источник => посл. символов=> Передатчик => сигнал=> Канал связи + помехи => Приемник => Потребитель
Канал - совокупность средств обеспечения передачи электрических сигналов от источника сообщения к отправителю.
Помехи искажаются сигнал – а значит принятое сообщение как правило отличается от сигнала. Помехоустойчивость системы - способность передавать информацию с заданной вероятностью при воздействии помех.
Степень соответствия – критерий вероятности
X(t)->Y(t): Y(t) = X(t) + e(t) <= помеха