Вопрос №2. Теоретическая информатика и её состав.

Теоретическая информатика - это теоретическая наука, которая первоначально называлась теоретической кибернетикой или математической кибернетикой.

Её цель- математическими методами изучать различные информационные процессы, она во многом опирается на дискретную математику.

Разделы теоретической информатики:

1)группы дисциплин, связанных с математической логикой:

{*теория алгоритмов *теория параллельных вычислений}- моделируют обработку информации.,

{*теория автоматов *теория сетей Петри}- изучают процессы работы самого компьютера.

Теория автоматов рассматривает какие-то автоматические процессы. Теория сетей Петри- раздел, изучающий прохождение параллельных сетей.

2)Дисциплины которые помогают готовить задачи для вычисления их на компьютере:

*вычислительная математика

*выч. геометрия.

3)Теория информации(науки изучающие абстрактную информацию, законы её хранения, получения). *теория кодирования(влияние шумов)

*коды Хеменга.

4)Науки занимающиеся различными системами:

*системный анализ

* системное моделирование

*система массового обслуживания.

5)Науки направленные на принятие решений в той или иной обстановке

*теория игр

*математическая или линейная программирование (оптимальное планирование).

*исследование операций(процессы выполняются многократно).

*теория коллективного поведения(процессы управления.

Вопрос 3

Возникла теория информации в 40-х годах 20 века. Основатель американский инженер Шеннон.

Суть теории: изучение информационных процессов с абстракционной информацией, лишенной какого-либо смысла. Появляется возможность объективного измерения информации.

Шеннон придумал как измерять информацию.

Хартли – ссылался на Шеннона, рассматривая события с равновероятным исходом(частный случай)

Идея Шеннона базируется на основах физики (опирался на Больцмана ), связанные с энтропией.

Опыт: есть событие и у него n различных исходов. Попробуем построить ф-ию f(n), которая описывает неопределенность такого события (неопределенность наших знаний) .

Свойство №1: n=1¸ событие всего имеет 1 исход - нет никаких неопределенностей f(1)=0

Свойство №2: с ростом n функция f(n) должна расти, по крайней мере не убывать.

Свойство №3: пусть событие составное x и y, пусть число исходов события nx и ny

свойство аддитивности (сложить) f(nx*ny)=f(nx)+f(ny). Два события с n исходами.

Свойство №4: если все исходы равновероятны, то значение f, (неопределенность) максимальна.

ф-ия f будет максимальна для равновероятных событий. 0<=f(n)<=fmax

Единственная ф-ия которая удовлетворяет этому условию- логарифм: f(n)=log_an

За основание выберем 2 исхода, т.е. n=2, т.е. f(2)=1; log₂2=1; то a=2;

Еденица измерения неопределенности при 2-х возможных равновероятных исходах опыта называется – бит.

Эта формула по аналогии с физикой называется энтропией (n=h): формула Хартли предложена 1928г. H=log₂n Формула Хартли справедлива только для равновероятных событий.