34. Описание синтаксиса языка с помощью синтаксических диаграмм и бнф. Примеры.

Для описания синтаксиса языков программирования используются в основном два средства:

1. БНФ (Бэкуса-Науэра формы)

2. Синтаксические диаграммы

В БНФ все нетерминальные символы заключаются в <>

::= - это есть

| - или

[] - может быть или не быть

{} - может быть 0 и более раз

Пример: <условный оператор>::=if <условие> then <оператор> [else <оператор>]

<идентификатор>::=<буква>{<буква>|<цифра>}

<цифра>::=0|1|2|3|4|5|6|7|8|9

<буква>::=A|B|C|D|…|X|Y|Z

Комбинация знаков |,{},[] вместе с различными строками – металингвистические формулы.

Синтаксические диаграммы Вирта.

Каждому правилу, задающему конструкцию языка, ставится в соответствие одна диаграмма. Диаграмма является изображением ориентированного графа, вершины которого соответствуют символам правой части правила.

Вершины графа – кружочки (овалы) или прямоугольники. Прямоугольники – нетерминальные символы, кружок – терминальный.

Пример (про идентификатор или вот такой, например)

Пример из лабораторной:

<арифметическое выражение>::=<унарная операция><операнд>|<><бинарная операция>< операнд >|<операнд >

< унарная операция >::=+|-

< бинарная операция >::=+|-|*|/|div|mod

< операнд >::=<константа>|<переменная>|<вызов функции>|(<арифметическое выражение>)|<арифметическое выражение>

35. Основы теории информации. Понятие энтропии. Измерение информации: вероятностный и алфавитный подходы.

Субъективный подход.

Сообщение информативно для конкретного индивида, если выполняются два условия:

1. Оно новое.

2. Оно понятное

Объективный подход

Передается последовательность из N символов a₁ , a₂ … a_n . Каждый символ взят из алфавита А_m, содержащего m символов. k – количество различных последовательностей.

I – количество информации

Формула Хартли: I=log₂k

k=mⁿ => I=n log₂m

log₂m – информационный вес одного символа. В двоичном алфавите – 1 бит.

Информационная энтропия – мера неопределенности состояния некоторой случайной величины (физической системы) со счетным числом состояний.

Пусть х – случайная величина. х₁ , х_{2 …} х_n – ее возможные различные состояния.

Если все значения равновероятны, то энтропия равна H(x)=log₂N

1 бит информации – количество информации в сообщении, уменьшающем неопределенность знаний в два раза.

Если случайная величина может находиться только в одном состоянии, то ее энтропия равно 0. Неопределенность системы тем выше, чем больше число ее возможных равновероятных состояний.

Максимум энтропии достигается в том случае, когда все события системы равновероятны.

Формула Шеннона

A_m – алфавит из m символов. p_i – вероятность появления i-го символа. 1 символ несет количество информации, равное (-log₂p_i)

На месте каждого символа в сообщении может стоять любой символ из исходного алфавита. Тогда количество информации, приходящейся на 1 символ сообщения равно среднему количеству информации по всем символам алфавита.

- формула Шеннона

Общее количество информации в сообщении из n символов - . В случае равновероятных событий формула преобразится в формулу Хартли.

Пусть х – случайная величина. х₁ , х_{2 …} х_m – ее возможные различные состояния с вероятностями p₁ , p_{2 …} p_m

Количество энтропии

Энтропия системы тем больше, чем менее отличаются вероятности ее состояний друг от друга.

Количество информации, приобретаемой при полном выяснении состояния системы, равно полной энтропии системы. Если после некоторого полученного сообщения неопределенность системы стала меньше, но не исчезла, то количество информации равно приращению энтропии.