Измерение количества информации

Для измерения информации вводятся два параметра: количество информации I и объем данных Vд. Эти параметры имеют разные выражения и интерпретацию в зависимости от рассматриваемой формы адекватности. Каждой форме адекватности соответствует своя мера количества информации и объема данных.

Синтаксическая мера информации

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных Vд в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и, соответственно, меняется единица измерения данных: в двоичной системе счисления единица измерения - бит (bit - binary digit – двоичный разряд);

Примечание. В современных ЭВМ наряду с минимальной единицей измерения данных «бит» широко используется укрупненная единица измерения «байт», равная 8 бит, а в десятичной системе счисления единица измерения - дит (десятичный разряд).

Пример: Сообщение в двоичной системе в виде восьмиразрядного двоичного кода 10111011 имеет объем данных Vд = 8 бит.

Сообщение в десятичной системе в виде шестиразрядного числа 275903 имеет объем данных Vд = 6 дит.

Количество информации (I) - на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы). Получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы.

Рассмотрим это понятие. Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе (а). Мерой его неосведомленности о системе является функция H(a), которая в то же время служит и мерой неопределенности состояния системы. После получения некоторого сообщения b получатель приобрел некоторую дополнительную информацию Ib(a), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения b) неопределенность состояния системы стала Hb(a). Тогда количество информации Ib(a) о системе, полученной в сообщении b, определится как Ib(a)=H(a)-Hb(a), т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Если конечная неопределенность Hb(a) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации Ib(a)=H(a). Иными словами, энтропия системы H(a) может рассматриваться как мера недостающей информации.

Энтропия системы H(a), имеющая N возможных состояний, согласно формуле Шеннона, равна:

где Р_i - вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны Pi=1/N, ее энтропия определяется соотношением

Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения:

N=mⁿ,

где N -число всевозможных отображаемых состояний;

т - основание системы счисления (разнообразие символов, применяемых в алфавите);

п - число разрядов (символов) в сообщении.

Пример: По каналу связи передается n-разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N=mn, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет I=logN=logm (формула Хартли).

Если в качестве основания логарифма принять т, то I=n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I=V_д, полученных по каналу связи. Для неравновероятных состояний системы всегда I<V_д=n.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.

Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е. .

С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.

Семантическая мера информация

Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используется понятие тезаурус пользователя.

Тезаурус - это совокупность сведений, которыми располагает пользователь или система.

В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя S_p изменяется количество семантической информации I_c, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус.

Х арактер такой зависимости показан на рис.2.

Рассмотрим два предельных случая, когда количество семантической информации I_c равно 0: при S_p 0 пользователь не воспринимает, не понимает поступающую информацию; при Sp пользователь все знает, и поступающая информация ему не нужна. Максимальное количество семантической информации I_c потребитель приобретает при согласовании ее смыслового содержания S с воспринимаемой своим тезаурусом S_p (S_p = S_{p opt}), когда поступающая информация понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе) сведения. Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной.

Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным (семантический шум) для пользователя некомпетентного. При оценке семантического (содержательного) аспекта информации необходимо стремиться к согласованию величин S и S_p.

Относительной мерой количества семантической информации может служить коэффициент содержательности С, который определяется как отношение количества семантической информации к ее объему:

Прагматическая мера информации

Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе. Ценность информации целесообразно измерять в тех же самых единицах (или близких к ним), в которых измеряется целевая функция.

Пример: В экономической системе прагматические свойства (ценность) информации можно определить приростом экономического эффекта, достигнутым благодаря использованию этой информации для управления системой:

I_nb(g)=П(g /b)-П(g),

где I_nb(g) -ценность информационного сообщения b для системы управления g,

П(g) -априорный ожидаемый экономический эффект функционирования системы управления g;

П(g /b) - ожидаемый эффект функционирования системы g при условии, что для управления будет использована информация, содержащаяся в сообщении b.

 Вопросы для самоконтроля.

1) Дайте определение понятия «информация».

2) Перечислите свойства информации?

3) Как измерить количество информации?

4) Что такое информационная энтропия?

5) Что такое экономическая информация, назовите её особенности.

6) Какие системы классификации информации вы знаете?

7) По каким признакам можно классифицировать информацию в организации.

8) Что такое «регистрационное» и «классификационное кодирование».

Примеры тестовых заданий:

1) Формами адекватности экономической информации являются:

1. семантическая, синтаксическая, прагматическая

2. формальная, неформальная

3. объективная и субъективная

4. антропоцентрическая, недетерминированная, техноцентрическая

2)Прагматический аспект это характеристика информации с точки зрения её

1. смысла

2. количества

3. полезности

4. структуры

3)Семантическая (смысловая) адекватность информации отражает:

1. соответствие информации цели управления

2. степень соответствия образа объекта и самого объекта

3. полезность информации

4. все перечисленное верно

4)Синтаксическая адекватность информации отражает:

1. соответствие информации цели управления

2. степень соответствия образа объекта и самого объекта

3. полезность информации

4. формально-структурные характеристики информации

5)Соответствие информации объективной реальности отражается свойством:

1. адекватности

2. объективности

3. достоверности

4. релевантности

6)Достаточность информации для принятия решения определяется свойством:

1. точность

2. актуальность

3. достоверность

4. полнота

Тема 3 ТЕХНИЧЕСКИЕ СРЕДСТВА РЕАЛИЗАЦИИ ИНФОРМАЦИОННЫХ ПРОЦЕССОВ



Лекция 3, 4

ТЕХНИЧЕСКИЕ СРЕДСТВА РЕАЛИЗАЦИИ ИНФОРМАЦИОННЫХ ПРОЦЕССОВ

План лекции:

1. Поколения электронных вычислительных машин.

2. Классификация электронных вычислительных машин.

3. Понятие архитектуры и структуры ЭВМ.

4. Структура персонального компьютера (ПК)

Литература:

1. Информатика. Базовый курс/под ред. С.В.Симоновича. - СПб.: Питер, 2011.-640 с.

2. Информатика: Учебник/ Под ред. проф. Н.В. Макаровой. – СПб.: Питер, 2011. – 576 с.

Поколения электронных вычислительных машин

Развитие электронных вычислительных машин можно условно разбить на несколько этапов (поколений ЭВМ), которые имеют свои характерные особенности.

Первый этап (ЭВМ первого поколения) — до конца 50-х годов XX века.

Точкой отсчета эры ЭВМ считают 1946 г., когда был создан первый электронный цифровой компьютер «Эниак» (Electronic Numerical Integrator and Computer). Вычислительные машины этого поколения строились на электронных лампах, потребляющих огромное количество электроэнергии и выделяющих много тепла.

Числа в ЭВМ вводились с помощью перфокарт и набора переключателей, а программа задавалась соединением гнезд на специальных наборных платах. Производительность такой гигантской ЭВМ была ниже, чем современного калькулятора. Широкому использованию этих ЭВМ, кроме дороговизны, препятствовали также низкая надежность, ограниченность их ресурсов и чрезвычайно трудоемкий процесс подготовки, ввод и отладка программ, написанных на языке машинных команд. Основными их пользователями были ученые, решавшие наиболее актуальные научно-технические задачи, связанные с развитием реактивной авиации, ракетостроения и т. д.

Среди известных отечественных машин первого поколения необходимо отметить БЭСМ-1 (большая электронная счетная машина), Стрела, Урал, М-20. Типичные характеристики ЭВМ первого поколения (на примере БЭСМ-1, 1953 г.): емкость памяти -2048 слов; быстродействие – 7000 -8000 оп./с; разрядность -39 разрядов; арифметика - двоичная с плавающей запятой; система команд - трехадресная; устройство ввода - перфолента; количество электронных ламп в аппаратуре – около 4000; внешние запоминающие устройства - барабаны на 5120 слов; магнитная лента – до 120 000 слов; вывод на быструю цифровую печать - 300 строк в минуту. Отечественная ЭВМ М-20 (20 тыс.оп./с) была одной из самых быстродействующих машин первого поколения в мире.

Основной режим использования машин первого поколения состоял в том, что математик, составивший программу, садился за пульт управления машиной и производил необходимые вычисления. Чаще всего работа за пультом была связана с отладкой своей собственной программы наиболее длительным по времени процессом. При этом класс математика-программиста определялся его умением быстро находить и исправлять ошибки в своих программах, хорошо ориентироваться за пультом ЭВМ.

В этот период началась интенсивная разработка средств авто­матизации программирования, создание входных языков разных уровней, создание систем обслуживания программ, упрощающих работу на машине и увеличивающих эффективность ее использования.

Второй этап (ЭВМ второго поколения) - до середины 60-х годов XX века.

Развитие электроники привело к изобретению в 1948 г. нового полупроводникового устройства - транзистора, который заменил лампы (создатели транзистора - сотрудники американской фирмы Bell Laboratories физики У. Шокли, У. Браттейн и Дж. Бардин за это достижение были удостоены Нобелевской премии). Появление ЭВМ, построенных на транзисторах, привело к уменьшению их габаритов, массы, энергопотребления и стоимости, а также к увеличению их надежности и производительности. Первой транзисторной ЭВМ была созданная в 1955 г. бортовая ЭВМ для межконтинентальной баллистической ракеты ATLAS.

Если с технической точки зрения переход к машинам второго поколения четко очерчен переходом на полупроводники, то со структурной точки зрения ЭВМ второго поколения характеризуются расширенными возможностями по вводу-выводу, увеличенным объемом запоминающих устройств, развитыми системами программирования.

В рамках второго поколения все более четко проявляется дифференциация ЭВМ на малые, средние и большие, позволившая существенно расширить сферу применения ЭВМ, приступить к созданию автоматизированных систем управления (АСУ) предприятиями, целыми отраслями и технологическими процессами.

Стиль использования ЭВМ второго поколения характерен тем, что теперь математик-программист не допускается в машинный зал, а свою программу, обычно записанную на языке высокого уровня, отдает в группу обслуживания, которая занимается дальнейшей обработкой его задачи - перфорированием и пропуском на машине.

Среди известных отечественных машин второго поколения необходимо отметить БЭСМ-4, М-220 (200 тыс. оп./с), Наири, Мир, МИНСК, РАЗДАН, Днепр. Наилучшей отечественной ЭВМ второго поколения считается БЭСМ-6, созданная в 1966 г. Она имела основную и промежуточную память (на магнитных барабанах) объемами соответственно 128 и 512 Кбайт, быстродействие порядка 1 млн. оп./с и довольно обширную периферию (магнитные ленты и диски, графопостроители, разнообразные устройства ввода-вывода).

В этот период появились так называемые алгоритмические языки высокого уровня, средства которых допускают описание всей необходимой последовательности вычислительных действий в наглядном, легко воспринимаемом виде. Программа, написанная на алгоритмическом языке, непонятна компьютеру, воспринимающему только язык своих собственных команд. Поэтому специальные программы, которые называются трансляторами, переводят программу с языка высокого уровня на машинный язык.

Появился широкий набор библиотечных программ для решения разнообразных математических задач. Были созданы мониторные системы, управляющие режимом трансляции и исполнения программ. Из мониторных систем в дальнейшем выросли современные операционные системы (комплексы служебных программ, обеспечивающих лучшее распределение ресурсов ЭВМ при использовании пользовательских задач).

Первые ОС просто автоматизировали работу оператора ЭВМ, связанную с выполнением задания пользователя: ввод в ЭВМ текста программы, вызов нужного транслятора, вызов необходимых библиотечных программ и т. д. Теперь же вместе с программой и данными в ЭВМ вводится еще и инструкция, где перечисляются этапы обработки и приводится ряд сведений о программе и ее авторе. Затем в ЭВМ стали вводить сразу по нескольку заданий пользователей (пакет заданий), ОС стали распределять ресурсы ЭВМ между этими заданиями - появился мультипрограммный режим обработки.

Третий этап (ЭВМ третьего поколения) - до начала 70-х годов XX века.

Элементной базой в ЭВМ третьего поколения являются интегральные схемы. Создание технологии производства интегральных схем, состоящих из десятков электронных элементов, образованных в прямоугольной пластине кремния с длиной стороны не более 1см, позволило увеличить быстродействие и надежность ЭВМ на их основе, а также уменьшить габариты, потребляемую мощность и стоимость ЭВМ.

Машины третьего поколения - это семейство машин с единой архитектурой, т. е. программно-совместимых. Они имеют развитые операционные системы, обладают возможностями мультипрограммирования, т. е. одновременного выполнения нескольких программ. Многие задачи управления памятью, устройствами и ресурсами стала брать на себя операционная система или же непосредственно сама машина.

Примеры машин третьего поколения - семейство IBM-360 IBM-370, PDP-8, PDP-11, отечественные ЕС ЭВМ (единая система ЭВМ), СМ ЭВМ (семейство малых ЭВМ) и др.

Быстродействие машин внутри семейства изменяется от нескольких десятков тысяч до миллионов операций в секунду. Емкость оперативной памяти достигает нескольких сотен тысяч слов.

В этот период широкое распространение получило семейство мини-ЭВМ. Простота обслуживания мини-ЭВМ, их сравнительно низкая стоимость и малые габариты позволяли снабдить этими машинами небольшие коллективы исследователей, разработчиков-экспериментаторов и т. д., т. е. дать ЭВМ прямо в руки пользователей. В начале 70-х годов с термином мини-ЭВМ связывали уже два существенно различных типа средств вычислительной техники:

• универсальный блок обработки данных и выдачи управляющих сигналов, серийно выпускаемых для применения в различных специализированных системах контроля и управления;

• универсальную ЭВМ небольших габаритов, проблемно-ориентированную пользователем на решение ограниченного круга задач в рамках одной лаборатории, тех. участка и т. д., т. е. задач, в решении которых оказывались заинтересованы 10-20 человек, работавших над одной проблемой. В период машин третьего поколения произошел крупный сдвиг в области применения ЭВМ. Если раньше ЭВМ использовались в основном для научно-технических расчетов, то в 60-70-е годы все больше места стала занимать обработка символьной информации.

Четвертый этап (ЭВМ четвертого поколения) - по настоящее время.

Этот этап условно делят на два периода: первый - до конца 70-х годов и второй - с начала 80-х по настоящее время.

В первый период успехи в развитии электроники привели к созданию больших интегральных схем (БИС), где в одном кристалле размещалось несколько десятков тысяч электронных элементов. Это позволило разработать более дешевые ЭВМ, имеющие большую память и меньший цикл выполнения команд: стоимость байта памяти и одной машинной операции резко снизилась. Но так как затра­ты на программирование почти не сокращались, то на первый план вышла задача экономии человеческих, а не машинных ресурсов.

Разрабатывались новые ОС, позволяющие программистам отлаживать свои программы прямо за дисплеем ЭВМ, что ускоряло разработку программ. Это полностью противоречило концепциям первых этапов информационной технологии: «процессор выполняет лишь ту часть работы по обработке данных, которую принципиально люди выполнить не могут, т. е. массовый счет». Стала прослеживаться другая тенденция: «все, что могут делать машины, должны делать машины; люди выполняют лишь ту часть работы, которую нельзя автоматизировать».

В 1971 г. был изготовлен первый микропроцессор - большая интегральная схема (БИС), в которой полностью размещался процессор ЭВМ простой архитектуры. Стала реальной возможность размещения в одной БИС почти всех электронных устройств несложной по архитектуре ЭВМ, т. е. возможность серийного выпуска простых ЭВМ малой стоимости. Появились дешевые микрокалькуляторы и микроконтроллеры - управляющие устройства, построенные на одной или нескольких БИС, содержащих процессор, память и системы связи с датчиками и исполнительными органами в объекте управления. Программа управления объектами вводилась в память ЭВМ либо при изготовлении, либо непосредственно на предприятии.

В 70-х годах стали изготовлять и микро-ЭВМ - универсальные вычислительные системы, состоящие из процессора, памяти, схем сопряжения с устройствами ввода-вывода и тактового генератора, размещенных в одной БИС (однокристальная ЭВМ) или в нескольких БИС, установленных на одной плате (одноплатная ЭВМ). Примерами отечественных ЭВМ этого периода являются СМ-1800, «Электроника 60М» и др.

Во втором периоде улучшение технологии БИС позволяло изготовлять дешевые электронные схемы, содержащие сотни тысяч элементов в кристалле - схемы сверхбольшой степени интеграции - СБИС.

С точки зрения структуры машины этого поколения представляют собой многопроцессорные и многомашинные комплексы, работающие на общую память и общее поле внешних устройств. Для этого периода характерно широкое применение систем управления базами данных, компьютерных сетей, систем распределенной обработки данных.

Последующие поколения ЭВМ будут представлять, по-видимому, оптоэлектронные ЭВМ с массовым параллелизмом и нейронной структурой - с распределенной сетью большого числа (десятки тысяч) несложных процессоров, моделирующих структуру нейронных биологических систем, произойдет качественный переход от обработки данных к обработке знаний.