- •200106 «Информационно-измерительная техника и технологии»
- •Введение
- •1.2. Сигналы
- •1.3. Преобразование измерительных сигналов
- •1.4. Спектр периодических сигналов
- •1.5. Модуляция
- •1.5.1. Амплитудная модуляция
- •1.5.2. Частотная модуляция
- •1.5.3. Фазовая модуляция
- •1.5.4. Двукратные виды модуляции
- •1.6. Квантование
- •1.6.1. Квантование по уровню
- •1.6.2. Квантование по времени
- •1.6.3. Квантование по уровню и времени
- •1.7. Кодирование
- •1.7.1. Цифровые коды
- •1.7.2. Помехи
- •1.8. Модель канала
- •Раздел 2 измерительные каналы и их разделение
- •2.1. Канал связи и его характеристики
- •2.2. Согласование канала с источником информации
- •2.3. Линии связи для передачи измерительной информации
- •2.4. Структуры линий связи
- •2.5. Многоканальные системы для передачи измерительной информации
- •2.6. Погрешность систем с частотным разделением каналов
- •2.7. Погрешности систем с временным разделением каналов
- •Раздел 3 принципы обработки данных
- •3.1. Виды погрешностей
- •3.2. Обработка результатов измерений. Оценки измеряемой величины
- •3.3. Обработка результатов прямых равноточных измерений
- •3.4. Обработка результатов косвенных измерений
- •3.5. Обработка результатов совместных измерений
- •3.6. Обработка результатов неравноточных измерений
- •3.7. Проверка статистических гипотез
- •3.7.1. Проверка соответствия гипотезы и экспериментальных данных
- •3.7.2. Исключение резко отклоняющихся значений
- •3.8. Построение эмпирических распределений
- •3.9. Критерии согласия
- •3.9.1. Критерий согласия Пирсона
- •3.9.2. Критерий согласия Колмогорова
- •Раздел 4 планирование многофакторного эксперимента
- •4.1. Задачи планирования эксперимента
- •4.2. Пассивные эксперименты
- •4.3. Дисперсионный анализ
- •4.4. Регрессионный анализ
- •4.5. Активный эксперимент
- •4.6. Полный факторный эксперимент
- •4.7. Дробный факторный эксперимент
- •4.8. Устранение влияния временного дрейфа
- •4.9. Проведение факторного эксперимента и обработка его результатов
- •4.10. Оптимизация
- •4.11. Рандомизация
- •Раздел 5 введение в алгоритмическую теорию измерений
- •5.1. Вводные замечания
- •5.2. Развитие понятий числа и измерения величин
- •5.3. Теория шкал и алгоритмические измерения
- •5.4. Алгоритмы измерения в номинальной шкале, аддитивной и порядка
- •5.5. Моделирование цифровых алгоритмических измерений
- •5.6. Эквивалентность между фильтрацией и алгоритмическим измерением
- •5.7. Моделирование сигналов. Дискретизация
- •5.7.1. Модели дискретизации аналогового сигнала
- •5.7.2. Дискретизация с усреднением
- •5.7.3. Дискретизация сигналов конечной длительности
- •5.8. Цифровое представление информации
- •5.9. Системы счисления с иррациональными основаниями
- •5.9.1. Золотая пропорция
- •5.9.2. Числа Фибоначчи
- •5.9.4. Код золотой p-пропорции
- •5.10. Общий алгоритм метрологического кодирования
- •5.10.1. Алгоритм Стахова
- •5.10.2.Фибоначчиевы алгоритмы цифрового метрологического кодирования
- •Раздел 6 введение в информационную теорию измерений
- •6.1. Основные положения теории информации
- •6.1.1. Энтропия
- •6.1.2. Единицы измерения энтропии
- •6.1.3. Условная энтропия (энтропия помехи)
- •6.1.4. Суммирование нескольких погрешностей
- •6.1.5. Явление «краевой эффект». Приближенность информационных оценок каналов передачи информации
- •6.1.6. Основные положения теории информации для характеристики процесса измерения
- •6.2. Сущность измерения
- •6.2.1. Понятие натурального ряда однородных величин
- •6.2.2. Понятие шкалы реперов измеряемой величины
- •6.2.3. Измерение как сужение интервала неопределенности
- •6.3. Измерительные преобразования, функциональные шкалы, единицы измеряемой величины
- •6.3.1. Функциональная шкала измеряемой величины
- •6.3.2. Понятие единицы измерения
- •6.3.3. Метод построения измерительных устройств
- •6.4. Измерительные преобразования и преобразователи
- •6.5. Энтропийное значение погрешности
- •6.5.1. Математическое определение энтропийного значения погрешности
- •6.5.2. Эффективное значение погрешности
- •6.6. Сравнение энтропийного и среднеквадратического значений погрешности для плавных симметричных одномодальных законов распределения погрешностей
- •6.7. Энтропийное значение погрешности – основной критерий точности приборов и измерений
- •6.8. Определение энтропийного значения погрешности на практике
- •6.9. Суммирование погрешностей измерительных устройств
- •6.10. Статистическое суммирование погрешностей при наличии корреляции
- •6.11. Энтропийное значение результирующей погрешности
- •6.12. Суммирование погрешностей с равномерными законами распределения вероятностей
- •6.13. Суммирование погрешностей при равномерном и нормальном законах распределения составляющих результирующей погрешности
- •6.14. Суммирование погрешностей при произвольной степени корреляции и произвольных законах распределения вероятностей составляющих результирующей погрешности
- •И объемов (n) выборок
- •Интервала
- •Оглавление
6.1.2. Единицы измерения энтропии
Единицы измерения энтропии зависят от выбора основания логарифма в приведенных выражениях. При использовании десятичных логарифмов энтропия определяется в так называемых десятичных единицах (дит). В случае же двоичных логарифмов энтропия выражается соответственно в двоичных единицах (бит). В математических выкладках более удобно использовать натуральные логарифмы. В этом случае энтропия измеряется в натуральных единицах (нит). При анализе электронных вычислительных машин или приборов, работающих в двоичной системе счисления, удобнее пользоваться двоичными единицами, а при анализе измерительных устройств, работающих, как правило, в десятичной (или двоично-десятичной) системе счисления, – десятичными единицами.
6.1.3. Условная энтропия (энтропия помехи)
В теоремах 10 и 16 говорится, что дезинформационное действие случайной погрешности, шума или помех при передаче сигнала определяется энтропией шума как случайной величины. В теореме 16 показывается, что если шум в вероятностном смысле не зависит от передаваемого сигнала, то независимо от статистики сигнала шуму можно приписать определенную величину энтропии, которая и характеризует его дезинформационное действие. Это очень важное положение, так как точный анализ суммы сложного сигнала и шума математически весьма труден. На основе же 16-й теоремы Шеннона этот анализ (при статистически независимом шуме) можно вести раздельно для сигнала и шума, что резко упрощает решение такой задачи.
Теорема 10 по формулировке относится к теории кодирования, однако по существу она является доказательством предыдущего положения. Здесь утверждается, что количество передаваемой информации q равно энтропии передаваемого сигнала за вычетом энтропии шума , т.е.
(6.1.6)
Отсюда теорема 10 формулируется следующим образом.
Теорема 10. Если на вход канала передачи информации подается сигнал с энтропией , а шум в канале имеет энтропию , то количество информации на выходе канала , т.е. меньше энтропии передаваемого сигнала на величину энтропии шума .
Если, кроме основного канала передачи, имеется второй параллельный канал, то для исправления ошибок, возникших от шума с энтропией , по этому коррекционному каналу необходимо передать дополнительное количество информации, не меньшее, чем . Эти данные можно так закодировать, что будет возможно корректировать все ошибки, вызванные шумом, за исключением произвольно малой доли этих ошибок.
Другими словами, эта теорема утверждает, что потери информации от помех, шума или случайных погрешностей с точностью до бесконечно малой величины равны энтропии этой случайной погрешности и для восстановления этой потери информации при оптимальном кодировании необходимо дополнительное количество информации не меньше . При меньшем количестве дополнительной информации полная коррекция ошибок невозможна, а при большем возможно использование не оптимального кодирования.
Таким образом, 10 и 16 теоремы приводят к основному соотношению теории информации – количество передаваемой информации по каналу передачи при наличии помех равно
Здесь – энтропия передаваемого сообщения, а в случае измерения – исходная, или априорная, энтропия измеряемой величины X, определяемая лишь ее законом распределения р(х); – энтропия шума, а в случае измерения – энтропия случайной погрешности измерения, или так называемая условная энтропия.