УДК 573.7:519.72

Об использовании математической теории информации в биологии и медицине

Г. И. Худяков

Санкт-Петербургский государственный университет

аэрокосмического приборостроения (ГУАП)

The mathematical information theory

for using in biology and medicine

G. I. Khudiakov

Saint-Petersburg state university of aerospace instrumentation (SUAI)

Аннотация. Представлены основные результаты теоретических исследований по уточнению основных положений теории информации, проведенных автором в течение последних пяти лет. В области статистической теории сигналов – были уточнены определения отношения сигнал/шум, теорема отсчетов для стационарных случайных сигналов, а также решена задача оптимального разрешения двух гауссовских сигналов на фоне помех. Уточнены некоторые понятия прикладной теории информации. Предложен простой численный метод оценивания пропускной способности, а также оптимального количества уровней сигналов – практически для любых систем передачи информации с широким классом помех в канале связи (математическая теория информации). Проведенные теоретические исследования открывают широкое поле деятельности для практического применения методов математической теории информации в биологии и в медицине.

Summary. There are presented the main results of theoretical investigations in the field of clarification of the information theory’s basic positions which were carried out by the author during the last five years. In the field of statistical signal theory – there were refined definitions of the signal/noise ratio, the sampling theorem for stationary random signals, and also the problem of the optimal resolution of the two Gaussian signals against the noises was solved. There are specified some notions of applied information theory. There is offered a simple digital method for estimating the capacity and the optimal number of signal levels– for virtually all information transmission systems with wide class of noises in the communication channel (mathematical information theory). These theoretical researches open a wide perspectives of the practical application in the field of mathematical information theory’s methods in biology and medicine.

Ключевые слова: теория информации, биология, медицина, теория сигналов, отношение сигнал/шум, оптимальное разрешение, энтропия, удельная информативность, метрологическая информация, пропускная способность, канал электросвязи, многопозиционные методы модуляции

Key words: information theory, biology, medicine, the theory of signals, the signal/noise ratio, the optimal resolution, entropy, specific information content, the metrological information, capacity, telecommunications channel, multi-position modulation methods

Реферат

В статье представлены основные результаты теоретических исследований по уточнению основных положений теории информации, проведённых автором в течение последних пяти лет.

В области статистической теории сигналов: были уточнены определения отношения сигнал/шум (обязательно по мощности: Q = s²/σ_п², так как это обеспечивает аддитивность величины Q), теорема отсчётов для стационарных случайных сигналов, а также решена задача оптимального разрешения двух гауссовских сигналов на фоне гауссовских помех.

В области прикладной теории информации. Формула для количества информации I(w_k| u_j), содержащейся в выходном символе w_k, об информации, содержащейся во входном знаке u_j (при наличии в канале передачи информации помех), которое определяется равенством I(w_k| u_j) = log [P(w_k| u_j)/P(w_k)], квалифицируется автором как пятый постулат теории информации Шеннона, из которого вытекают все закономерности передачи дискретных сообщений по каналам связи с помехами. Введённое К. Шенноном формально понятие «энтропия источника дискретных сообщений» интерпретируется как удельная информативность знаков данного источника, имеющая размерность [бит/знак]. Уточнено условие полной потери информации в двоичном канале связи с помехами: p + q = 1, где p – вероятность получения на выходе канала “единицы” при условии подачи на вход канала “единицы”, а q – вероятность получения “нуля” при подаче “нуля”. Условие абсолютной надёжности двоичного канала есть не только p + q = 2, но и p + q = 0. Выяснено также, что в случае так называемых «непрерывных сообщений» в качестве меры количества метрологической информации следует принимать не дифференциальную (относительную, сведённую) энтропию погрешностей измерений, а обратную дисперсию этих погрешностей (которая удовлетворяет всем постулатам теории информации, в том числе и постулату аддитивности), то есть информационную меру Р. Фишера.

В математической теории информации предложен простой численный метод, который позволяет не только оценить пропускную способность канала связи, но и оптимальное количество сигнальный уровней. Этот метод позволил определить пропускную способность канала связи с аддитивным белым гауссовским шумом при ограниченной пиковой мощности, которая (пропускная способность) не может быть оценена аналитически, а также оценить информационные характеристики современных каналов электросвязи с различными цифровыми методами модуляции.

Abstract

The paper presents the main results of theoretical investigations in the field of clarification of the information theory’s basic notions which were carried out by the author during the last five years.

In the field of statistical signal theory: there have been refined the signal/noise ratio (required for power: Q = s²/σ_п² – because it provides additively quantities Q), the sampling theorem for stationary random signals, and also the problem of optimal resolution of two Gaussian signals in Gaussian noise was solved.

In the field of applied information theory. The formula for the amount of information I(w_k| u_j), contained in the output symbol w_k, about information contained in the input sign u_j – if the interferences are in a transmission channel of information, which is determined by equality I(w_k| u_j) = log [P(w_k| u_j)/P(w_k)], qualifies as the fifth postulate of Shannon's information theory, that results in all the laws of information transmitting over a noisy communication channels. Shannon formally introduced the notion of "entropy of source of discrete messages" is interpreted as the specific informatively of the source, which has the dimension [bit/sign]. Clarified the condition of a complete loss of information in binary communication channels with interference: p + q = 1, where p is the probability of the output channel "unit" subject to the submission to the input channel "unit", and q – the probability of "zero" in the filing "zero." Condition of the absolute reliability binary channel is not only p + q = 2, but p + q = 0. It was also found that in the case of the so-called "continuous messages" as a measure of the quantity of metrological information should be no differential (relative, reduced) entropy of measurement errors but the inverse dispersion of these errors (which satisfies all the postulates of the theory of information, including the postulate of additively), then there is R. Fisher’s information measure.

In the mathematical theory of information: there was offered a simple digital method, which allows you to estimate not only the capacity of the communication channel, but also the optimal number of signal levels. This method allowed us to determine the capacity of a communication channel with additive white Gaussian noise with limited peak power for example, which (capacity) can not be evaluated analytically, and to evaluate the information characteristics of modern telecommunication links with various digital modulation techniques .