Для практичних розрахунків можна користуватись виразом

n_k2 = [log₂{(n²+n+1)/2}]. (8.10)

Для кодів, що виправляють три помилки (d₀ = 7)

n_k3 = [log₂{(n³+n²+n+1)/6}]. (8.11)

Для кодів, що виправляють S помилок (d₀ = 2S+1),

log₂(C_n^S+C_n^S-!+…+1)  n_kS  log₂(C_n-1^2S-1+C_n-1^2S-2+…+1). (8.12)

Вираз зліва відомий як нижня границя Хемінга, а вираз справа – як верхня границя Варшамова-Гільберта. Для наближених розрахунків можна користуватися виразом

n_kS = [log₂{(n^S+n^S-1+…+1)/S!}]. (8.13)

Значення п_к буде наближатися до верхньої або нижньої границі в залежності від того, наскільки вираз під знаком логарифму наближається до цілого степеня двох.

До загальних засобів і методів підвищення надійності передачі інформації відносяться системи з рішаючим зворотним зв’язком (РЗЗ), які знайшли широке застосування в практиці передачі дискретної інформації. Cистемами передачі дискретної інформації з рішаючим зворотним зв’язком називають такі, в яких передавач з’єднаний з приймачем прямим і зворотним каналами зв’язку і при передачі інформації, яка кодована надмірним кодом, використовуються відомості (одержані із каналу зворотного зв’язку) про якість прийому раніше переданої інформації. При побудові систем з РЗЗ використовуются коди з виправленням або виявленням помилок. Дуплексний дискретний канал зв’язку забезпечує можливість передачі інформації в обох напрямках. Причому по каналу передачі передається інформація і сигнали зворотного зв’язку про результати прийому інформації по каналу зустрічного напрямку і навпаки. Одиницею інформаційного обміну в таких системах є кодовий блок, який має довжину п двоїчних символів, з яких п_к символів утворюють перевірочну область, l - службову область і n–l-n_k=n_i інформаційну область. Інформаційна послідовність, яка передається, заповнює п_і розрядів інформаційної області. В службову область записують сигнали зворотного зв’язку про якість прийому відповідного блоку протилежного напрямку передачі, а також інша службова інформація, вид якої залежить від алгоритму обміну. Одержаний кодовий блок передається по дискретному каналу зв’язку, одночасно він запам’ятовується в накопичувачі передавальної сторони і зберігається до одержання по зворотному каналу сигналу про правильний прийом цього блоку. Прийнятий кодовий блок декодується; при цьому можлива фіксація правильного прийому блока, виявлення помилки і невиявлення помилки. Після виявлення помилки в службову область блоку, який передається в оберненому напрямку, вноситься сигнал про повторення блоку, прийнятого з виявленою помилкою. При фіксації правильного прийому інформація з інформаційної області поступає на вихід системи. Для кожного каналу існує оптимальна довжина блоку, яка максимізує швидкість передачі при вибраній надмірності коду.

8.3. Цінність інформації

Єдиного критерію цінності інформації немає і бути не може тому, що неможливо знайти єдину одиницю вимірювання цінності інформації, яка вдовольняла б всі варіанти визначення цінності даних. Можуть бути часткові критерії цінності інформації, які визначаються конкретними задачами.

Метод Харкевича передбачає цінність інформації для систем з ясно визначеною метою виражати через приріст імовірності її досягнення. Якщо кількість можливих рівноймовірних наслідків апріорно складає N₀, а після одержання інформації скоротилось до N₁, то кількість одержаної інформації

I = log₂N₀ – log₂N₁ = log₂N₀/N₁. (8.14)

У випадку ясно визначеної мети цінність інформації може буде виражена через імовірність досягнення мети. Якщо до одержання повідомлення ця імовірність була р₀, а після одержання – р₁, то цінність

I = log₂p₁ – log₂p₀ = log2(p₁/p₀). (8.15)

Вважається, що p₀ = 1/N₀; p₁ = 1/N₁.

Метод Бонгарда відноситься до такої ситуації. Якщо задача а_і з імовірністю p_i має відповідь b_i, а для її досягнення слід провести деяку кількість експериментів і q_i – імовірність вдалого їх здійснення, то середня кількість дослідів дорівнює 1/q_i, а невизначеність задачі

log1/q _i= -logq_i (8.16)

Якщо імовірність такої ситуації дорівнює p_i, то для множини задач A = {a_i} (i=1,2…n) невизначеність

_п

H(A) = -p_ilogq_i. (8.17)

^і=1

Корисність інформації визначається зменшенням невизначеності задачі. При цьому значення q_i наближається до значення p_i. Зміна невизначеності задачі з приходом сигналу виражається як процес запасання корисної інформації у вигляді розподілення імовірностей q. За нульовий рівень приймають запас корисної інформації при q_i=1/n (i=1,2,…n) і від нього відліковують корисну інформацію. Кількість корисної інформації

І_к = Н₀(А) – Н₁(А), (8.18)

де Н₀ і Н₁ – невизначеність до і після приходу повідомлення. Запас корисної інформації, яка міститься в гіпотезі q відносно задачі з розподіленням імовірностей відповіді р, може бути визначений як

I_k = logn – H(p/q), (8.19)

де H(p/q) – умовна ентропія події p відносно події q.

Статистичний метод оцінки змістовності тексту передбачає використання показника кількості інформації на одне висловлювання . Якщо І(v) – кількість інформації в тексті, а v – кількість висловлювань у тому ж тексті, то

 = I(v)/v. (8.20)

Більш детальна характеристика змістовності буде при підрахунку кількості символів на висловлювання. Визначення значення v для техніко-економічних текстів не дуже складне через кількісні значення в тексті.

Вентцель пропонує розглядати цінність інформації відносно тезауруса приймача інформації, тобто порівнювати одержану інформацію з відомостями, які були вже у приймача інформації. Якщо повідомлення не збагачує тезаурус приймача, то його інформація розглядається як шум. Кількість інформації визначається як різниця ентропії джерела повідомлень і ентропії шумів, помноженої на кількість символів у повідомленні. При такому підході до оцінки інформації значення її кількості знаходиться у прямій залежності від змісту і смислу повідомлень.

Махлауп пропонує розглядати інформацію як продукт людської праці з оцінкою її вартості як економічної цінності. Існують й інші нестатистичні методи визначення інформації: за актуальністю і своєчасністю даних, за достовірністю і повноті інформації. В теорії статистичних рішень використовуються поняття середніх втрат або риску, які характеризують якість рішень.