Тақырып №1. Кіріспе. Кодтардың шығу тарихы

Мәліметтерді кодтау ерте заманнан бері жүзеге асып келе жатыр. Юлий Цезарьдың мәліметтерді кодтауы және Геродоттың жазған мысалдарынан осыларды анық байқауға болады. Бертін келе мәліметтерді кодтаумен көптеген ғалымдар мен философтар айналысқан. Осыған сәйкес әртүрлі жазулар және криптограммалар өте көп кездеседі.

Негізінен мәліметтерді кодтау көп жағдайда белгілі бір адамның ғана білетін құпия ісі болған. Бірақ қазір уақытта дәлелденіп отырғанына байланысты алғашқы құрылғанған криптограммалардың барлығын, негізінен, шешуге болады. Американың атақты ғалымы, кодтау теориясының негізін қалаушы Шеннон мынадай тұжырым дәлелдеген. Егер нақты кілті болмаса, ешқашанда шешілмейтін криптограмма құруға болады. Қазіргі заманда криптограммамен бірге криптоанализ де жақсы дамыған. Алғашқы кодтау мысалының бірі – Морзе әліппесі. Онда әрбір әріп, нүкте мен сызықшаның жиынынан тұрады. Осы қасиетті Бода деген ғалым телеграфта пайдаланған. Мұнда нүкте мен кідірістің көмегімен қашықтытағы адамға мәлімет жіберуге болады. Информацияны 0 мен 1 бойынша кодтау кесіндіні қаққа бөлу теориясына байланысты шыққан. Мысалыға , 0-ден 7-ге дейін кез-келген бір санды жасырып, табуымыз қажет болсын. Санды табу үшін неше рет сұрақ қою керек. Бұл жерде санды табу үшін 3 сұрақ қою жеткілікті болып табылады. Оларды сәйкес 0 және 1 арқылы өрнектеуге болады.

0	1	2	3	4	5	6	7
0000	001	010	011	100	100	110	111

Егер алынған аралық үлкен болса, оған сәйкес 0 мен 1 сандарының тізбектері де көбейеді. Бірақ 0 және 1 арқылы кез-келген санды кодтауға болады.

Негізгі әдебиеттер: [1, 2, 5, 8]

Қосымша әдебиеттер:[11, 12]

Тақырып №2. Информацияның өлшемдері

Кез келген бізге берілетін хабарламаның біз үшін ең маңызды мінездемесі ондағы берілген информация болып табылады. Мысалы, таңертең күн шықты. Сіздің үйіңіз құлап қалды. Мұндағы екінші сөйлемде, біз үшін, көп информация берілген. Берілген хабарламадағы информация мөлшері оның кездесу немесе жүзеге асу ықтималдығына байланысты болады. Біз информацияны бит және байт арқылы өрнектейміз. Берілген бит ықтималдық теориясымен қалай байланысқанын қарастырайық. Ықтималдық теориясында тиынға байланысты классикалық мысал бар. Берілген тиынды n рет лақтырып, герб жағының түсу ықтималдығын анықтайды. Бұл жағдайда мүмкіншілікті 4 бит арқылы өрнектейік. Мүмкіншілік болатын әр түрлі жағдайлар тең. Осындай жағдайдың болуы 1/16 –ге тең болады.

Анықтама: Информация мөлшері деп І=-log (p) мәнін атаймыз. І-информация мөлшері, р -ықтималдық болу жағдайы. log – негізі екі, екілік логарифм, минус таңбасы (-) –информация мөлшерінің оң болуына әсер етеді, себебі ықтималдық теориясы бойынша оқиғаның әрқашанда болу ықтималдығының махсималь мәні max=1 болады.

Информация өлшемінің ең кіші өлшем бірлігі бит екенін білеміз. Бізге екі информация берілсін: 0 немесе 1 және олардың ықтималдық түсу жағдайы бірдей болсын.

Р (0) = P(1)=1/2

Бір цифр үшін информацияның өлшемін анықтайық.

бит.