LEC04. Теория информации
.pdf
Информатика
Учебный год 2014/2015 Кафедра ВТ НИУ ИТМО. Соснин В.В., Балакшин П.В.
Группы 1100, 1101, 1103, 1105, 1106, 1652
Лекция 3. Введение в теорию информации
2
Консультации
Соснин В.В. – каждая среда с 17:20 до 18:40.
Балакшин П.В. – чётные среды с 14:00 до 16:30, каждая пятница с 11:30 до 13:00.
3
Анализ аннотаций студентов
Список IT-ориентированных |
4 |
|
|
новостных ресурсов |
|
3dnews.ru, 4pda.ru, android.com, betanews.com, blogs.intel.com, cam.ac.uk, cnews.ru, computerworld.com, dailytechinfo.org, datbaze.ru, discovery.com, extremetech.com, gizmodo.com, habrahabr.ru, hi-news.ru, hitech.vesti.ru, iksmedia.ru, it-news-world.ru, it-top.ru, itworld.ru, it.tut.by, itc.ua, itnews.com.ua, itupdate.ru, itworld.com, mobiledevice.ru, news-it.net, news.softpedia.com, novostiit.net, osp.ru, overclockers.ru, research.ibm.com, sciencedaily.com, sciencemag.org, singularityhub.com, thehackernews.com, theverge.com, thg.ru, usenix.org, wired.co.uk ...
5
Дайджест аннотаций студентов
1.Доставка товаров дронами.
2.Компьютерные игры против депрессии.
3.Автомобиль на 3D-принтере.
4.Компьютер в SD-карте (500 MHz, 1GiB).
5.Китайские палочки с датчиками.
6.Доставка Wi-Fi на дронах.
7.CodeSpells — игра в программирование.
8.Петабайт данных на одном DVD (x250000).
Терминология теории информации
Информация – это некоторая упорядоченная последовательность сообщений, отражающих, передающих и увеличивающих наши знания.
Информация – это сведения об окружающем мире (объекте, процессе, явлении, событии), которые являются объектом преобразования (включая хранение, передачу и т.д.) и используются для выработки поведения, для принятия решения, для управления или для обучения.
6
Терминология теории информации (2)
Информация – новые сведения (энтропия).
Данные — форма представления сведений (речь, буквы). Пример: «Байкал — самое глубокое озеро Земли»
●Сколько в этой фразе информации для русского?
●Сколько в этой фразе информации для китайца?
●Сколько данных в этой фразе?
Алфавит – конечное множество различных знаков (букв), символов, для которых определена операция конкатенации (присоединения символа к символу или цепочке символов).
Знак – любой элемент алфавита.
Слово – конечная последовательность букв алфавита. Словарь — множество различных слов над алфавитом.
7
Признаки классификации информации
●отношение к источнику или приемнику (входная, выходная и внутренняя);
●отношение к конечному результату (исходная, промежуточная и результирующая;
●актуальность;
●адекватность;
●доступность (открытая, закрытая);
●понятность;
8
Признаки классификации информации (2)
●полнота (недостаточная, достаточная, избыточная);
●достоверность;
●массовость;
●изменчивость (постоянная, переменная, смешанная);
●объективность;
●точность;
●стадия использования (первичная, вторичная);
●ценность.
9
Измерение количества информации
Методы получения информации
●Эмпирические
●Теоретические
●Эмпирико-теоретические
Количество информации – число, адекватно характеризующее разнообразие (неопределённость) в оцениваемой системе.
Мера информации – численная оценка количества информации, которая обычно задана неотрицательной аддитивной функцией (т.е. мера информации объединения событий равна сумме мер каждого события).
10