3-й семестр / Лекции / 16 - Аналитические платформы. Большие данные. Наука о данных
.pdf
Центр дистанционного обучения
Облачные сервисы
IaaS – IТ-инфраструктура как услуга; SааS – программное обеспечение как услуга.
online.mirea.ru
Центр дистанционного обучения
Big Data. Data Science
Эпоха |
Технологии |
Пользователи |
Приложения |
|
|
|
|
|
|
|
|
До середины 1980-х |
Терминалы Мейнфреймы |
Миллионы |
Тысячи |
|
|
|
|
|
|
|
|
Середина 1 980-х-2010 |
Клиент-серв ер |
Сотни |
Десятки тысяч |
|
ЛВС |
миллионов |
|
|
Интернет |
|
|
|
Персональные |
|
|
|
компьютеры |
|
|
|
|
|
|
|
|
|
|
2010-по настоящее |
Мобильные устройства |
Миллиарды |
Миллионы |
время |
Социальные сети |
|
|
|
Мобильные приложения |
|
|
|
Аналитика Больших |
|
|
|
данных |
|
|
|
|
|
|
online.mirea.ru
Центр дистанционного обучения
Характеристики технологий
Big Data
Объем
Скорость |
Разнообра- |
|
зие |
||
|
Изменчивость
online.mirea.ru
Центр дистанционного обучения
Инструменты распределенных вычислений для Big Data
MapReduce – модель распределенных вычислений.
Hadoop – проект фонда Apache Software Foundation.
NoSQL – группа подходов.
online.mirea.ru
Центр дистанционного обучения
Инструменты распределенных вычислений для Big Data
|
Шаг map |
|
|
Шаг reduce |
|
|
|
|
|
|
|
|
Рабочий узел |
|
|
Рабочий узел |
|
|
|
|
|
|
|
|
|
Рабочий узел |
|
|
Рабочий узел |
|
|
результат |
|
|
|
задание |
|
|
|
|
|
|
|
|
|
|
|
задача |
|
|
решение |
|
результат |
|
задание |
|
Свертка (reduce) |
||
|
Главный узел |
|
|
||
|
|
|
|
|
|
|
|
задание |
|
|
результатзадание |
|
|
|
|
|
|
задание |
|
Рабочий узел |
результат |
|
Рабочий узел |
|
|
|
Рабочий узел |
Рабочий узел |
|
online.mirea.ru
Центр дистанционного обучения
Роль и место Big Data в анализе данных
Data Mining
Knowlidge |
Big Data |
Discovery |
|
online.mirea.ru
Центр дистанционного обучения
Data Science
Разведочный анализ
Big Data |
Статисти- |
|
|
|
ка |
|
Наука о данных |
Бизнес- |
Data |
|
Mining и |
||
аналитика |
||
KDD |
||
|
online.mirea.ru
Центр дистанционного обучения
Специалист по данным и
бизнес-аналитики
.mirea.ru
Центр дистанционного обучения
Специалист по данным и
бизнес-аналитики
online.mirea.ru
Центр дистанционного обучения
Список литературы
•Тюрин Ю.Н. Анализ данных на компьютере / Ю.Н. Тюрин, А.А. Макаров. – М.: МЦНМО, 2016. – 368 c.
•Мхитарян В.С. Анализ данных: учебник для академического бакалавриата / под ред. В.С. Мхитаряна. – М.: Изд. Юрайт, 2017 – 490 с.
•Хрусталёв Е.М. Агрегация данных в OLAP-кубах. http :// www . olap . ru /
online.mirea.ru