Добавил:
okley
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:ML - Коротков (2 сем, мага) / lecture_1_2023.pptx
!
То, что подавляющая часть упоминаний Big Data так или иначе связана с бизнесом, может ввести в заблуждение. На самом деле термин родился отнюдь не в корпоративной среде, а заимствован аналитиками из научных публикаций.
Big Data относится к числу немногих названий, имеющих
вполне достоверную дату своего рождения — 3 сентября
2008 года, когда вышел специальный номер старейшего
британского научного журнала Nature, посвященный поиску
ответа на вопрос -
«Как могут повлиять на будущее науки технологии,
открывающие возможности работы с большими объемами
данных?».
Объем больших данных исчисляется терабайтами. Это
и тексты, и фотографии, и машинный код. Такой
массив информации просто невозможно
проанализировать силами человека или с помощью
обычного компьютера, для этого нужны специальные
инструменты.
Технологии, связанные с хранением и обработкой
больших данных, также называют Big Data.
Как правило, когда говорят о термине Big Data,
<то используют наиболее популярное определение трех
“V”
Характеристики Big Data
Большие данные отличают от обычных наличие признаков
«VVV».
Volume(объем) — физический размер данных, их
вес и количество места, которое они занимают.
Поток таких данных может составлять от 100 Гб в
сутки.
Velocity(скорость) — объем информации увеличивается с
большой скоростью, в геометрической прогрессии, и
требует быстрой обработки и анализа.<
Характеристики Big Data
Большие данные отличают от обычных наличие
признаков «VVV».
Variety(разнообразие) — данные неоднородны и
поступают в разных форматах: текст, картинки,
голосовые сообщения, транзакции. Они могут быть
неупорядоченными, структурированными полностью
или частично.
Характеристики Big Data
Большие данные отличают от обычных наличие
признаков «VVV».
Отдельные IT-компании выделяют дополнительные аспекты работы с большими данными.
Variability(изменчивость) — поток информации
неоднороден, случаются всплески или спады. Это
осложняет её обработку и анализ.<
Value(ценность) — описывает как сложность
информации для обработки, так и её степень важности.
Для бизнеса особо актуален вопрос целесообразности
затрат на обработку данных.
Visualization(визуализация) — возможность наглядно
представить результаты анализа, чтобы упростить их
восприятие человеком.
Veracity(достоверность) — точность и достоверность
самих данных, а также корректность способа, которым
получены. Неточности ведут к ошибкам в анализе.
Название Обозначение Степень
байт Б 100
килобайт Кбайт 103 киломегабайт Мбайт 106 мегагигабайт Гбайт 109 гигатерабайт Тбайт 1012 тераПетабайт Пбайт 1015 петаэксабайт Эбайт 1018 эксазеттабайт Збайт 1021 зеттаиоттабайт Ибайт 1024 иотта-