os-2015-10-dist

Концепция ZFS

Организация всего доступного дискового пространства в единый пул

Сквозной контроль целостности данных

Запись на диск контрольной суммы для каждого блока данных

Транзакционность

Операции записи группируются в транзакции

Легкость администрирования

Например, резервные копии одной командой

23

Концепция ext

На заре развития Linux использовала файловую систему ОС Minix. Эта файловая система была довольно стабильна, но была 16-разрядной и как следствие имела жёсткое ограничение в 64 Мегабайта на раздел. Также присутствовало ограничение имени файла: оно составляло 14 символов.

Эти и не только ограничения повлекли появление в апреле 1992 года «расширенной файловой системы» (extended file system), решавшей 2 главные проблемы Minix.

Новая файловая система расширила ограничения на размер файла до 2 гигабайт и установила предельную длину имени файла в 255 символов. Но она всё равно имела проблемы: не было поддержки раздельного доступа, временных меток модификации данных.

ext2 или 2я расширенная файловая система — файловая система для ядра Linux. Она

была разработана в качестве замены для extended file system.

Она достаточно быстра для того, чтобы служить эталоном в тестах производительности файловых систем. Она не является журналируемой файловой системой и это её главный недостаток. Развитием ext2 стала журналируемая файловая система ext3, полностью совместимая с ext2.

Google приступил к апгрейду файловой системы на своих серверах. Предварительно было

проведено тестирование трёх файловых систем xfs, ext4 и jfs с точки зрения

быстродействия. Оказалось, что при гугловских нагрузках ext4 и xfs показывают примерно одинаковый результат, но для простоты апгрейда с существующей ext2 была выбрана именно ext4. Об этом сотрудники компании сообщили в специализированном листе рассылке, посвящённом ext4.

24

Концепция Plan 9

Plan 9 — операционная система, разрабатываемая Bell Labs (позже Lucent Technologies, сейчас подразделение в Alcatel-Lucent) с конца 1980-х гг. Система должна была преодолеть принципиальные недостатки дизайна UNIX.

В 2000 году система вышла с открытыми исходными кодами и в 2002 году под свободной лицензией (Lucent

Public License).

Система построена на трёх основных принципах:

Все ресурсы представлены как файлы и доступны в иерархической файловой системе.

Локальные и удалённые ресурсы не различаются, для доступа к ним реализован стандартный

протокол 9P.

Каждая группа процессов имеет собственное пространство имён, собранное из файловых иерархий, предоставленных различными ресурсами.

В отличие от современных операционных систем, в которых пользователь получает доступ к персональному компьютеру или рабочей станции, в Plan 9 пользователь получает доступ к распределённой вычислительной среде и имеет возможность конфигурировать своё рабочее пространство. Так, /dev/mouse для процесса — это мышь на компьютере, с которого этот процесс запущен, причём это может быть не тот компьютер, на котором исполняется процесс.

25

Большие данные

26

Важная роль датчиков

Картина

Больших

данных

Аналитика

Интеллектуальные

шлюзы

Датчики и устройства, генерирующие данные

История «Больших данных»

•Клиффорд Линч, редактор журнала

Nature, сентябрь 2008 -

специальный номер с темой «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объемами данных?»

•McKinsey Global Institute, май 2011 - Big data: The next frontier for innovation, competition, and productivity

•IBM, HP, Oracle, Microsoft, …