9.15. Файлові системи найближчого майбутнього

У травні 2011 року, в доповіді Майкла Рубіна (Michael Rubin), що займається системами зберігання даних в Google, пролунав докладний порівняльний огляд сучасних файлових систем, в якому, окрім перерахування їх переваг і недоліків, були дані і деякі прогнози про майбутній розвиток і потребах інформаційної індустрії в цій сфері. Зокрема, була розглянута здатність існуючих файлових систем (ФС) адаптуватися до викликів вже найближчого майбутнього, у зв'язку з чим, із усіх були виділені чотири провідні файлові системи «нової школи», які були спроектовані з урахуванням задоволення найвимогливіших вимог і запитів.

Серед усіх розглянутих варіантів були ретельно відібрані кращі претенденти, які вже сьогодні (або в найближчому майбутньому) зможуть стати успішним рішенням для великих інформаційних сховищ. Сьогодні ми розглянемо і порівняємо основні плюси і мінуси кожного з цих чотирьох претендентів, щоб допомогти зробити вибір файлової системи майбутнього.

Але перед тим як ми ознайомимося з меню найбільш перспективних файлових систем найближчого майбутнього за версією експертів Google, спробуємо визначитися і розповісти, що має на увазі Google, коли говорить, що ми входимо в нову стадію розвитку ІТ – «Епоху Великих Даних».

9.15.1. Зетта-повінь настає

Комп'ютерний світ проходить болісний процес еволюційного переходу від обчислювальних систем в їх, якщо так можна сказати, «чистому вигляді» через системи обробки даних і далі до систем управління інформацією. Болісність цього процесу полягає в тому, що на кожному з його етапів ускладнюються не тільки кошти, а й предмет обробки.

З часів клинопису і понині, роблячи короткі записи або створюючи багатотомні романи, люди й не підозрювали, що вони створюють зразки неструктурованих даних. Для того щоб дані стали структурованими, потрібно було винайти комп'ютер.

Коли з'явилися перші комп'ютери, вони використовувалися безпосередньо, відповідаючи своїй назві – як засіб автоматизації розрахунків. Аж до 70-х років застосування комп'ютерів обмежувалося вирішенням математичних завдань, тому достатньо було представляти дані у вигляді масивів чисел, що не представляло особливих труднощів. Потім необхідність оперування даними з більш складною структурою призвела до появи систем управління базами даних. Цей етап розпочався в 70-ті роки і протягнувся до сучасності. На перших двох етапах участь людини обмежувалося підготовкою даних та аналізом кінцевих результатів.

Щоб далі оперувати великими обсягами інформації, наведемо одиниці виміру для зберігання, обробки і передачі даних у різних Міжнародних стандартах, де рекомедуется використовувати спеціальні префікси для десяткових та бінарних ступенів (російською мовою). За пропозицією Міжнародної електротехнічної комісії (МЕК), назва «Эксабайт» загальноприйнята, але невірно, так як приставка экса- означає множення на 10¹⁸. Правильною для 2⁶⁰ є двійкова приставка эксби-.

Вимірювання в байтах

ГОСТ 8.417-2002

Приставки СИ

Приставки МЭК

Назва

Символ

Ступінь

Назва

Ступінь

Назва

Символ

Ступінь

байт

Б

100

-

100

байт

B

Б

20

килобайт

кБ

103

кило-

103

кибибайт

KiB

КиБ

210

мегабайт

МБ

106

мега-

106

мебибайт

MiB

МиБ

220

гигабайт

ГБ

109

гига-

109

гибибайт

GiB

ГиБ

230

терабайт

ТБ

1012

тера-

1012

тебибайт

TiB

ТиБ

240

петабайт

ПБ

1015

пета-

1015

пебибайт

PiB

ПиБ

250

эксабайт

ЭБ

1018

экса-

1018

эксбибайт

EiB

ЭиБ

260

зеттабайт

ЗБ

1021

зетта-

1021

зебибайт

ZiB

ЗиБ

270

йоттабайт

ЙБ

1024

йотта-

1024

йобибайт

YiB

ЙиБ

280

Дослідження Університету Південної Кароліни встановило, що загальний обсяг збережених даних до 2007 року склав 295 ексабайт (295 міліардів гігабайтів).

Дослідники прийшли до таких цифр грунтуючись на даних, що зберігаються в 60 аналогових або цифрових форматах, починаючи від паперу або книг і закінчуючи даними на серверах і кредитних картах. Це оцінка обсягу зберігання даних з 1986 до 2007 років, яка склала 295 ексабайт.

"Якби ми зібрали всю інформацію і помістили її на сторінки книг, то ми б покрили території США або Китаю трьома шарами книг", – сказав Мартін Гілберт з Університету Південної Каліформіі в передачі BBC Science in Action.

У доповіді говориться, що відбулася революція, яка перенесла дані з аналогових на цифрові формати. У 2000 році 3/4 всіх даних у світі були в аналогових форматах, але всього лише 7 років потому 94% інформації зберігалось вже в цифрі.

На думку вчених, загальний обсяг інформації, вироблений людьми до 2007 року, будучи записаним на компакт-диски, може утворити стопку висотою більше орбіти Місяця. До 2020 року, за оцінкою дослідницької компанії IDC, "цифровий всесвіт" буде в 44 рази більше, ніж у 2009-му, тобто стопка дисків до цього часу дорівнювала б половині відстані до Марса.

Бурхливе зростання кількості цифрової інформації директор однієї з дослідницьких лабораторій компанії Intel професор Джим Хелд пояснює збільшенням кількості інтернет-сервісів, поширенням мобільних телефонів з якісними відеокамерами і збільшеними вимогами корпоративних інформаційних систем. На доказ своєї думки Хелд навів такі приклади: "Walmart (найбільша торговельна мережа США) додає по мільярду записів на хвилину в свої бази даних. Відеосервіс YouTube зберігає більше даних, ніж всі комерційні телеканали передають за рік".

У 2014 р. обсяг глобального Інтернет-трафіку досягне 767 ексабайт, збільшившись вчетверо. Такі дані дослідження «Індексу розвитку візуальних мережних технологій за 2009-2014 рр..», Проведеного компанією Cisco. У ньому зокрема повідомляється, що до 2014 р. обсяг глобального Інтернет-трафіку зросте більш ніж у чотири рази і досягне 767 ексабайт, тобто перевищить 3/4 зеттабайт. Це на 100 ексабайт більше рівня, прогнозованого на 2013 р., і в 10 разів перевищує загальний обсяг трафіку в IP-мережах в 2008 р.

Більшою мірою вся ця лавина інформації – плід невгамовної тяги людей до мультимедіа, особливо, до відео. До 2015 року понад 90% даних у "всесвітній павутині" будуть припадати на відеоконтент. Це створить величезне навантаження на мережі та потребують оптимізації архітектури безпеки, а також підвищення якості послуг передачі даних.

Предбачаючи такий наплив «океана» інформації можна сказати, що ми стоїмо на порозі приходу «Епохи Великих Даних». І якщо говорити про файлові системи (яким і присвячений наш невеликий огляд) – забудьте про NTFS або ext3 в цьому контексті, вони фізично не здатні ефективно обслуговувати сучасні сховища на десятки і сотні петабайт.