Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Программно-аппаратные средства защиты информации. В 3 частях. Ч.1. Учебное пособие.pdf
теристик архиваторов является степень сжатия, определяющая размер итогово
-
го архива. Их размер влияет на объём ресурсов, требуемых для хранения и пе
редачи, а исходя из этого, преимущества архивов, содержащих данные, размер
которых уменьшен в несколько раз, очевидны: они позволяют существенно
сэкономить память и ускорить процесс передачи данных
.
На сегодняшний день сжатие данных получило широчайшее распростра
нение. Так
логично, исполняемые файлы с расширением
, PDF-
документы хранят в себе информацию в пережатом виде, ана
EXE
сжаты с помощью архивато
ров, пересжимающих данные во время сборки исполняемого файла, наиболее
широко используемые файлы мультимедиа, такие как
также являются пережатыми
.
JPG, GIF, MP3, MPEG,
Конечно же, у архивирования есть и свои недостатки, основной из кото
рых
–
отсутствие доступа к информации, содержащейся в архиве, напрямую
Чтобы получить доступ к данным, хранящимся в заархивированном виде, необ
-
-
-
-
.
-
ходимо произвести действие, обратное архивации
–
распаковку. Операции ар
хивации и распаковки требуют затрат ресурсов компьютерной системы, а зна
чит, ведут к временным издержкам. Из-за этого, как правило, не архивируют
часто используемые данные. Таким образом, архивацию применяют к данным
используемым редко, к примеру, к резервным копиям или инсталляторам
.
В настоящее время создано очень много архиваторов, в связи с чем боль
шой интерес представляют принципы работы наиболее распространённых
из них
.
Современное программное обеспечение для архивации зачастую приме
няет несколько способов архивирования данных совместно. Выделим способы
получившие наибольшую популярность
Кодирование длины серии
дирование длин серий
).
(RLE –
.
акроним от
run-length encoding – ко-
-
-
,
-
,
Этот метод является наиболее простым и при этом действенным для на
бора данных, содержащего большое количество циклически повторяющихся
бит. По сути, происходит замена нескольких одинаковых элементов, идущих
61
-
подряд на два символа: заменяемый символ и количество повторений. Из-за
своей простоты применяется как в качестве единственного способа, так и в ка
честве дополнительного. Данный метод находит применение в распространён
ном растровом формате хранения изображений
Словарный метод
(LZ –
акроним от
BMP.
LempelZiv –
имена авторов
).
Данный метод получил наибольшую популярность. В нём используется
особая структура данных
–
словарь. Словарь содержит в себе набор слов, в ходе
архивирования слова заменяются на коды, находящиеся в словаре. Зачастую
как словарь используют весь исходный набор данных
.
Одним из важнейших параметров словарного метода является размер сло
варя. Нетрудно догадаться, что добавление большего числа слов в словарь по
вышает качество архивации. Только вот для данных, где мало повторяющихся
последовательностей, увеличение размера словаря может понизить эффектив
-
-
-
-
-
ность архивации, так как словарь заполняется редкими словами. Стоит заметить
что во время сжатия требуется объём памяти, больший, чем необходимо для
входных данных. Зато при разархивации избыточная память не требуется
Энтропийный метод
coding –
арифметическое кодирование
(Huffman –
).
кодирование Хаффмана
.
, Arithmetic
Данный способ кодирования опирается на статистические характеристики
архивируемого набора данных. Длина кода напрямую зависит от частотности
встреч элементов данных. Конечно же, наиболее «популярные» элементы заме
няются более компактной кодовой комбинацией, а длинные, напротив, длиной
В результате этой замены итоговый объём уменьшается относительно началь
ного
.
Чаще всего этот способ используют как вспомогательный, впрочем, есть
,
.
-
примеры и независимого применения, например в известном формате изобра
жений
modeling –
62
JPEG.
Метод контекстного моделирования
контекстное моделирование
).
(CM –
сокращение от
context
-
В этом способе архивации строится модель входных элементов. В ходе
архивации каждого элемента, полученная модель предлагает некую вероят
ность, которая впоследствии используется в приведённом выше энтропийном
способе. Таким образом, удачность предложенной вероятности напрямую зави
сит от степени соответствия модели входным данным. Иными словами, чем бо
лее удачным вышло предсказание, тем короче получается последовательность
соответствующая кодируемому элементу
К сожалению, у данного способа есть огромный минус
.
–
для повышения
эффективности модели необходимо много избыточной памяти. Более того, если
для словарного метода избыточная память была необходима лишь в процессе
архивации, то в данном методе в процессе разархивации необходимо построе
ние такой же модели, а это сопряжено с таким же дополнительным расходом
памяти. Подытожив, можно сказать, что в текущее время метод контекстного
-
-
,
-
моделирования может обеспечить высокий уровень пережатия данных, имея
при этом низкую скорость архивации
PPM (PPM –
частичному совпадению
Данный способ
акроним от
Prediction by Partial Matching –
).
–
развитие способа контекстного моделирования. Данный
.
предсказание по
алгоритм основан на идее того, что предложенная вероятность вычисляется
используя элементы, идущие ранее. Одной из важнейших характеристик явля
ется так называемый порядок модели, который задаёт число элементов. Оче
видно, что уровень архивации напрямую связан с порядком модели. При этом
его увеличение вызывает рост требований к ОЗУ. Данный метод показывает
хорошие результаты на текстовых данных
.
Предварительные преобразования или фильтрация. Данные способы
,
-
-
предназначены не для непосредственно архивации, а для изменения структуры
данных
– в
целях более качественной архивации. Приведём пример. У неархи
вированных данных мультимедиа сигнал изменяется плавно, а значит, для них
можно применить дельта-преобразование. Дельта-преобразование является
63
-
несложным методом, согласно которому вместо хранения всех значений после
-
довательности хранится разница между предыдущим и последующим значе
ниями. Данный способ фильтрации может быть использован для практически
любых файлов, мультимедиа, БД и т.д
Метод сортировки блока данных
Transform – по
имени авторов
).
Данный способ является набором изменений на
.
(BWT –
акроним от
Burrows Wheeler
основе систематизации, этим изменениям могут быть подвержены почти все
наборы данных. Вначале входные данные делятся на блоки определённой дли
ны, которые затем систематизируются. Длина систематизируемого блока явля
ется одной из важнейших характеристик. Плюсом алгоритма является то, что
действия разархивирования почти аналогичны действиям, необходимым для
архивации. Как правило, программное обеспечение, использующее данный ал
горитм показывает хорошую производительность и хороший уровень пережа
тия текста
.
-
-
-
-
-
Непрерывные блоки или непрерывный режим
рывный режим
). У
приведённых выше способов архивации есть важный минус
(Solid mode –
непре
они плохо сжимают данные, идущие в начале архивируемого набора. Это свя
зано с тем, что некоторым способам необходимо собирать статистическую ин
формацию. К примеру, в словарном способе нужно собрать словарь, а
CM
ещё
не построена. Из-за этого неприятного свойства сжатие большого числа ма
леньких файлов не показывает хороших результатов. Простым решением явля
ется идея рассматривать множество маленьких файлов как один большой
.
Популярное программное обеспечение для архивации активно использует
этот способ, даже несмотря на его большой минус
–
при разархивировании ка
кого-то одного файла появляется необходимость извлечения всех файлов, нахо
дящихся в начале архива. При этом есть гибридный вариант
–
блоки статиче
ского объёма. В случае использования данного варианта необходимо распако
,
-
-
-
-
-
-
-
-
вать лишь один блок, даже если он находится в конце
.
Сегментирование. К сожалению, во всех способах архивации при изме
нении типа информации сам переход архивируется с весьма низким качеством
64
.
Данный эффект связан с тем, что словарь утрачивает актуальность, а модель
настроена неверно. В таких случаях имеет смысл разделить все архивируемые
данные на равные части
–
сегменты. Этот процесс и называется сегментирова
нием. После сегментирования полученные сегменты можно заархивировать
вместе или по отдельности
.
Подведя итог, скажем, что в данное время создано огромное количество
способов архивации данных. Каждый из них имеет свои плюсы и минусы, а не
которые ориентированы на конкретные типы файлов. Самого лучшего эффекта
можно добиться, комбинируя разные методы.
Особенности данных. На степень сжатия в основном влияют исходные
данные. Практически все предварительно несжатые данные сжимаются доволь
но хорошо, например базы данных
файлы
(EXE),
простые несжатые изображения
(DBF),
тексты
(BMP).
(TXT, DOC),
исполняемые
Ограниченно сжимаются
-
-
-
несжатый звук
почти все уже сжатые данные, например архивы
видео
(JPG, AVI, GIF, MPG),
(WAV) и
сложные несжатые изображения
(CAB, ZIP),
сжатые документы
(PDF),
(BMP). Не
сжатая графика и
сжатый звук
сжимаются
(MP3).
Их сжатие находится в пределах двух процентов за счёт служебных блоков и
невысокой избыточности
.
Стоит заметить, что существует более специализированное программное
обеспечение для архивации отдельных видов информации. К примеру, для зву
ка с отсутствующим файловым сжатием, старых форматов текста, таких как
DOC, и т.д.
Данное ПО может обеспечить более высокую степень архивации
информации относительно ПО, использующего более универсальные алгорит
мы. Именно по этой причине популярное программное обеспечение для архи
вации всё больше дополняется специализированными алгоритмами. Для архи
-
-
-
-
вации звуковой информации существуют специальные архивирующие ПО, та
кие как
Monkey Audio, Optim FROG.
Лучшие универсальные архиваторы для
изображений и текстов показывают лучшую степень сжатия. Например, размер
архива изображений будет меньше при использовании формата
BMP и
архива
65
-
-
тора
Win RK
вместо специализированных графических форматов, таких как
JPEG 2000 (Loss Less –
сжатие без потерь
).
Множество распространённых типов файлов являются уже пережатыми
потому применение сжатия не даёт желаемого уменьшения объёма. Впрочем
даже в ситуациях, когда исходный файл уже был сжат, эффективность пережа
тия можно увеличить. Конечно же, уменьшение объёма в подобной ситуации
возможно, если исходный файл был сжат старым, неэффективным способом
архивации. К примеру, в популярном формате растровых изображений
JPEG
используется энтропийный метод сжатия, применяемый после преобразования
Фурье. Блоки в данном формате изображений не оптимальны, так как разработ
чики хотели увеличить устойчивость
JPEG к
повреждениям и обеспечить воз
можность извлечения частей информации, даже если повреждение произошло
Если сжать файл
JPEG с
помощью других, более эффективных способов, то
,
,
-
-
.
можно увеличить степень пережатия на примерно
Данный результат был получен с использованием архиватора
75% от
изначального объёма
StuffIt.
При этом
используя обычное программное обеспечение для архивации, можно добиться
сжатия лишь до скромных
96%.
Стоит заметить, что методики сжатия
JPEG
файлов являются достаточно новыми и не получили высокой популярности
В более рядовых ситуациях сжатие архивированных данных не приносит
сколько-либо ощутимого эффекта
.
Нужно различать саму программу-архиватор, методы сжатия и формат
архивов. Даже один и тот же метод сжатия данных может иметь множество
различных вариантов реализации. Например, существует более десятка архива
торов, создающих архивы в формате
ZIP,
могут быть также сжаты различными методами
ZIP. А
данные, представленные в формате
: Deflate, BZip2, Deflate64.
.
,
.
-
Метод
ка
Deflate
5%) и
имеет ряд реализаций с разной степенью сжатия (разница поряд
скоростью. С помощью данного метода архиватор
давать архивы в таких форматах, как
66
ZIP и 7Z.
7-zip
позволяет соз
-
-
Как правило, архиваторы способны создавать архивы в собственном уни
-
кальном формате с использованием некоторых своих оригинальных методов
К примеру, архиватор
щества того или иного архиватора
RAR
позволяет создавать
–
методы сжатия и формат архива
RAR-
архивы. Главные преиму
.
В простых случаях программное обеспечение для архивации способно
архивировать или разархивировать один отдельный файл. Но современное ПО
не ограничивается лишь возможностью архивации, оно реализует и другие
функции
вывающихся
.
Перечислим наиболее важные
−
архивация как одиночных файлов, так и папок целиком
−
создание архивов, не требующих ПО для распаковки
(SFX)
−
изменение данных, содержащихся в архиве
архивов
;
:
;
;
–
самораспако
.
-
-
−
шифрование данных, содержащихся в архиве
−
наличие возможности восстановления повреждённого архива
−
разбиение архива на части и тома
−
наличие консольной версии программы, предназначенной для работы
из командной строки
−
наличие графической
;
;
(GUI)
версии программы
;
;
.
Так же немаловажно, что, несмотря на формальное наличие, реализация
каждой дополнительной функции может быть выполнена на совершенно раз
ном уровне
.
Всё программное обеспечение для архивации и разархивации можно раз
делить на две группы
–
асимметричные и симметричные
.
Асимметричные. В данном ПО дорогой с точки зрения потребления ре
-
-
-
сурсов является только архивация. Разархивация же требует мало ресурсов
Благодаря этому асимметричные архивы можно использовать даже на вычисли
тельных машинах, имеющих низкую производительность
.
67
.
-
Симметричные. В ПО, использующем симметричные способы архива
-
ции, напротив, распаковка и упаковка требуют одинакового количества ресур
сов ЭВМ. Стоит заметить, что данный способ применяется редко. Так, в попу
лярном программном обеспечении для архивации
ный способ кодирования
LZ
является основным. Впрочем, если пользователь
WinRAR
именно асимметрич
выберет максимальный уровень сжатия, ПО использует симметричный метод
PPM. То
есть при выборе уровня сжатия стоит учитывать, что максимальный
уровень архивации может сделать невозможной разархивацию на слабых вы
числительных машинах. Стоит заметить, что эта ситуация не эксклюзивна для
WinRAR. В
сжатия используются симметричные алгоритмы
большинстве современного ПО для архивации на высоком уровне
.
Считается, что самыми распространёнными программами-архиваторами
являются
ZIP и
его модификации. Он является куда распространённее, чем
-
-
-
-
ближайшие конкуренты. За ним следуют
начал встречаться архиватор
ко, например, такие как
кой степени сжатия
.
7-zip.
Другие архиваторы встречаются крайне ред
ARJ и LHA,
RAR и ACE. В
течение последних лет
потерявшие актуальность из-за очень низ
Данных о распространённости различных архиваторов мало, но на самом
деле архиваторов существует достаточно много, большинство которых отно
сится к экспериментальным и архиваторам с ограниченной функционально
стью. Меньшая распространённость может служить причиной увеличения ве
роятности ошибок в программе. К ним нужно относиться настороженно, так
как, например, во время проведения тестирования архиватора
была найдена ошибка, которая вскоре была исправлена
.
WinRK (PWCM)
-
-
-
-
-
3.3. RAID-СИСТЕМЫ
Наиболее простым способом увеличения устойчивости к отказам компь
ютерных систем является создание
68
RAID (RAID –
акроним
-
Redundant Array of
Inexpensive Disks –
избыточный массив независимых дисков) массивов. Как
правило, избыточные массивы собирают из недорогих
RAID
может быть реализован как с помощью добавления избыточных фи
HDD.
зических носителей, так и с помощью специализированного программного
обеспечения
По определению
1)
ких логических дисков
2)
ределённым образом
3)
зов или производится добавление избыточной ёмкости
Избыточные массивы представляют собой архитектуру
.
RAID
имеет три признака
:
набор дисков доступен пользователям в качестве одного или несколь
;
распределение данных по набору дисков происходит некоторым оп
;
имеется возможность восстановления данных в случае дисковых отка
.
HDD,
объеди
-
-
-
-
-
няющую два, три или более устройств в один логический диск в целях повыше
ния отказоустойчивости с помощью резервного копирования. Главной целью
использования избыточных массивов является повышение быстродействия и
отказоустойчивости
.
Небольшие недорогие диски, которые используются в персональных
компьютерах, а также в микроЭВМ обладают более низкой эффективностью и
ёмкостью по сравнению с большими дорогими дисками, используемыми в уни
версальных ЭВМ и суперЭВМ, и уступают им по четырём важнейшим показа
телям
:
1)
возможность ввода/вывода
2)
стоимость за мегабайт
3)
среднее время безотказной работы
4)
соотношение
«
стоимость/эффективность
(I/O);
;
(MTBF – mean time before failure);
» SCSI-
контроллера на один
-
-
-
диск
.
Совместное использование недорогих дисков в массиве даёт очевидные
преимущества
:
69
−
высокую скорость пересылки
−
увеличение дисковой ёмкости
−
высокую скорость ввода/вывода
;
;
.
Но практические результаты и, как следствие, преимущества полученных
решений во многом зависят от используемых уровней
RAID,
которые опреде
ляют различные степени надёжности, быстродействия и стоимости массивов
Всего выделяют восемь уровней
являются уровни
RAID-0
1, 3 и 5.
расщепление данных без проверки чётности
−
RAID (0 – 7), а
самыми распространёнными
(DSA). На
этом
уровне на каждый диск массива по очереди производится запись данных в виде
блоков без контроля чётности. Распределение данных по дискам способствует
значительному повышению производительности за счёт возможности одновре
менного считывания и записи. Однако при отказе одного устройства разруша
ется вся дисковая система
RAID-1 −
зеркально отражённые диски
.
(MDA).
Основан на принципе пол
.
-
-
-
ного дублирования данных (создании зеркальной копии диска
).
Каждое изме
нение на логическом разделе одного диска немедленно отражается на таком же
логическом разделе другого диска. В случае когда операция записи или чтения
не проходит на одном из дисков, система использует второй. Контроль чётно
сти отсутствует. При операции чтения обеспечивается высокий уровень готов
ности данных и высокая производительность. Создание зеркального диска при
водит к
водит к повышению стоимости системы, однако
100%-му
перерасходу дискового пространства, что в свою очередь при
RAID-1
можно создать всего
на двух дисках, тогда как для матриц более высокого уровня требуется не менее
трёх
.
RAID-3
параллельный дисковый массив
−
(PDA). На
данном уровне про
изводится расщепление данных на массиве дисков на битовом или байтовом
-
-
-
-
-
-
уровне с выделением одного диска для контроля чётности. С помощью инфор
мации о чётности можно восстановить потерянные блоки с меньшей избыточ
70
-
-