Cryptographic Hash Functions

MD5 и SHA-1 являются наиболее часто используемыми криптографическими хеш-функциями (алгоритмами) в области компьютерной безопасности.

MD5

MD5 (Message-Digest algorithm 5) это широко используемая криптографическая хэш-функция со значением хэш 128-бит.

128-bit MD5 хэш представлены как последовательность из 16 шестнадцатеричных байт. Ниже показано 40 байт входа ASCII и соответствующий MD5 хеш:

MD5 строки “This is an example of an MD5 Hash Value.” =

Даже небольшое изменение в сообщении приведет к совершенно другому хэш значению. Например, изменение символа в конце предложения (восклицательный знак):

SHA­1

SHA аббревиатура Secure Hash Algorithm.

SHA-1 генерирует 160-битный дайджест из сообщения и представлена в виде последовательности 20 шестнадцатеричных байт. Ниже приведен пример SHA-1 дайджестов:

SHA1 строки "This is a test.” =

AFA6C8B3A2FAE95785DC7D9685A57835D703AC88

SHA1 строки "This is a pest.” =

FE43FFB3C844CC93093922D1AAC44A39298CAE11

Statistics

MD5 hash algorithm – шанс, что 2 файла имеют одинаковое MD5 hash значение 2 в степени 128th = 3.4028236692093846346337460743177e+38.

SHA-1 hash algorithm - шанс, что 2 файла имеют одинаковое SHA-1 hash-значения 2 в 160th степени= 1.4615016373309029182036848327163e+48

Для чего используется хеш?

Аутентификация данных:

Чтобы доказать, что оба набора данных одинаковы

Сжатие «размерности» данных (пространства поиска):

Чтобы исключить много «одинаковых» файлов из сотен тысяч, которые вы можете просмотреть

Идентификация файлов:

Чтобы найти «иголку в стоге сена».

Data Authentication

Одним из наиболее важных вопросов, является возможность "аутентификации" своей цифровой подписи.

Это делается с помощью специальных процедур, документации и хэш-значения.

Используя MD5 или SHA-1 хэш-инструменты, проверяющий должен иметь возможность проверить, что данные не изменились. Хэш из полученных данных должны быть идентичен оригинальному хэшу

Data Authentication

Вычисление "значение хэша" для любого блока данных (то есть файла, диска целиком, раздел и т.д.) может быть достигнуто как в виде автономной задачи так и при запросе.

Расчет "значение хэша" для всего диска выполняется путем считывания всех данных на диске, пропуска их через желаемый алгоритм и генерации хэша от всех

считанных данных.

Ошибки Input/Output и bad sector будут влиять на результирующие значения hash.

Data Authentication

Изменение имени файла или расширения НЕ влияет на hash- значение.

Изменение атрибутов НЕ изменяет hash-значение.

Изменение всего, что связано с содержимым файла изменяет hash –значение файла.

For files like MS Word documents, that contain “Metadata”, changes within the Metadata DO change the contents of the file and therefore change the hash value of the file.

For example, if you opened a MS Word document, made no changes to the contents of the file and just re-saved the file, MS Word would update the dates saved within the Metadata and the actual raw content of the overall word document would change and therefore generate a different hash value.

Data Reduction

Большие БД содержат hash значения файлов системы и могут использоваться для уменьшения пространства в котором надо выполнять анализ.

Можно известные файлы исключать ограничивая поиск только неизвестными