Алгоритм

Шаги роста сети в соответствии с моделью БА

Сеть начинается с начальной сетки с   узлами.   и степень каждого узла в начальной сети должна быть не меньше 1, иначе она всегда будет отделена от остальной части сети.

В каждый момент времени в сеть добавляется новый узел. Каждый новый узел соединяется с существующими узлами с вероятностью, пропорциональной числу связей этих узлов. Формально, вероятностью   того, что новый узел соединится с узлом i равна:

где   — степень i-го узла, а в знаменателе суммируются степени всех существующих узлов. Наиболее связанные узлы («хабы»), как правило, накапливают ещё больше связей, тогда как узлы с небольшим числом связей вряд ли будут выбраны для присоединения новых узлов. Новые узлы имеют «предпочтение» соединяться с наиболее связанными узлами.

Сеть, построенная в соответствии с моделью БА. Сеть построена из 50 вершин с начальной степенью m=1.

Свойства

Степенное распределение

Степенное распределение в модели БА является безмасштабным, точнее подчиняется степенному закону

Распределение степеней модели БА, которое подчиняется степенному закону. В логарифмическом масштабе степенная функция представляет собой прямую линию.

Средняя длина пути

Средняя длина пути в модели БА увеличивается в среднем, как логарифм размера сети. Точная форма имеет двойную логарифмическую поправку и выглядит, как

Модель БА имеет систематически более короткий средний путь, нежели случайный граф.

Корреляции степени узла

Корреляции степеней соединённых узлов развиваются случайным образом в модели БА, из-за особенностей развития сети. Вероятность нахождения связи между узлами со степенями и в модели БА представлена, как

Конечно же, результат будет другим, если распределение было некоррелированным,  .

Коэффициент кластеризации

Пока нет аналитических значений коэффициента кластеризации модели БА. Коэффициенты кластеризации, полученные эмпирически путём, в общем случае значительно выше для модели БА, нежели для случайных сетей. Коэффициент кластеризации также зависит от размера сети согласно приближенному степенному закону:

Это поведение всё же отличается от поведения малых сетей, где кластеризация не зависит от размера сети. В случае иерархических сетей, кластеризация как функция степени узла также подчиняется степенному закону:

Данные результаты были аналитически получены Дороговцевым, Гольцевым и Мендесом.

Спектральные качества

Форма спектральной плотности модели БА отличается от полукруглой спектральной плотности случайного графа. Она имеет треугольную форму с вершиной, лежащей значительно выше полукруга, а края убывают по степенному закону.

Предельные случаи

Модель А

Модель А сохраняет рост, но не включает принцип предпочтительного присоединения. Вероятность присоединения нового узла к существующим везде одинакова. Конечное распределение степеней в данном случае говорит о том, что рост сам по себе недостаточен для получения безмасштабной структуры.

Модель B

Модель B сохраняет принцип предпочтительного присоединения, но исключает рост. Модель начинается с фиксированного числа разъединённых узлов и добавляет связи, предпочтительно выбирая точками назначения узлы с высокой степенью. Хотя распределение степеней в начале моделирования выглядит безмасштабным, оно нестабильно, и в конечно итоге становится близко к гауссову, когда сеть приближается к насыщению. Таким образом принцип ПП сам по себе недостаточен для создания безмасштабной структуры.

Провал моделей А и B при получении безмасштабного распределения говорит о том, что рост и ПП одинаково необходимы для воспроизведения стационарного степенного распределения, наблюдаемого в сетях реального мира.

Метод максимального правдоподобия является одним из наиболее универсальных методов оценивания неизвестных параметров распределений.

Пусть   - выборка из генеральной совокупности, имеющей функцию распределения  , зависящую от неизвестного скалярного параметра   (задана параметрическая модель наблюдений).

Если закон распределения наблюдаемой случайной величины   является непрерывным, т.е. существует плотность вероятностей   , то функция

 ,

рассматриваемая при фиксированной выборке   как функция параметра  , называется функцией правдоподобия.

Если наблюдаемая случайная величина   имеет дискретный закон распределения, задаваемый вероятностями   , то функция правдоподобия определяется равенством:

 .

Оценкой максимального правдоподобия   параметра называется такое значение параметра   , при котором функция правдоподобия   при заданной выборке   достигает максимума:

При фиксированном   функция правдоподобия задает закон распределения случайного вектора   , координаты которого   являются копиями наблюдаемой случайной величины   :

 в случае непрерывном;

 в случае дискретном.

Поэтому смысл метода максимального правдоподобия заключается в том, что в качестве оценки выбирается такое значение параметра   , при котором вероятность получения данных выборочных значений   , как реализации случайного вектора   , максимальна.

Если функция правдоподобия   дифференцируема по   , то оценку максимального правдоподобия   можно найти, решив относительно  уравнение правдоподобия

 ,

естественно, убедившись при этом, что решение доставляет функции правдоподобия именно максимум.

Часто бывает удобнее исследовать на экстремум не функцию правдоподобия  , а ее логарифм   . Поскольку функции  и   имеют максимум в одной и той же точке в силу монотонного возрастания логарифмической функции, то оценку максимального правдоподобия   можно найти также, решив относительно  равносильное уравнение правдоподобия

 

 .

Если параметр   является векторным, то для отыскания оценки максимального правдоподобия   следует решить систему уравнений правдоподобия

или равносильную систему уравнений

Все изложенные результаты остаются в силе и при оценивании не самого параметра   , а некоторой параметрической функции   .

Ценность оценок максимального правдоподобия обусловлена следующими их свойствами, справедливыми при весьма общих предположениях (без доказательства):

- оценка максимального правдоподобия   является состоятельной оценкой неизвестного параметра   :   ;

- оценка максимального правдоподобия   является асимптотически эффективной оценкой неизвестного параметра   :   , где   - эффективная оценка параметра   ;

- оценка максимального правдоподобия   является асимптотически нормальной оценкой неизвестного параметра   , т.е. при соответствующей нормировке закон распределения оценки максимального правдоподобия   является нормальным:   Это свойство очень важно для нахождения вероятностей отклонения оценки от истинного значения параметра.

Однако метод максимального правдоподобия не всегда приводит к несмещенным оценкам и уравнения (системы уравнений) для нахождения оценок максимального правдоподобия могут решаться довольно сложно.

Распределе́ние Паре́то в теории вероятностей — двухпараметрическое семейство абсолютно непрерывных распределений, являющихся степенными.

Пусть случайная величина   такова, что её распределение задаётся равенством:

,

где  . Тогда говорят, что   имеет распределение Парето с параметрами   и  . Плотность распределения Парето имеет вид:

Моменты случайной величины, имеющей распределение Парето, задаются формулой:

,

откуда в частности:

,

.

Распределение Парето
Плотность вероятности
Функция распределения
Обозначение
Параметры	— коэффициент масштаба
Носитель
Плотность вероятности
Функция распределения
Математическое ожидание	, если
Медиана
Мода
Дисперсия	при
Коэффициент асимметрии	при
Коэффициент эксцесса	при
Информационная энтропия
Производящая функция моментов	не определена
Характеристическая функция

Простейший дискретный источник сообщений X в каждый фиксированный момент времени выдает некоторый символ  из конечного алфавита

X = , с вероятностью P( )=

Выборка символов производятся независимо друг от друга.

 

Воспользуемся аксиомами для определения количества информации:

1. Информация одиночного события  , происходящего с вероятностью p_i имеет положительное значение:

 

2. Совместная информация двух независимых событий  с совместной вероятностью  , равна сумме их информаций:

 

 

3. Информация является непрерывной функцией от вероятности события

 

Аксиомы 1 и 2 утверждают, что информация нескольких событий не может взаимно уничтожаться. Из аксиомы 3 следует, что небольшое изменение вероятности события приводит к небольшому изменению ее информации.

Кроме того, аксиома 2 вводит понятие совместной информации событий. Из аксиомы 3 следует, что информация определяется как логарифмическая функция от вероятности события.

 

 

Вернемся к простейшему дискретному источнику, заданному вероятностной схемой Q→X={x_i},  ,  =1, 0≤

Тогда сообщение X источника является ансамблем полной группы {x_i},  несовместных событий x_i с вероятностями  .

По аксиоме 2 средняя информация таких событий будет равна:

,

где n_i- частота появления i-го события;

k- количество разных событий;

I_i- информация i-го события;

Но  , тогда:

, где  - Энтропия сообщения (ансамбля событий).

 

Основание логарифма в формуле определяет единицу измерения количества информации и энтропии.

Возможны другие обозначения двоичного логарифма: log₂(x)=ld(x)=lb(x), где ld(x) – дуальный логарифм, lb(x) – бинарный логарифм. Такие обозначения можно встретить в зарубежной литературе. Единица измерения энтропии при использовании двоичного логарифма «бит» информации. Можно использовать и натуральный логарифм, при этом единица измерения информации «нат».

 

Измерение количества информации (энтропии) в битах хорошо согласуется с двоичной логикой, применением двоичной системы счисления, двоичным кодированием и двоичной (релейной) техникой.

Свойства энтропии:

1. Энтропия всегда неотрицательна, т.к. значение вероятностей всегда 

 

 

2. Энтропия равна нулю в том крайнем случае, когда вероятность одного из событий равна 1. Это случай, когда о сообщении (величине, опыте) все известно заранее и результат не приносит никакой новой информации.

 

 

3. Энтропия сообщения максимальна, но при условии, когда события в нем равновероятны:

,

Это свойство определяет совпадение меры информации по Шеннону и по Хартли и служит для оценки потенциальной информационной емкости сообщения.

Вспомним меру Хартли  ,

где l – количество разрядов в сообщении;

h- алфавит сообщения;

Если рассмотреть один разряд l=1, то I₁=log₂h => I₁=H₀

В случае не равновероятных событий количество информации по Шеннону меньше информационной емкости системы.

Пример: Найти информационную емкость сообщения о двоичном событии (двоичной ячейки) и показать, как энтропия зависит от значений вероятности событий.

1. I= log₂h; h=2; I=1 бит.

2. Если p₁=p₀=0,5, тогда

H₀=

3. Если, например, p₁=0,9, p₀=0,1, тогда Р=-( )=-[0,9(-0,152)+0,1(-3,32)]=0,46 => H₁<H₀ при p₁≠p₀

4. Если p₁=1, p₀=0, тогда

Р=-( )=0. Событие достоверное.

4.Энтропия аддитивна.

Задана объединенная вероятностная схема C=AB.

Пусть два сообщения A= и B= .

A и B независимы и составляют полную группу, т.е. 

Тогда,

 

 

 

Энтропия непрерывных сообщений, при достаточно малом интервале квантования (∆x→0) может представляться выражением:

, где p(x)- плотность распределения вероятности непрерывной величины x(t).

 

Подходы Шеннона к определению количества информации сообщения длины l в условиях вероятностной схемы

,  сопровождающейся следующими требованиями:

1. Пустое сообщение не содержит информации;

2. Количество информации, содержащееся в сообщении пропорционально его длине.

Сообщение T, записанное в алфавите A, с объемом H, имеет длину l:  , где  .

Энтропия вероятностной схемы или количество информации, приходящееся на один символ порожденного сообщения.

 

Хинчин и Фадеев через задание системы аксиом показали, что энтропия конечной вероятностной схемы однозначно определяется с точностью до постоянного множителя.

, C .

Фракта́л (лат. fractus — дроблёный, сломанный, разбитый) — математическое множество, обладающее свойством самоподобия, то есть однородности в различных шкалах измерения. 

Ка́нторово мно́жество (канторов дисконтинуум, канторова пыль) — один из простейших фракталов, подмножество единичного отрезка вещественной прямой, которое является классическим примером дисконтинуума в математическом анализе. 

Из единичного отрезка   удалим среднюю треть, то есть интервал  . Оставшееся точечное множество обозначим через  . Множество   состоит из двух отрезков; удалим теперь из каждого отрезка его среднюю треть, и оставшееся множество обозначим через  . Повторив эту процедуру опять, удаляя средние трети у всех четырёх отрезков, получаем  . Дальше таким же образом получаем последовательность замкнутых множеств  . Пересечение

называется Канторовым множеством.

Множества

• Канторово множество является нигде не плотным совершенным множеством.

• Канторово множество континуально.

• Канторово множество имеет топологическую размерность 0.

• Канторово множество имеет промежуточную (то есть не целую) хаусдорфову размерность равную  . В частности, оно имеет нулевую меру Лебега.

• Каждый нульмерный метризуемый компакт без изолированных точек гомеоморфен канторову множеству.

• Всякий метризуемый компакт — образ канторого множества при некотором непрерывном отображении.

• Канторово множество универсально для всех нульмерных пространств со счётной базой.

Самоподобный объект — объект, в точности или приближённо совпадающий с частью себя самого (то есть целое имеет ту же форму, что и одна или более частей).

Компактное топологическое пространство X самоподобно, если существует конечное множество S, индексирующее набор несюръективных отображений   для которых

Если  , то X называется самоподобным, если оно является единственным непустым подмножеством Y, для которого вышеприведённое уравнение выполняется при заданном семействе  . В таком случае

именуется самоподобной структурой. Можно проитерировать данные отображения так, что в результате получится система итерированных функций. Композиция функций порождает алгебраическую структуру моноида. В случае, если множество S содержит всего два элемента, моноид называется диадическим. Диадический моноид можно визуально представить в виде бесконечного бинарного дерева; вообще, если множество S имеет p элементов, моноид может быть представлен в виде p-адического дерева.

Группа автоморфизмов диадического моноида является модулярной; автоморфизмы могут быть визуализированы как гиперболическое вращение бинарного дерева.

Кривая Коха является типичным геометрическим фракталом. Процесс её построения выглядит следующим образом: берём единичный отрезок, разделяем на три равные части и заменяем средний интервал равносторонним треугольником без этого сегмента. В результате образуется ломаная, состоящая из четырех звеньев длины 1/3. На следующем шаге повторяем операцию для каждого из четырёх получившихся звеньев и т. д… Предельная кривая и есть кривая Коха.

• Кривая Коха нигде не дифференцируема и не спрямляема.

• Кривая Коха не имеет самопересечений.

• Кривая Коха имеет промежуточную (то есть не целую) хаусдорфову размерность, которая равна   поскольку она состоит из четырёх равных частей, каждая из которых подобна всей кривой с коэффициентом подобия 1/3.

Существует простая рекурсивная процедура получения фрактальных кривых на плоскости. Зададим произвольную ломаную с конечным числом звеньев, называемую генератором. Далее заменим в ней каждый отрезок генератором (точнее, ломаной, подобной генератору). В получившейся ломаной вновь заменим каждый отрезок генератором. Продолжая до бесконечности, в пределе получим фрактальную кривую.

 Мера полного фрактала равна сумме мер его частей:

M₀ = M₁ + M₂

И сам фрактал, и его части имеют одинаковую размерность (D) и мы можем выразить меры, через размеры:

L₀^D = L₁^D + L₂^D

А размеры мы знаем. То есть для размерности нашего фрактала мы можем написать уравнение:

1^D = 0.88^D + 0.41^D

или просто

1 = 0.88^D + 0.41^D

Решить это уравнение аналитически невозможно, но «приблизительный» ответ можно «подобрать». В нашем случае

D ≈ 1.7835828288192

Можете проверить на калькуляторе.

1 ≈ 0.88^1.78358 + 0.41^1.78358

Таким образом, если фрактал образован из N подобных элементов, с коэффициентами подобия k₁, k₂ ... k_N, то его размерность можно найти из уравнения:

1 = k₁^D + k₂^D + ... + k_N^D

По этой формуле уже можно рассчитать размерность многих итерационных систем.

Обратите внимание, что, если все коэффициенты равны, то наша формула превращается в уже известную простую формулу:

1 = k^D + k^D + ... + k^D = N * k^D

1/N = k^D

D = ln(1/N)/ln(k)

или

D = ln(N)/ln(1/k)

Мультифрактал — комплексный фрактал, который может детерминироваться не одним единственным алгоритмом построения, а несколькими последовательно сменяющими друг друга алгоритмами. Каждый из них генерирует паттерн со своей фрактальной размерностью. Для описания мультифрактала вычисляют мультифрактальный спектр включающий в себя ряд фрактальных размерностей присущих элементам данного мультифрактала.