Материалы всероссийской научно-технической конференции Автоматизир

РАЗРАБОТКА АЛГОРИТМОВ МАРШРУТИЗАЦИИ

СЕМЕЙСТВА Q-ROUTING ДЛЯ МОБИЛЬНЫХ AD НОС СЕТЕЙ

Студентка гр. ТК1-13-1м Ю.А. Шилова

Научный руководитель - канд. техн. наук, доцент М.В. Кавалеров

Пермский национальный исследовательский

политехнический университет

По многим прогнозам в ближайшее время ожидается бурное раз­ витие так называемых ad hoc сетей, в частности, мобильных ad hoc сетей. Термин ad hoc латинского происхождения, кроме прочего мо­ жет означать «для данного случая». В контексте сети ad hoc означает, что сеть не полагается на какую-то заранее построенную архитекту­ ру. Узлы сети сами выстраивают между собой соединения, форми­ руют топологию, общаются друг с другом, минуя заранее сформиро­ ванную инфраструктуру. Примерами таких сетей являются: самый простой вариант - сети смартфонов, которые общаются между собой, сети транспортных средств, мобильные сенсорные сети, сети интер­ нет-вещей, группы взаимодействующих роботов. Среди основных свойств ad hoc сетей можно выделить два наиболее важных: первое, что сеть постоянно меняется, меняется ее конфигурация, а второе главное свойство - нет единого координирующего центра. В про­ стейшем случае узел видит только своих соседей, а вся необходимая информация о глобальных параметрах сети может накапливаться и передаваться путем обмена сообщениями между узлами сети.

Исходя из свойств мобильных ad hoc сетей, одной из основных проблем является маршрутизация, потому что от эффективной мар­ шрутизации зависит качество сервиса в этой сети. В ходе проведен­ ных экспериментальных исследований наибольшую эффективность показали именно самообучающиеся алгоритмы маршрутизации се­ мейства Q-Routing [1-5], которые позволяют по мере изменения па­ раметров сети, например, ее топологии, связности и других характе­ ристик, подстраивать и выбирать наилучшие маршруты.

Алгоритмы семейства Q-Routing основаны на принципах обуче­ ния с подкреплением (reinforcement learning) [6], в частности, на ос­ нове так называемого Q-обучения (Q-leaming). В статье [7] на рис. 2 был представлен типовой пример сети, на базе которого проводятся эксперименты, и рассматривалось, что такое параметр обучения,

а также, какое влияние он оказывает на длительность обучения и максимальное наихудшее время задержки. Пример этой сети, ранее представленный в работе [1], часто используется в подобных иссле­ дованиях в качестве типового. Полученные в ходе исследований ре­ зультаты подсказали идею возможной модификации базового алго­ ритма Q-Routing [1], который бы обеспечивал более высокую эффек­ тивность по сравнению с другими алгоритмами маршрутизации для мобильных ad hoc сетей.

Модификация исходного решения состоит в том, что выполняет­ ся дополнение базового алгоритма за счет трех следующих состав­ ляющих:

1)два вида коэффициента обучения;

2)изменение коэффициентов обучения на основе глобальных параметров сети;

3)получение глобальных параметров сети на основе распреде­ ленного сбора информации.

Воснову модифицированного алгоритма был положен алгоритм «Full Echo» Q-Routing, суть которого заключается в следующем: по­ мимо возвращаемого Q-значения от соседа, которому в результате выполнения алгоритма передается пакет, все остальные соседи также посылают свои Q-значения узлу-отправителю. Для определения но­ вых значений в Q-таблице текущего узла (см. пример Q-таблицы на рис. 1) в случае базового алгоритма используется параметр скорости

обучения Г|, одинаковый для всех близлежащих соседей. Было реше­ но добавить параметр

Текущее значение задержки Лг Максимальное время задержки Л

где к - коэффициент, обычно меньше единицы, определяющий, во сколько раз параметр Г|2 будет отличаться от Г|. Таким образом, один из коэффициентов обучения предназначен для передачи пакетов «наи­ лучшему» узлу, другой - для передачи остальным узлам. Параметр обучения Т| задается и используется только в формуле расчета задерж­ ки (она представлена в работе [1]) для тех соседних узлов, которые соответствуют минимальным значениям в Q-таблице для заданного конечного узла. Параметр Т|2 используется для расчета значений по той же формуле для всех остальных узлов-соседей. На рис. 1 представлен пример выбора коэффициентов скорости обучения для соседних узлов в зависимости от значений Q-таблицы узла, передающего пакет.

глобальная информация, но в данной статье рассматривается лишь случай среднего времени задержки.

На рис. 3 представлены результаты имитационного моделирова­ ния в случае применения разработанного алгоритма под названием «Adaptive Rate Full Echo», который получен в результате вышеука­ занных дополнений базового алгоритма «Full Echo» Q-Routing [1]. Также на этом графике представлены результаты для других алго­ ритмов маршрутизации этого же класса. В частности, в примере из рис. 3 видно, что по сравнению с другими алгоритмами разработан­ ный алгоритм обеспечивает существенное уменьшение задержки при большой загруженности сети при небольшом увеличении задержки в случае малой загруженности.

И н т е н с и в н о с т ь в о з н и к н о в е н и я п а к е т о в в с е ти

Рис. 3. Пример результатов моделирования

Естественно, что для разных условий эксперимента и видов сетей результаты меняются. В общем случае нельзя сказать, что какой-то определенный алгоритм маршрутизации лучше всегда и является оп­ тимальным, так как, во-первых, сети бывают разных подклассов, раз­ ных свойств, хоть и принадлежат к классу мобильных ad hoc сетей, во-вторых, в каждом конкретном случае могут быть разные критерии качества сервиса. Поэтому нельзя рассчитывать, что разработанный алгоритм маршрутизации будет лучшим всегда во всех случаях. Пред­ ставим даже такой предельный случай. Пусть разработан некоторый метаалгоритм маршрутизации, который в ходе работы анализирует свойства сети, а после этого выбирает наилучший алгоритм маршрути­ зации для сети с данными свойствами. Даже в этом случае трудно бу­ дет ожидать, что данный метаалгоритм является наилучшим, так как

очень многое будет зависеть от времени, затрачиваемого на анализ свойств сети, от набора имеющихся алгоритмов маршрутизации, от скорости изменения свойств сети. В этом смысле проблема универ­ сально эффективного алгоритма маршрутизации смыкается с пробле­ мой универсально эффективного интеллектуального агента [8].

Результаты других проведенных экспериментов, которые не приводятся здесь из-за ограничений объема, также свидетельствуют, что разработанный алгоритм показывает очень хорошие результаты по сравнению с другими алгоритмами маршрутизации. Но следует отметить, что далеко не всегда разработанный алгоритм является наилучшим. Это видно даже хотя бы и на примере, представленном на рис. 3. В частности, при малой загруженности данной сети другие алгоритмы маршрутизации обеспечивают меньшее значение средней задержки. Однако более важным представляется то, что при большой загруженности сети удалось добиться существенного снижения сред­ ней задержки. Кроме того, сейчас продолжаются исследования цело­ го семейства алгоритмов, которое сформировано на основе предло­ женных дополнений базового алгоритма Q-Routing. В частности, по­ мимо разработанного алгоритма Adaptive Rate Full Echo, планируется исследовать другие варианты динамического изменения коэффици­ ентов обучения, а также другие варианты используемых глобальных параметров сети. В любом случае разработанный алгоритм, а также другие возможные алгоритмы предлагаемого семейства алгоритмов могут стать значимым дополнением существующего набора алгорит­ мов маршрутизации, применяемых на практике.

Библиографический список

1. Boyan J.A., Littman M.L. Packet routing in dynamically changing networks: A reinforcement learning approach //Advances in neural infor­ mation processing systems. - 1994. - P. 671-671.

2.Desai R., Patil B.P. Reinforcement learning for adaptive network routing // Computing for Sustainable Global Development (INDIACom), 2014 International Conference on. - IEEE, 2014. - P. 815-818.

3.Choi S., Yeung D.Y. Predictive Q-Routing: A memory-based rein­ forcement learning approach to adaptive traffic control //Advances in Neu­ ral Information Processing Systems. - 1996. - T. 8. - P. 945-951.

4.Kumar S., Miikkulainen R. Dual Reinforcement Q-Routing: An OnLine Adaptive Routing Algorithm // In Proceedings of the Artificial Neural Networks in Engineering Conference (St. Louis), 1997. - P. 231-238.

5.Subramanian D., Druschel P., Chen J. Ants and reinforcement learning: A case study in routing in dynamic networks // IJCAI (2). - 1997.-P . 832-839.

6.Sutton R., Barto A.G. Reinforcement Learning: An Introduction, MIT Press. - Cambridge, MA, 1998. - 328 p.

7.Шилова Ю.А., Кавалеров M.B. Исследование влияния пара­ метра скорости обучения на результаты работы алгоритма маршрути­ зации Q-Routing // Инновационные технологии: теория, инструменты,

практика: сб. трудов междунар. конф. - Пермь: Изд-во Перм. нац. исслед. политехи, ун-та, 2015. - С. 172-179. - URL: http://conference.msa.pstu.ru/public/TK/ Shilova_Issledovanie_vlijanija_ parametra_skorosti_obuchenija.pdf (дата обращения: 30.04.2015).

8. Lattimore Т., Hutter М. Asymptotically optimal agents // Algo­ rithmic Learning Theory. - Springer, 2011. - P. 368-382.

ПОМЕХОУСТОЙЧИВОЕ КОДИРОВАНИЕ В КАНАЛАХ СВЯЗИ

С ПАКЕТИРУЮЩИМИСЯ ОШИБКАМИ МЕТОДОМ ПОСИМВОЛЬНОГО ПЕРЕМЕЖЕНИЯ

Студент гр. ТКЗ-14-1м В.П. Рогожин

Научный руководитель - канд. тех. наук, доцент В.И. Фрейман Пермский национальный исследовательский политехнический университет

Известно, что каналы связи практически никогда не бывают без помех. Для предотвращения искажений от помех используют методы помехоустойчивого кодирования, что позволяет улучшать многие важные характеристики систем передачи данных: экономить мощность передатчика, увеличивать дальность связи, длины антенн и др.

Для кодирования информационных сообщений методом перемежения существует определенный параметр / - степень перемежения.

Пусть степень перемежения / = 2 и перемежаемый циклический

код - (7,3) с полиномом g ( j t ) = 1©д;© j t 2 © а:4 Данный код исправ­

ляет пакеты ошибок длиной b = 2. Значит, может быть построен код (n-i,nvi)= =(7-2,3-2)=(14,6)-код, исправляющий пакеты ошибок дли­

2-е кодовое слово

Таким образом, структура кодового слова (14,6) раскрывает суть посимвольного перемежения слов первоначального кода, и любой пакет длиной b i = 4 и меньше породит в каждом кодовом слове (7,3) пакет длиной b - 2 и меньше.

Пусть / = 2, циклический код (7,3,4) с порождающим полиномом g(.v)=l©A©A'2©jc4 исправляет пакеты ошибок длиной b = 2 и меньше.