Нейронные сети (ИПОВС) / 4 курс - Рычагов М.Н. / Лекции / Lektsiya_1_Neyronnyie_seti_i_mashinnoe_obuchenie

Принципы фон Неймана (3/4)

Принцип адресности

▪Основная память состоит из пронумерованных ячеек, причем процессору в произвольный момент доступна любая ячейка

▪Двоичные коды команд и данных разделяются на единицы информации, называемые словами, и хранятся в ячейках памяти, а для доступа к ним используются номера соответствующих ячеек — адреса

Принципы фон Неймана (4/4)

Принцип программного управления

▪Все вычисления, предусмотренные алгоритмом решения задачи в виде программы, состоящей из последовательности управляющих слов — команд

▪Каждая команда предписывает некоторую операцию из набора операций, реализуемых вычислительной машиной

▪Команды выполняются в естественной последовательности, то есть в порядке их положения в программе

▪При необходимости, с помощью специальных команд,

эта последовательность может быть изменена

Ограниченность архитектуры фон Неймана

Совместное использование шины для памяти программ и памяти данных

▪Ограничение пропускной способности между процессором и памятью по сравнению с объёмом памяти

▪Скорость процессора и объём памяти ↑ гораздо быстрее, чем пропускная способность между ними узкое место

Альтернативный подход к вычислениям

Совмещение процессора и памяти

▪Ученые из США и Италии в 2015 заявили о создании прототипа мем-процессора (англ. mem-processor) с отличной от фон-неймановской архитектурой и возможности его использования для решения NP-

полных задач

▪Traversa et al. Sci. Adv. 2015; 1:e1500031 http://advances.sciencemag.org/

Трудоёмкость алгоритма

Трудоемкость алгоритма

Количество символов в стандартном (двоичном) представлении данных задачи X P наз. длиной входа и обозначим L(X)

Пусть алгоритм A решает проблему P и tA(X) количество элементарных операций, выполняемых алгоритмом A при решении задачи X P. Тогда функция

* Sup – точная верхня грань

называется трудоемкостью алгоритма

Полиноминальный vs экспоненциальный

Алг. A - полиномиальный, если его трудоемкость

,

где d – положительное число

Класс P состоит из задач, которые поддаются проверке в течение полиномиального времени

Алгоритм, трудоемкость которого не ограничена полиномом от n, называется экспоненциальным

Полиноминальный vs экспоненциальный

Пример:

Алгоритм A1 решает задачу P с трудоемкостью O(n5)

Алгоритм A2 имеет трудоемкость O(2n) решения

Обработка на мобильном устройстве:

Частота 2 ГГц (2 x 109 Гц)

Тогда при n = 60 алгоритм A1 будет работать около 6 мсек, а алгоритм A2 –

(2 ^ 60) / (2 * 10 ^ 9) / 60 / 60 / 24 / 30 / 12

более 18 лет!

Полиномиальные алгоритмы – эффективные!

Экспоненциальные алгоритмы – не эффективны!

Класс NP

В теории алгоритмов классом NP (от англ. nondeterministic polynomial) называют множество проблем

разрешимости, решение которых возможно проверить на машине Тьюринга за t < .

Эквивалентно, класс NP можно определить как содержащий задачи, которые можно за полиномиальное время решить на недетерминированной машине Тьюринга.

Детерминированная машина Тьюринга (ДМТ) → имеет функцию перехода,

которая по комбинации текущего состояния и символа на ленте определяет:

a)символ, который будет записан на ленте,

b)направление смещения головки по ленте и

c)новое состояние конечного автомата.

В случае недетерминированной машины Тьюринга (НМТ), комбинация текущего состояния автомата и символа на ленте может допускать несколько переходов.

То есть в отличие от ДМТ, которая имеет единственный «путь вычислений», НМТ имеет «дерево вычислений» (в общем случае — экспоненциальное число путей).

Класс NP

В теории алгоритмов классом NP (от англ. nondeterministic polynomial) называют множество проблем

разрешимости, решение которых возможно проверить

на машине Тьюринга за t < & сертификат

Эквивалентно, класс NP можно определить как содержащий задачи, которые можно за полиномиальное время решить на недетерминированной машине Тьюринга.

Задачи, имеющие полиномиальные по времени алгоритмы решения, можно решать с помощью компьютера значительно быстрее, чем путём прямого перебора, время которого экспоненциально. Это обуславливает практическое значение проблемы

о равенстве классов P и NP