13)Алгоритм обратного распространения ошибки

Эффективный алгоритм обучения многослойных персептронов, открывший путь для их широкого практического применения, стал известен только в 1986 г., благодаря работе Румельхарта, Хилтона и Вильямса [65]. Интересно, что данный фундаментальный алгоритм, называемый алгоритмом обратного распространения ошибки (back propagation), был предложен на один год ранее в работах Паркера и JIe-Кана, изданных независимо одна от другой. Более того, еще в 1974 г. этот простой и изящный алгоритм обратного распространения ошибки был защищен Вербосом в его докторской диссертации. Однако тогда он остался незамеченным и только спустя более десяти лет был «переоткрыт» заново и получил всеобщее признание и применение.

Рассмотрим идею алгоритма обратного распространения ошибки, попытавшись обобщить дельта-правило для случая обучения двухслойного персептрона, имеющего N входов, /выходов и скрытый слой из / нейронов (рис. 3.13). Алгоритм корректировки си-наптических весов нейронов выходного слоя оставим таким же, как для однослойного персептрона (см. формулы (3.20) —(3.22), заменив Xj на у/.

Используя эту идею, несложно расписать алгоритм обратного распространения ошибки для обучения персептрона, имеющего произвольное число скрытых слоев. Однако прежде внесем еще одно изменение в модель нейрона.

19) Современные системы распознавания текстов

В настоящее время получили распространение две конкурирующие между собой системы распознавания текстовой информации — FineReader (компания «Бит») и CuneiForm (компания «Cognitive Technologies»). Разработчики этих систем тщательно оберегают свои ноу-хау, однако некоторые принципы, используемые этими программами, становятся известными.

Основные принципы работы системы FineReader. Компанией «Бит» была разработана специальная технология распознавания символов, которая получила название фонтанного преобразования (от англ. font — шрифт), а на ее основе — коммерческий продукт — система оптического распознавания FineReader.

Основные принципы работы системы CuneiForm. По мнению разработчиков CuneiForm, их система является более интеллектуальной, поскольку задача распознавания текста в ней решается на основе взаимодействия структурного, признакового, растрового, дифференциального и лингвистического уровней.

25) Моделирование в поэзии

Считается, что задача моделирования стихотворчества несоизмеримо сложнее, чем задача моделирования сочинения музыкальных произведений. Как показали исследования русского языка, одна буква делового языка несет 0,6 бит информации, буква обыкновенной разговорной речи — 1 бит, а буква поэтической речи — 1,5 бит.

Не вдаваясь в философские и этические проблемы, подойдем к проблеме моделирования поэтического творчества с помощью известных инструментальных средств. Например, можно воспользоваться известным формализмом Бекуса—Наура. Этот формализм главным образом применяется в системах распознавания и обработки текстовой информации, машинного перевода, а также естественно-языкового общения. В формализме применяются следующие символы-операторы:

— «определяется как» или «может быть переписан как»;

| (вертикальная черта) — используется для разделения различных альтернативных возможностей;

<> (угловые скобки) — используются для заключения нетер-минальных символов, т.е. символов, которые должны определяться одним из правил. В отличие от них символы, не заключенные в угловые скобки, считаются терминальными и представляют лишь самих себя.

Например, цифра в формализме Бекуса — Наура определяется следующим образом:

<цифра>:: = 0|1|2|3|4|5|6|7|8|9,

где <цифра> — нетерминальный символ, а каждая из цифр 0,1, ..., 9 — терминальный символ.