11.5. За границами классификации текста    437

Вот.как.выглядит.наш.набор.данных:

>>>for inputs, targets in train_ds.take(1):

>>>print(f"inputs['english'].shape: {inputs['english'].shape}")

>>>print(f"inputs['spanish'].shape: {inputs['spanish'].shape}")

>>>print(f"targets.shape: {targets.shape}")

inputs["encoder_inputs"].shape: (64, 20) inputs["decoder_inputs"].shape: (64, 20) targets.shape: (64, 20)

Данные.готовы.—.можно.начинать.строить.модели..Начнем.с.рекуррентной. модели.последовательностей,.а.затем.перейдем.к.Transformer.

11.5.2. Обучение типа «последовательность в последовательность» рекуррентной сети

Рекуррентные.нейронные.сети.доминировали.в.обучении.типа.«последовательность.в.последовательность».с.2015.по.2017.год,.прежде.чем.их.обогнала. архитектура.Transformer..Они.служили.основой.многим.системам.машинного. перевода.—.как.упоминалось.в.главе.10,.система.перевода.Google.Translate.при- мерно.в.2017.году.работала.на.стеке.из.семи.больших.слоев.LSTM..Данный.подход.сохраняет.свою.актуальность.и.по.сей.день,.поскольку.это.простая.отправная. точка.в.освоении.моделей.«последовательность.в.последовательность».

Самый.простой.способ.использовать.рекуррентную.сеть.для.преобразования. одной.последовательности.в.другую.—.сохранять.выходные.данные.сети.на. каждом.временном.шаге..В.Keras.это.будет.выглядеть.так:

inputs = keras.Input(shape=(sequence_length,), dtype="int64")

x = layers.Embedding(input_dim=vocab_size, output_dim=128)(inputs) x = layers.LSTM(32, return_sequences=True)(x)

outputs = layers.Dense(vocab_size, activation="softmax")(x) model = keras.Model(inputs, outputs)

Однако.при.таком.подходе.возникает.две.проблемы:

.целевая.последовательность.должна.иметь.ту.же.длину,.что.и.исходная.. Но.в.действительности.так.бывает.очень.редко..С.технической.точки.зрения. это.не.очень.критично:.всегда.можно.дополнить.исходную.или.целевую.последовательность.так,.чтобы.их.длины.совпадали;

.из-за.пошаговой.природы.рекуррентных.сетей.модель.будет.рассматривать. только.токены.0...N. .в.исходной.последовательности,.чтобы.предсказать.токен.N. в.целевой.последовательности..Такое.ограничение.делает.данный.подход.непригодным.для.большинства.задач,.особенно.для.машинного.перевода..Попро- буйте.перевести.фразу.«Сегодня.хорошая.погода».на.французский.—.Il fait beau aujourd’hui..Для.этого.вам.нужно.будет.научить.модель.предсказывать.Il.по. слову.«Сегодня»,.Il fait.по.«Сегодня.хорошая».и.т..д..—.что.просто.невозможно.

438    Глава 11. Глубокое обучение для текста

Человек-переводчик.сначала.читает.исходное.предложение.целиком.и.только. потом.приступает.к.переводу..Это.особенно.важно.при.работе.с.языками.с.совершенно.разным.порядком.слов,.например.английским.и.японским..Именно. так.и.поступают.стандартные.модели.последовательностей.

Порядок.действий.при.правильном.подходе.к.обучению.вида.«последовательность.

в.последовательность».следующий.(рис..11.13)..Сначала.нужно.взять.рекуррентную.сеть.(кодировщик),.чтобы.преобразовать.всю.исходную.последовательность.

в.один.вектор.(или.набор.векторов)..Это.может.быть.последний.выход.рекуррентной.сети.или.конечные.векторы.внутреннего.состояния..Затем.данный.вектор.(или. векторы).используется.в.качестве.начального состояния.другой.рекуррентной. сети.(декодера),.просматривающей.элементы.0....N.целевой.последовательности. и.пытающейся.предсказать.шаг.N +.1.в.целевой.последовательности.

Рис. 11.13. Рекуррентная модель типа «последовательность в последовательность»: рекуррентная сеть кодировщика создает вектор, кодирующий всю исходную последовательность, а далее этот вектор используется в качестве начального состояния рекуррентной сети декодера

Реализуем.это.решение.в.Keras,.использовав.для.реализации.кодировщика. и.декодера.слои.GRU..Выбор.GRU.вместо.LSTM.немного.упрощает.задачу,. поскольку.GRU.имеет.только.один.вектор.состояния,.а.LSTM.—.несколько.. Начнем.с.кодировщика.

Листинг 11.28. Кодировщик на основе слоя GRU

11.5. За границами классификации текста    439

Далее.добавим.декодер.—.простой.слой.GRU,.принимающий.закодированное. исходное.предложение.в.качестве.начального.состояния..Также.нам.понадобится. слой.Dense,.создающий.для.каждого.шага.вывода.распределение.вероятностей. по.испанскому.словарю.

Листинг 11.29. Декодер на основе слоя GRU и полная модель

Целевое предложение на испанском Не забывайте про маски

past_target = keras.Input(shape=(None,), dtype="int64", name="spanish")

x = layers.Embedding(vocab_size, embed_dim, mask_zero=True)(past_target) decoder_gru = layers.GRU(latent_dim, return_sequences=True)

x = decoder_gru(x, initial_state=encoded_source) x = layers.Dropout(0.5)(x)

target_next_step = layers.Dense(vocab_size, activation="softmax")(x) seq2seq_rnn = keras.Model([source, past_target], target_next_step)

Во.время.обучения.декодер.принимает.на.входе.всю.целевую.последователь- ность,.но.из-за.пошагового.характера.рекуррентной.сети.просматривает.только. входные.токены.0....N,.чтобы.предсказать.токен.N .на.выходе.(который.соответствует.следующему.токену.в.последовательности,.потому.что.выходные. данные.смещены.на.один.шаг)..Это.означает,.что.для.предсказания.будущего. используется.только.информация.из.прошлого.—.так.и.должно.быть,.ведь.в.про- тивном.случае.наша.модель.не.работала.бы.на.этапе.прогнозирования.и.мы.бы. лишь.обманули.сами.себя.

Приступим.к.обучению.

Листинг 11.30. Обучение рекуррентной модели типа «последовательность в последовательность»

seq2seq_rnn.compile( optimizer="rmsprop",

loss="sparse_categorical_crossentropy", metrics=["accuracy"])

seq2seq_rnn.fit(train_ds, epochs=15, validation_data=val_ds)

В.качестве.грубой.оценки.качества.модели.для.мониторинга.процесса.обучения. мы.выбрали.метрику.точности.на.проверочном.наборе.данных..Точность.до- стигла.64.%.—.то.есть.в.среднем.модель.правильно.предсказывает.следующее. слово.в.испанском.предложении.в.64.%.случаев..Однако.на.практике.для.моделей.машинного.перевода.точность.предсказания.следующего.слова.не.лучшая. метрика,.в.частности,.потому,.что.она.предполагает,.что.правильные.целевые. токены.от.0.до.N.уже.известны.при.прогнозировании.токена.N +.1..На.самом. деле.во.время.перевода.вы.генерируете.целевое.предложение.с.нуля.и.не.можете. гарантировать,.что.ранее.сгенерированные.токены.будут.на.100.%.правильными..

440    Глава 11. Глубокое обучение для текста

Для.оценки.реальных.систем.машинного.перевода.чаще.всего.используются. баллы.BLEU.—.показатель,.рассматривающий.сгенерированные.последова- тельности.целиком.и,.по-видимому,.хорошо.коррелирующий.с.человеческим. восприятием.качества.перевода.

А.теперь.давайте.опробуем.нашу.модель..Выберем.несколько.предложений.из. тестового.набора.и.проверим,.как.модель.их.переведет..Прежде.всего.возьмем. начальный.токен."[start]" .и.передадим.его.в.модель.декодера.вместе.с.закодированным.английским.исходным.предложением..Далее.мы.получим.предсказание.следующего.токена.и.будем.повторно.вводить.его.в.декодер,.выбирая. новый.целевой.токен.в.каждой.итерации,.пока.не.дойдем.до.токена."[end]" .или. не.достигнем.максимальной.длины.предложения.

Листинг 11.31. Перевод новых предложений с помощью кодировщика и декодера на основе рекуррентных сетей

import numpy as np

spa_vocab = target_vectorization.get_vocabulary() spa_index_lookup = dict(zip(range(len(spa_vocab)), spa_vocab)) max_decoded_sentence_length = 20

def decode_sequence(input_sentence):

tokenized_input_sentence = source_vectorization([input_sentence])

print(decode_sequence(input_sentence))

Обратите.внимание:.несмотря.на.всю.свою.простоту,.данное.решение.весьма. неэффективно.—.мы.снова.и.снова.обрабатываем.исходное.предложение.и.каж- дый.раз.генерируем.целевое.предложение,.пробуя.новое.слово..В.практическом. приложении.мы.реализовали.бы.кодировщик.и.декодер.в.виде.двух.отдельных.

11.5. За границами классификации текста    441

моделей,.и.декодер.выполнял.бы.только.один.шаг.в.каждой.итерации.выборки. токена,.повторно.используя.предыдущее.внутреннее.состояние.

Вот.итог.перевода..Наша.модель.показала.неплохие.результаты,.хотя.и.допускает. много.ошибок.

Листинг 11.32. Некоторые результаты, сгенерированные рекуррентной моделью машинного перевода

Who is in this room?

[start] quién está en esta habitación [end]

-

That doesn't sound too dangerous. [start] eso no es muy difícil [end]

-

No one will stop me.

[start] nadie me va a hacer [end]

-

Tom is friendly.

[start] tom es un buen [UNK] [end]

Эту.простенькую.модель.можно.улучшить,.например.взяв.более.глубокий.стек. рекуррентных.слоев.в.кодировщике.и.в.декодере.(обратите.внимание,.что.в.таком. случае.управление.состоянием.декодера.несколько.усложнится)..Мы.могли.бы. использовать.слои.LSTM.вместо.GRU..И.так.далее..Однако.в.целом.применение. рекуррентных.сетей.к.обучению.«последовательность.в.последовательность». имеет.несколько.фундаментальных.ограничений:

.представление.исходной.последовательности.должно.целиком.храниться. в.векторе.(векторах).состояния.кодировщика,.что.существенно.ограничивает. размер.и.сложность.переводимых.предложений..Это.как.если.бы.человек. полностью.переводил.предложение.по.памяти,.не.заглядывая.в.исходное. предложение;

.рекуррентные.сети.плохо.справляются.с.очень.длинными.последователь- ностями,.потому.что.имеют.склонность.постепенно.забывать.прошлое.—.по. достижении.100-го.токена.в.любой.последовательности.в.модели.остается. мало.информации.о.начале.данной.последовательности..Следовательно,. модели.на.основе.RNN.не.могут.удерживать.длинный.контекст,.что.может. быть.необходимо.для.перевода.больших.документов.

Эти.ограничения.привели.к.тому,.что.для.решения.задач.преобразования.последовательностей.в.последовательности.в.сообществе.машинного.обучения. было.отдано.предпочтение.архитектуре.Transformer..Давайте.рассмотрим.ее. более.подробно.

442    Глава 11. Глубокое обучение для текста

11.5.3. Обучение типа «последовательность

в последовательность» архитектуры Transformer

Обучение.«последовательность.в.последовательность».—.это.задача,.с.которой. архитектура.Transformer.справляется.особенно.хорошо..Механизм.нейронного. внимания.позволяет.моделям.Transformer.успешно.обрабатывать.более.длинные. и.более.сложные.последовательности,.чем.в.случае.рекуррентных.сетей.

Человек,.переводящий.тексты.с.английского.на.испанский,.не.будет.читать. английское.предложение.по.одному.слову,.запоминать.его.значение,.а.затем. генерировать.предложение.на.испанском.по.одному.слову.за.раз..Такой.подход. еще.может.сработать.для.коротких.выражений.из.пяти.слов,.но.вряд.ли.подойдет. для.целого.абзаца..Вместо.этого.переводчик.неоднократно.будет.просматривать. исходное.предложение.и.перевод.и.обращать.внимание.на.разные.слова.в.исходном.тексте,.записывая.разные.части.перевода.

Именно.этого.позволяет.достичь.нейронное.внимание.и.Transformer..Вы.уже. знакомы.с.кодировщиком.Transformer,.который.использует.внутреннее.внимание.для.создания.контекстно.зависимых.представлений.для.каждого.слова.во. входной.последовательности..Кодировщик.Transformer.в.системе.машинного. перевода,.естественно,.будет.читать.исходную.последовательность.и.создавать.ее. кодированное.представление..Однако,.в.отличие.от.предыдущего.кодировщика. на.основе.рекуррентной.сети,.Transformer.хранит.закодированное.представление. в.форме.последовательности.контекстно.зависимых.векторных.представлений.

Вторая.половина.модели.—.декодер Transformer..Так.же.как.декодер.на.основе. рекуррентной.сети,.он.читает.токены.0....N.в.целевой.последовательности.и.пытается.предсказать.токен.N +.1..При.этом.он.использует.нейронное.внимание,. чтобы.определить,.какие.токены.в.закодированном.исходном.предложении.наиболее.тесно.связаны.с.целевым.токеном,.который.он.в.настоящее.время.пытается. предсказать,.—.возможно,.этим.он.мало.отличается.от.переводчика-человека.. Вспомните.модель.«запрос.—.ключ.—.значение»:.в.декодере.Transformer.целевая. последовательность.служит.запросом,.используемым,.чтобы.уделить.более.пристальное.внимание.различным.частям.исходной.последовательности.(которая. играет.две.роли:.ключей.и.значений).

Декодер Transformer

На.рис..11.14.показана.полная.структура.модели.Transformer.для.обучения. «последовательность.в.последовательность»..Посмотрите,.как.устроен.декодер:. он.очень.похож.на.кодировщик.Transformer,.за.исключением.дополнительного. блока.внимания.между.блоком.внутреннего.внимания,.который.применяется. к.целевой.последовательности,.и.полносвязными.слоями.в.выходном.блоке.

444    Глава 11. Глубокое обучение для текста

Листинг 11.33. TransformerDecoder

class TransformerDecoder(layers.Layer):

def __init__(self, embed_dim, dense_dim, num_heads, **kwargs): super().__init__(**kwargs)

self.embed_dim = embed_dim self.dense_dim = dense_dim self.num_heads = num_heads

self.attention_1 = layers.MultiHeadAttention( num_heads=num_heads, key_dim=embed_dim) self.attention_2 = layers.MultiHeadAttention( num_heads=num_heads, key_dim=embed_dim)

self.dense_proj = keras.Sequential( [layers.Dense(dense_dim, activation="relu"),

layers.Dense(embed_dim),]

)

self.layernorm_1 = layers.LayerNormalization() self.layernorm_2 = layers.LayerNormalization() self.layernorm_3 = layers.LayerNormalization()

Метод.call() .почти.в.точности.воспроизводит.диаграмму.на.рис..11.14..Но.есть. еще.одна.деталь,.которую.мы.должны.учесть:.каузальное заполнение (causal padding)..Оно.совершенно.необходимо.для.успеха.обучения.модели.Transformer. «последовательность.в.последовательность»..В.отличие.от.рекуррентных.сетей,. просматривающих.входные.данные.шаг.за.шагом.и.потому.имеющих.доступ. только.к.шагам.0....N.при.генерации.выходного.шага.N.(который.является.токеном. N +.1.в.целевой.последовательности),.декодер.TransformerDecoder .безразличен. к.порядку:.он.просматривает.всю.целевую.последовательность.сразу..Если.позволить.ему.использовать.всю.входную.последовательность,.он.бы.просто.научился.копировать.входной.шаг.N +.1.в.точку.N.на.выходе..В.результате.модель. достигла.бы.идеальной.точности.на.обучающих.данных,.но.при.прогнозировании. была.бы.абсолютно.бесполезна,.раз.на.входе.шаги.больше.N.недоступны.

Решается.проблема.просто:.нужно.замаскировать.верхнюю.половину.матрицы. попарного.внимания,.чтобы.модель.не.обращала.внимания.на.информацию.из. будущего..При.этом.для.создания.целевого.токена.N +.1.следует.использовать. только.информацию.из.токенов.0....N .в.целевой.последовательности..Чтобы. обеспечить.это,.добавим.метод.get_causal_attention_mask(self, inputs).в.наш.

11.5. За границами классификации текста    445

класс.TransformerDecoder,.возвращающий.маску.внимания,.которую.можно. передать.слоям.MultiHeadAttention.

Листинг 11.34. Метод в классе TransformerDecoder, генерирующий каузальную маску

def get_causal_attention_mask(self, inputs): input_shape = tf.shape(inputs)

batch_size, sequence_length = input_shape[0], input_shape[1] i = tf.range(sequence_length)[:, tf.newaxis]

j = tf.range(sequence_length)

mask = tf.cast(i >= j, dtype="int32") mask = tf.reshape(mask, (1, input_shape[1], input_shape[1]))

mult = tf.concat( [tf.expand_dims(batch_size, -1),

tf.constant([1, 1], dtype=tf.int32)], axis=0) return tf.tile(mask, mult)

Скопировать ее вдоль оси пакетов, чтобы получить матрицу с формой (размер_пакета, длина_последовательности, длина_последовательности)

Теперь.можно.записать.метод.call(),.реализующий.прямой.проход.декодера.

Листинг 11.35. Прямой проход декодера TransformerDecoder

def call(self, inputs, encoder_outputs, mask=None): causal_mask = self.get_causal_attention_mask(inputs) if mask is not None:

padding_mask = tf.cast(

mask[:, tf.newaxis, :], dtype="int32")

padding_mask = tf.minimum(padding_mask, causal_mask) attention_output_1 = self.attention_1(

query=inputs,

value=inputs,

key=inputs, attention_mask=causal_mask)

attention_output_1 = self.layernorm_1(inputs + attention_output_1) attention_output_2 = self.attention_2(

query=attention_output_1, value=encoder_outputs, key=encoder_outputs, attention_mask=padding_mask,

)

attention_output_2 = self.layernorm_2( attention_output_1 + attention_output_2)

proj_output = self.dense_proj(attention_output_2)

return self.layernorm_3(attention_output_2 + proj_output)