14. Основы программирования Shell, Sed и Awk. Программирование в среде gawk

Программируя в Shell, иногда не хватает имеющихся средств стандартных команд и средств перенаправления данных для создания гибких условий поиска и обработки полученных результатов. Требуются принципиально новые условия создания запросов и новые средства обработки информации. Нам уже известно, что стандартными фильтрами для создания и обработки запросов являются такие команды как cat, sort, find, grep, egrep, fgrep, cmp, diff и некоторые другие. Однако их возможности ограничены либо работой самой команды, либо работой в составе опций. Что же делать, если требуется создать более гибкие условия поиска и обработки информации в Linux? На этот счет можно воспользоваться встроенной в Linux программной средой GAWK и ее предшественником AWK.

При форматировании отчетов и извлечении информации из больших текстовых фай­лов неоценимую помощь нам оказывает утилита gawk, снабженная мощными сред­ствами обработки текста. Основная задача утилиты gawk состоит в просмотре текстового файла или строки с целью нахождения в них информации, соответствующей заданному критерию отбора. Утилита имеет собственный язык программирования, поэтому ее мож­но назвать программируемым фильтром, настроенным на выполнение конкретной за­дачи. Фактически gawk выполняет две функции. С одной стороны, это фильтр, который можно вызвать из командной строки так же, как и любой другой фильтр. С другой стороны, gawk — это среда программирования, с помощью которой можно создавать другие фильтры.

Фильтры, создаваемые с применением языка программирования gawk, могут ис­пользоваться в среде любого интерпретатора Linux, в том числе shell, BASH и TCSH. Их задача заключается в считывании информации из источника данных, например текстового файла или стандартного потока ввода, изменении и анализе считанного, сохранении выходных данных. Результатом работы gawk, как правило, являются отре­дактированные входные данные. Вы можете дать ему указание считывать данные из файла, сортировать их в алфавитном порядке либо по номерам строк и направлять строки текста в выходной поток, как это делает фильтр sort, либо, подобно фильтру wc, считывать информацию из файла, подсчитывать количество слов и строк в тексте, а затем отображать полученные результаты. С помощью gawk вы можете выполнить поиск в файле информации, соответствующей заданному шаблону, после чего вывести найденные строки, то есть выполнять функции, присущие утилите фильтрации grep.

Язык программирования gawk позволяет пользователю не только разрабатывать соб­ственные фильтры, но и создавать команды Linux. С его помощью можно отображать строки вводимого текстового файла на экране (как в случае применения команды cat), выполнять поиск информации в файлах в соответствии с заданными шаблонами (как при использовании утилиты grep) и даже подсчитывать, сколько раз встречается опре­деленное слово в текстовом файле (возможности фильтра wc). В каждом из указанных случаев пользователь может добавить собственные функции, обеспечивающие фильт­рацию, например, задать отображение лишь части каждой строки, выполнение поиска по шаблону в указанном поле или подсчет слов, набранных только прописными буквами. Подобная гибкость дает возможность использовать gawk для создания отчетов, поиска за­данных текстовых фрагментов и выполнения вычислений на основе вводимых данных.

Утилиту gawk можно вызвать непосредственно из командной строки или из shell-сценария с помощью ключевого слова gawk. Такой сценарий часто рассматривают как новый фильтр. Фактически с помощью gawk вы можете определять собственные фильт­ры. В этом случае реализуются обе функции утилиты — и как фильтра, и как среды программирования. И обе они будут рассмотрены в настоящей главе: сначала мы изучим все возможности gawk как фильтра, а затем рассмотрим, как с ее помощью можно настроить свои фильтры.

Утилита gawk обладает гибким и сложным языком программирования и поддержи­вает команды, которые позволяют анализировать текст и выполнять расчеты. Можно также объявлять переменные и использовать их для управления процессом обработки строк. Многие операторы взяты из языка программирования С и имеют такой же син­таксис. Все это делает gawk очень мощным инструментом. Утилита gawk — это GNU-версия UNIX-утилиты awk, которая создавалась как стан­дартная утилита ОС UNIX (одним из ее создателей является Брайен Керниган, раз­работавший UNIX). Впоследствии была выпущена расширенная версия awk — nawk, предназначенная для обработки файлов. С помощью nawk можно обращаться к не­скольким файлам в одной программе. Утилита gawk представляет следующий этап раз­вития awk; в ней реализованы как возможности nawk, так и стандартные средства awk.

Команда gawk принимает в качестве аргументов инструкцию фильтра и список имен файлов. Инструкция заключается в одинарные кавычки и рассматривается как один аргумент. Она состоит из двух сегментов: шаблона и кода, задающего действие. Команды, определяющие действие, заключаются в фигурные скобки. Шаблонная часть уточняет, когда следует выполнять действие либо по отношению к каким входным данным оно должно производиться. Термин «шаблон» может ввести вас в заблуждение. Вероятно, более точно было бы назвать его условием. В утилите gawk имеется целый набор операций для построения сложных условий. Поиск по шаблону можно рассмат­ривать как условие поиска записей. Вместо простого сопоставления с шаблоном, как в случае с grep, пользователь задает условие. Записи, которые удовлетворяют этому условию, выбираются, и к ним применяются действия, указанные в соответствующем сегменте. Синтаксис инструкции таков: шаблон {действие}

Утилита gawk получает данные либо из файлов, либо со стандартного устройства ввода. Имена файлов можно указать в командной строке после инструкции. Если та­ковые не указаны, то входные данные берутся со стандартного устройства ввода. Вызов этой утилиты состоит из ключевого слова gawk, инструкции и имен файлов. Как и в фильтре sed, инструкция помещается в одинарные кавычки, чтобы shell ее не интер­претировал. Поскольку условие и действие рассматриваются утилитой gawk как единый аргумент, их нужно заключить в одну пару кавычек. Синтаксис команды gawk показан в следующем примере.

$ gawk 'шаблон {действие}' имена_файлов

Шаблон в инструкции можно рассматривать как прототип строки в файле. Указанное действие выполняется над этой строкой. В следующих двух примерах на экран выводятся все строки, содержащие слово Penguin. В сегменте «шаблон» необходимо задать поиск по шаблону, для чего шаблон выделяется символами косой черты. Выбираться будут все записи с этим шаблоном. Сегмент «действие» в первом примере содержит команду print, которая направляет строку на стандартное устройство вывода.

books

Tempest Shakespeare 15.75 Penguin Christmas Dickens 3.50 Academic

Iliad Homer 10.25 Random

Raven Рое 2.50 Penguin

$ gawk '/Penguin/{print}' books

Tempest Shakespeare 15.75 Penguin Raven Рое 2.50 Penguin

Во втором примере сегмента «действие» нет, поэтому применяется действие, задан­ное по умолчанию, то есть команда print.

$ gawk '/Penguin/' books

Tempest Shakespeare 15.75 Penguin Raven Рое 2.50 Penguin

Поиск по шаблону и специальные символы

Утилита gawk может выбирать строки, используя шаблон, который содержит спе­циальные символы. Сам шаблон обозначается двумя косыми и помещается в сегменте шаблона инструкции gawk.

/шаблон/ {действие}

Поиск по шаблону осуществляется во всех строках файла. Указанное действие вы­полняется по отношению к строке, в которой обнаруживается шаблон. В этом случае выполняемая gawk работа очень похожа на редактирование. Как и в sed, строка рас­сматривается в качестве строки текста, а поиск шаблона осуществляется во всей строке. В следующем примере gawk ищет строку с шаблоном Рое и, найдя таковую, выводит ее на экран.

$ gawk '/Рое/{print}' books

Raven Рое 2.50 Penguin

В gawk можно использовать те же специальные символы, что и в регулярных вы­ражениях, в фильтре sed и редакторе Ed. В первом из приведенных ниже примеров поиск шаблона выполняется в начале строки, обозначенном специальным символом ^. Во втором примере поиск шаблона производится в конце строки, который обозначен спе­циальным символом $.

$ gawk '/^Christmas/{print}' books

Christmas Dickens 3.50 Academic

$ gawk '/Random$/{print}' books

Iliad Homer 10.25 Random

Как и в утилитах Ed и sed, в gawk с помощью специальных символов можно задавать разновидности шаблона: точка обозначает любой символ, звездочка — несколько эк­земпляров шаблона, а квадратные скобки — набор символов. В показанном ниже при­мере точка используется для поиска шаблона, в котором за одним произвольным сим­волом следуют символы «en».

$ gawk '/.en/{print}' books

Tempest Shakespeare 15.75 Penguin

Christmas Dickens 3.50 Academic

Raven Рое 2.50 Penguin

В следующем примере используются квадратные скобки и звездочка, то есть задается последовательность чисел. Набор возможных чисел определен диапазоном цифр в квадратных скобках, [0—9]. Звездочка обозначает любое количество экземпляров чисел. Заканчивается шаблон последовательностью символов .50. Совпадением считается лю­бое число, которое заканчивается указанными символами .50. Обратите внимание: перед точкой стоит обратная косая черта, благодаря чему программа рассматривает ее именно как точку, а не как специальный символ.

$ gawk '/[0-9]*\.50/ {print}' books

Christmas Dickens 3.50 Academic Raven Рое 2.50 Penguin

Кроме этого, в gawk используются специальные символы расширенного набора: +, ? и |. Символы + и ? — это варианты специального символа *. Символ + обозначает один или несколько экземпляров какого-либо символа, а ? — ни одного или один экземпляр символа. Символ | позволяет задать другие искомые шаблоны. В следующем примере пользователь ищет строку, содержащую либо шаблон Penguin, либо шаблон Academic.

$ gawk '/Penguin|Academic/ {print}' books

Tempest Shakespeare 15.75 Penguin Christmas Dickens 3.50 Academic

Raven Рое 2.50 Penguin

Переменные, операторы и массивы

В gawk поддерживаются определения переменных различных типов, массивов и стан­дартных арифметических операторов и операторов присваивания, которые существуют в большинстве языков программирования (в частности, в С). В состав gawk включены также условные операторы. Их мы рассмотрим чуть позже, в разделе «Управляющие структуры».

Переменные, константы и шаблоны

Утилита gawk позволяет определять переменные. Существует три типа переменных: переменные для обозначения полей, специальные переменные и пользовательские пе­ременные. Переменные для обозначения полей и специальные переменные утилита определяет автоматически. Пользователь может определять собственные переменные. Кроме того, можно определять арифметические и строковые константы. Арифметиче­ские константы состоят из цифр, а строковые — из любых символов, заключенных в двойные кавычки.

Поле — это любой набор символов, ограниченный разделителем полей. По умол­чанию в качестве разделителя используется пробел или знак табуляции. Как и другие фильтры, gawk нумерует поля, начиная с 1. Утилита определяет переменную для каждого поля файла. Имя переменной, обозначающей поле, состоит из знака $ и номера поля. Так, имя $2 указывает на второе поле. Переменная $0 — это специальная переменная, содержащая всю строку.

В следующем примере выводятся второе и четвертое поля файла books, именуемые $2 и $4.

books

Tempest Shakespeare 15.75 Penguin

Christmas Dickens 3.50 Academic

Iliad Homer 10.25 Random

Raven Рое 2.50 Penguin

$ gawk '{print $2, $4}' books

Shakespeare Penguin Dickens Academic

Homer Random

Рое Penguin

Переменной можно присвоить значение с помощью операции присваивания =. Зна­чение может быть содержимым переменной (скажем, переменной, обозначающей поле), специальной переменной или пользовательской переменной. Оно может быть и кон­стантой (см. следующий раздел). В нашем примере пользователь присваивает перемен­ной myfield значение второго поля.

$ gawk ‘{myfield = $2; print myfield}' books

Shakespeare Dickens

Homer Рое

По умолчанию gawk разделяет поля символами пробела или табуляции. Однако вы можете определить собственные разделители, которые нужно явно задать посредством опции -F. Фактически при использовании этой опции устанавливается специальная переменная FS, выступающая в роли разделителя поля. В качестве разделителя можно указать любой символ.

Арифметические операторы и операторы присваивания

Язык gawk поддерживает полный набор арифметических операторов, обеспечиваю­щих выполнение операций сложения, вычитания, умножения, деления, а также деления с остатком. Арифметические операторы аналогичны операторам языка программиро­вания С. Все эти операторы, а также операторы присваивания перечислены в табл. 2.

В gawk существует возможность выполнять арифметические вычисления над значе­ниями, заданными числовыми шаблонами. Числовой шаблон представляет собой по­следовательность цифр. Примерами шаблона могут служить арифметическая константа или поле, содержимым которого являются числа. Арифметические константы, пере­менные полей, а также определяемые пользователем переменные, значения которых представляют числовые шаблоны, могут использоваться в качестве операндов арифме­тических операций. Существует также ряд встроенных числовых переменных gawk, на­пример NR, определяющая номер текущей записи, и NF, задающая количество полей в текущей записи. Такие переменные могут применяться и в качестве арифметических операндов.

Арифметические операции обычно вводятся в сегменте действия или шаблона ин­струкции gawk. В следующем примере выводятся все четные строки. Знак процента (%) представляет собой оператор деления по модулю, результатом выполнения которого является остаток от деления на число. Если остаток от деления номера строки на 2 равен нулю, значит, номер строки четный. Обратите внимание, каким образом скобки изменяют порядок выполнения операторов в выражении.

$ gawk '(NR % 2) ==0 {print NR, $0}' books

2 Cristmas Dickens 3.50 Academic _{

4 Raven Рое 2.50 Penguin

Арифметические операторы и переменные позволяют выполнять вычисления над значениями полей таблиц, хранящихся в базе данных. Например, сумму значений в заданном столбце можно вычислить так, как это делается в электронной таблице. Рас­смотрим пример, в котором суммируются значения третьего столбца таблицы из файла books. Суммируемое значение присваивается переменной tot, определенной пользователем. Для вывода на печать итогового значения tot используется специальный шаблон END. При этом считается, что значение переменной tot при инициализации автома­тически устанавливается равным 0.

$ gawk '{print; tot = tot + $3} END {print "Total=",tot}' books

Tempest Shakespeare 15.75 Penguin

Christmas Dickens 3.50 Academic

Iliad Homer 10.25 Random

Raven Рое 2.50 Penguin Total= 32

Наряду со стандартными арифметическими операторами в gawk применяются со­ставные арифметические операторы присваивания. Составные операторы представляют собой комбинацию арифметических операторов и операторов присваи­вания. Они используются для сокращенной записи операции присваивания, когда в переменной сохраняется результат вычисления выражения, в котором применяется эта же переменная. Например, операция tot = tot + 1 может записываться с помощью составного арифметического оператора += в виде tot += 1. В данном случае в арифме­тическом выражении переменную tot указывать не требуется, поскольку само применение составного арифметического оператора += уже предполагает ее наличие. Аналогичным образом, и оператор i = i * 2 может быть записан с применением составного арифме­тического оператора *= в виде i *= 2. Результат выполнения приведенной ниже ко­манды такой же, как и в предыдущем примере:

$ gawk '{print; tot += $3} END {print "Total=", tot)’ books

Массивы и ассоциативные массивы

В gawk к элементу массива обращаются, как и в обычных языках программирова­ния — с помощью индекса, заключенного в скобки и помещенного после имени масси­ва. Массив, подобно переменным, определяется после первого использования индекса. Однако в среде gawk, в отличие от некоторых языков программирования, объявлять массив и задавать его границы не требуется. В gawk массивы являются динамическими и их размерность увеличивается по мере добавления новых элементов.

В следующем примере объявляется массив titles, каждому элементу которого при­сваивается значение первого поля в строке. Этот массив может содержать произвольное количество элементов (в данном случае оно равно количеству строк). В качестве индекса массива используется переменная num, значение которой увеличивается на единицу после каждого обращения к элементу массива. По окончании вычисления на печать выводится последний элемент массива.

$ gawk ' (title» [num] - $1; num++} END {print title» [num -1]}' books Raven

Предположим, нам требуется присвоить значение каждому полю отдельной записи массива. Это можно реализовать с помощью обычных операторов присваивания, задавая нужное значение для каждого поля. Существует и более короткий путь решения зада­чи — использование функции split, которая разделяет строку символов на сегменты и помещает полученные сегменты в массив. Аргументами функции split являются входная строка символов, результирующий массив и символ-разделитель. Символ-раз­делитель представляет собой строку. Например, при использовании в качестве разде­лителя двоеточия будет задействована строка «>. Если символ-разделитель не указан, в качестве разделителя по умолчанию применяется символ пробела или табуляции.

Функцию split можно использовать и для обработки строковых значений. Напри­мер, функция split ("9-10-92" ,date,"-") присваивает значение 9 элементу массива date[l], значение 10 — элементу date[2], а значение 92 — элементу date[3]. В следующем примере значение каждого поля строки присваивается элементу массива myrec. Выбор присваиваемой строки осуществляется с помощью шаблона /Dickens/. Вывод полей производится в обратном порядке.

$ gawk '/Dickens/ (split($0, myrec); print myrec[4], myrec[3], myrec[2], myrec[1]}' books

Academic 3.50 Dickens Christmas

В gawk можно также определять ассоциативные массивы. В массивах такого типа в качестве индекса используются строковые значения. Предположим, вам требуется найти информацию об издательстве, опубликовавшем произведение некоего автора. В следующем примере названия издательств присваиваются элементам массива, в котором в качестве индекса используются имена авторов. Второе поле представляет собой имя автора, а четвертое — название издательства. В данном примере на печать выводится название издательства Dickens. Обратите внимание на двойные кавычки вокруг строки «Dickens». При использовании строковой константы в качестве индекса массива строку требуется заключать в двойные кавычки.