Linux_Format_2013_02_167

В конце­ строки­ вы види­те­ особый­ фрагмент­ context_instance

текущую дату. Также стоит установить количество по умолчанию

=RequestContext(request). Одно из преимуществ RequestContext

в 1, поскольку, скорее­ всего,­ каж­дый­ предмет­ будет­ в единст­вен­­

в том, что он предостав­ля­ет­ защи­ту­ от атак мето­дом­ подделки

ном числе.

межсетевых запросов [cross-site request forgery], также­ извест­­

Чтобы подставить в поле дату, нужно определить текущую

ных как атака­ в один клик или захват сессии [session riding]. Доба­

дату, для чего воспользуемся модулем datetime. Сначала импор­

вив к нашему шаблону токен CSRF, Django поможет защитить ва­

тируем модуль в начале файла views.py:

ше приложение от подобных атак.

import datetime

Теперь представление готово, и пора создать шаблон для обра­

Теперь заполним форму. Для этого создадим новый экземп­

ботки формы. В каталоге pawnstore/templates/inventory создайте

ляр Item и заполним некоторые поля. Затем передадим его фор­

файл newitem.html и добавь­те­ в него следую­щий­ код:

ме при ее создании­.

Это означает, что форма заполняется заранее, и любые из­

<h1>Add New Item</h1>

менения в форме применяются к этому экземпляру. Мы также со­

<form action=”{% url newitem %}” method=”post”>{% csrf_token %}

храняем его в базе данных.

<table>

В функции view объекта newitem(), создайте экземпляр объ­

{{ item_form.as_table }}

екта с такой­ первой­ строкой­ функции:­

</table>

<input type=”submit” value=”Save” />

formdata = Item(dateadded = datetime.date.today().isoformat(),

quantity = 1)

</form>

В этом файле­ мы созда­ем­ тэг <form> и передаем код шаблона,

Здесь мы создаем новый экземпляр Item и задаем значения

который будет для вас новым:

по умолчанию для каждого из полей. Текущая дата для поля

«дата» у нас задается с помощью функции isoformat() модуля

<form action=”{% url newitem %}” method=”post”>

Синтаксис { % url newitem  %} – это корот­кая­ ссылка­ на строку­

datetime.

newitem в файле­ urls.py. Вы помните, что в этой строке­ мы указа­ли­

Осталось просто сказать форме, чтобы она загружала этот эк­

имя name=“newitem”; ну, а теперь­ мы на него сосла­лись­. Как я от­

земпляр в качестве своих данных. Для этого измените строку,

метил, для защиты от атак нам нужен­ токен­ CSRF, и теперь мы его

в которой создается экземпляр NewItemForm():

добавим:

form = NewItemForm(request.POST or None, instance =

formdata)

{% csrf_token %}

Затем мы добавляем саму главную форму:

Мы здесь создаем экземпляр нашего элемента Item(). Если­ те­

перь перезагрузить форму, на ней появится дата.

<table>

Тут некоторые из вас могут поинтересоваться, зачем мы

{{ item_form.as_table }}

все равно спрашиваем у пользователя дату. Ее можно заполнять

</table>

Здесь мы просто­ созда­ем­ тэг <table> и из него обращаемся

автоматически и даже не обязательно показывать пользователю.

к item_form, которая была передана шаблону, используя as_table

В этом, несомнен­но,­ есть смысл, да и в других­ случа­ях­ тоже­

для отображения содержимого формы в виде таблицы. Наконец,

можно скрывать некоторые поля формы. Для этого обновим

мы добавляем кнопку Save (Сохранить) и закрываем форму:

класс NewItemForm() в forms.py. Внутри­ класса,­ сразу­ после­ стро­

ки class Meta: добавьте следующее:

<input type=”submit” value=”Save” />

</form>

exclude = [ ‘dateadded’ ]

Теперь форма должна работать, и с ее помощью вы сможете

Потом перезагрузите форму и порадуйтесь тому, что поле

добавить новый объект в базу данных. После добавления эле­

с данными исчезло!

мента происходит перенаправление на индекс объектов.

Далее, перейдем к другому этапу обработки формы, который

Настраиваем форму

мы еще не исследовали. Загрузите форму и заполните все поля,

кроме одного (скажем, Description) – его не трогай­те­.

Теперь форма готова, и можно кое-что изменить. Например, сей­

Вы увидите, что перед дальнейшей обработкой Django на­

час в нашей­ форме­ дату­ нужно­ вводить­ в особом­ форма­те:­

помнит пользователю, что заполнены не все поля.

Это одна из по-настоящему удобных возможностей Django,

YYYY-MM-DD

Это может запутать пользователей, к тому же в разных странах

ведь в большинстве фреймворков такое приходится обраба­

форматы даты разные. Идеально было бы подставить в это поле

тывать вручную. Впрочем, иногда некоторые поля могут быть

и пустыми – например, если они содержат опциональную

Python и HTML

информацию.

И настро­ить­ это, к счастью,­ доволь­но­ легко­. Нужно­ лишь

немного изменить наши модели данных в models.py.

Некоторые из читателей нашей серии уроков являются нович­

Чтобы поле Description могло­ быть пустым, просто­ добавь­те­

следующий код к определению поля в классе Item():

ками в Python и HTML. Вот несколько­ отлич­ных­ ссылок­ и ресур­­

сов, которые помогут узнать о Python и HTML больше:

description = models.TextField(blank=True)

» Dive Into Python — www.diveintopython.net. Это отлич­ная­ бес­

При добавлении blank=True поле­ будет­ принимать пустые зна­

платная книга Марка Пилгрима [Mark Pilgrim], представляю­

чения; это будет отражено в базе данных.

щая собой исчерпывающее руководство по программированию

В заключение

на Python. В ней рассматриваются различные темы, такие как

Электронная копия журнала Linux Format. Нелегальное распространение преследуется по закону Ф. Заказ LC0. Владелец копии: Аноним Аноним Анонимович, email:

начальные знания, переменные, функции, объектно-ориенти­

koltovit h.depresnjak yandex.ru

рованное программирование, обработка файлов, регулярные

На нашем уроке мы перекрыли важный участок пути к нирване

выражения (полезные для нашего urls.py), обработка HTML

Django. Как и с любой­ техно­ло­ги­ей,­ чтобы­ сделать­ что-то хоро­­

и другие­. Она также­ есть на DVD этого номера.

шее, нужно практиковаться. Продолжайте писать код, выходить

» W3Schools — www.w3schools.com – крупнейший­ сайт по обу­

из трудных­ ситуа­ций­ – и совсем­ скоро­ вы буде­те­ созда­вать­ фан­

чению web-программированию в Cети. Содержит руководства

тастические web-приложения.

На следую­щем­ уроке­ я пока­жу,­ как, не изучая­ CSS, украсить

и путеводители почти по всем аспектам web-программирования,

включая HTML, CSS, JavaScript и многие­ другие­.

свое приложение профессиональными темами. Удачи, приятного

прошлый раз мы создали многозадачные версии функций

portion_helper, является телом каждого рабочего процесса, т. е.

map и reduce, реализующие порционную обработку исход­

функцией, которую каждый рабочий процесс выполняет во время

Вных данных­. Сего­дня­ мы усложним наш при­мер и изба­­

своей­ жизни. Так как на данный­ момент­ мы исполь­зу­ем­ модель­

вимся от главного недостатка предыдущей реализации.

«одноразовых процессов», то функция portion_worker/4 работает

Припомним, на чем мы тогда остано­ви­лись­. Мы выде­ли­ли­

по очень простой схеме: обработать порцию исходных данных

общую­

часть из функций­

parallel_map:portion_pmap/3

и отослать результат обработки обратно главному процессу. Ес­

Наш

и parallel_reduce:portion_reduce/4 в виде­ функции­ parallel_

тественно, что функция portion_worker/4 должна быть парамет­

эксперт

portion_helper:portion_core/4 и вспомогательной функции

ризована функцией Fun для обработки порции исходных данных.

portion_worker/4, определенной в модуле parallel_portion_

Андрей Ушаков

portion_worker(Fun, SourcePortion, Index, MasterPid) ->

helper, но не экспор­ти­руе­мой­ из него. Функция­ parallel_portion_

DestPortion = Fun(SourcePortion),

активно прибли­

helper:portion_core/4

выполняет всю основную работу: разбивает

MasterPid ! {result, Index, DestPortion}.

жает­ тот день, ко­

данные на порции, создает рабочие процессы и раздает им за­

Парал­лель­ные­ версии­ функций­ map и reduce, создан­ные­ с ис­

гда функциональ­

ные языки станут

дания, собирает результаты трудов рабочих процессов и объеди­

пользо­ванием­ функции­ parallel_portion_helper:portion_core/4

мейнстримом.

няет их в итоговый результат. Чтобы эту функцию можно было

(и вспомо­га­тель­ной­ функции­ portion_worker/4), выгля­дят­ так:

применять для построения любых функций, способных парал­

portion_gen_pmap(_Fun, [], _PortionSize) -> [];

лельно обрабатывать списки данных, нужно параметризовать ее.

portion_gen_pmap(Fun, SourceList, PortionSize)

Для этого­ надо­ задать­ две функции:­ функцию­ WorkerFun для об­

when length(SourceList) =< PortionSize ->

работки порций данных в рабочих процессах и функцию FinalAg-

lists:map(Fun, SourceList);

grFun для объединения обработанных данных в итоговый резуль­

portion_gen_pmap(Fun, SourceList, PortionSize) ->

тат. Помимо параметров WorkerFun и FinalAggrFun, мы должны­

WorkerFun = fun(SourcePortion) -> lists:map(Fun,

также передать в функцию parallel_portion_helper:portion_core/4

SourcePortion) end,

исходный список с данными SourceList и размер­ порции­ Portion-

parallel_portion_helper:portion_core(WorkerFun, fun

Size, обрабатываемой одним рабочим процессом.

lists:append/1, SourceList, PortionSize).

portion_gen_reduce(_Fun, [], {InitValue, _PortionInitValue}, _

portion_core(WorkerFun, FinalAggrFun, SourceList, PortionSize) ->

PortionSize) -> InitValue;

process_flag(trap_exit, true),

portion_gen_reduce(Fun, SourceList, {InitValue, _

MasterPid = self(),

PortionInitValue}, PortionSize)

PortionCount = parallel_common:calc_portion_

count(length(SourceList), PortionSize),

when length(SourceList) =< PortionSize ->

PreparedData = parallel_common:prepare_data(PortionSize,

lists:foldl(Fun, InitValue, SourceList);

SourceList),

portion_gen_reduce(Fun, SourceList, {InitValue, PortionInitValue},

lists:foreach(fun({Index, Portion}) -> spawn_link(fun() ->

PortionSize) ->

portion_worker(WorkerFun, Portion, Index, MasterPid) end) end,

ReduceFun = fun(List) -> lists:foldl(Fun, InitValue, List) end,

PreparedData),

PortionReduceFun = fun(List) -> lists:foldl(Fun, PortionInitValue,

List) end,

EmptyStorage = array:new([{size, PortionCount}, {fixed, true},

{default, none}]),

parallel_portion_helper:portion_core(PortionReduceFun,

ReduceFun, SourceList, PortionSize).

FullStorage = parallel_common:collect_result(EmptyStorage,

PortionCount),

Видно,­ что функции­ parallel_map:portion_gen_pmap/3 и par-

allel_reduce: portion_gen_reduce/4 полу­ча­ ют­ ся­ достаточ­­

process_flag(trap_exit, false),

но просты­ми­. Они могли­ бы быть еще проще,­ если­ бы мы мог­

FinalAggrFun(array:to_list(FullStorage)).

Функция portion_worker/4, определенная в модуле parallel_

ли вынести обработку не параллельных вариантов в функцию

parallel_portion_helper:portion_core/4; но как мы пока­за­ли­ в про­

Флаг +P

шлый раз, сделать­ это невозмож­но­.

Внимательные читатели здесь могут вспомнить: мы говорили,

создание функции parallel_portion_helper:portion_core/4 по­

зволит избавиться от дублирования кода, а также позволит лег­

ко реализовывать многозадачные версии других функций. И если

Электронная копия журнала Linux Format. Нелегальное распространение преследуется по закону

Ф. Заказ LC0. Владелец копии: Аноним Аноним Анонимович, email:

нения Erlang (программа erl на Linux и erl.

koltovit h.depresnjak yandex.ru

задает максимальное количество процес­

факт избавления от дублирования кода мы видели на приме­

exe на MS Windows) можно­ задать­ мак­

сов, которые могут быть созданы одновре­

ре функций parallel map:portion gen pmap/3 и parallel_reduce:

симально возможное количество про­

менно; значение этого параметра должно

portion gen reduce/4, то о возможности легко реализовать мно­

цессов, которые могут быть одновре­

лежать в диапазоне от 16 до 134217727.

гозадачную версию какой-либо другой функции мы в прошлый

менно созданы в данном экземпляре

Значение­ по умолчанию­ – 32768 (именно

среды­ выполнения­ Erlang. Для это­го

столько

процессов среда выполнения

раз только­ гово­ри­ли­ (в связи­ с ограничением­ на размер­ статьи)­ .

при создании­ среды­ выполнения­ Erlang

Erlang позволяет одновременно создать,

Давайте покажем, что такая возможность действительно есть;

(при запуске программы erl) следует ука­

если не задавать ключ +P).

и в качестве такой демонстрации создадим многозадачную вер­

сию для операции фильтрации (для функции filter). Операция

Systemd размещает каждый запускаемый процесс в контроль

Upstart: аутсайдер?

ной группе,­ назван­ной­ по своей­ службе­. Контроль­ные­ группы­ –

функция ядра, позволяющая организовывать процессы иерар

чески, а также применять к этим группам ограничения на ресурсы.

Systemd пользуется этой функцией группировки, и ему требует­

мерно­ с 2006 года,­ и в основном­ приме­ня­ет­ся­ в Ubuntu. Он также­ был внедрен в неко­

ся активация CONFIG_CGROUPS в конфигурации ядра (она не ис­

торые­ другие­ дист­ри­бу­ти­вы,­ в первую­ очередь­ Google Chrome OS, OpenSUSE и Red Hat

пользует ограничение ресурсов cgroup и не требует активации

Enterprise Linux, а также­ его произ­вод­ные­ CentOS, Scientific Linux и Fedora. Но Fedora

этих дополнительных параметров ядра). Можно увидеть организа­

и OpenSUSE пере­шли­ на systemd.

цию, обеспечивающую использование контрольных групп:

$ systemd-cgls

Новый­ вид chroot

или просмотреть представление cgroup с помощью команды ps:

Systemd включает два новых механизма, альтернативных исполь­

$ ps xawf -eo pid,user,cgroup,args

Еще одно важное изменение, пришедшее с systemd, состоит

зованию chroot. Первый­ – поддерж­ка­ пространств­ имен фай­

в том, что он предоставляет свои собственные средства ведения

ловой системы, относительно новая функция ядра. Они пре­

логов, который она называет журнал [journal]. Журнал может за­

доставляют более мощную альтернативу использованию chroot

менить традиционный syslog (но они могут и сосуществовать).

для ограничения сферы действия службы. Вы можете сде­

Systemd использует службу systemd.journald вместо отдельного

лать каталоги доступными только для чтения или полностью

объекта syslog вроде syslog-ng.

недоступны­ми­ для какой­-либо­ службы­. В раздел­ [Service] фай­

Основное различие между journal и традиционным систем­

ла конфигурации юнита службы могут быть добавлены две ди­

ным журна­лом­ явля­ет­ся­ то, что journal – это двоич­ная­ база­ дан­

рективы: ReadOnlyDirectories может быть использована для пе­

ных, тогда как системный лог записывается в текстовый файл

речисления каталогов, которые служба может только читать,

в /var/log. Это озна­ча­ет,­ что для чтения журна­ла­ нужны­ особые­

а InaccessibleDirectories сделает каталоги невидимыми для

средства, но они довольно просты: команда journalctl, использо­

службы.

ванная­ сама­ по себе,­ пере­чис­лит­ все журна­лы­. Вместе­ с тем, по­

Например, чтобы не позволить службе трогать ваш домашний

лезные результаты можно получить с помощью фильтров:

каталог /home, добавьте директиву в ее файл настройки:

$ journalctl /usr/bin/sshd

[Service]

Скорая

или по имени модуля:

InaccessibleDirectories=/home

помощь

$ journalctl _SYSTEMD_UNIT=sshd.service

После этого служба не увидит домашний каталог /home и бу­

По умолчанию, journal нестабилен: он записывается на времен­

считать,­ что его нет.

ное хранение в /run/log/journal, если только не существует ката­

Второй механизм, обеспечиваемый systemd, называет

systemd прило­

лог /var/log/journal. Создав такой каталог, можно сделать journal

systemd-nspawn и позволяет запускать гостевую ОС внутри кон

жили много стара­

постоянным. Разные варианты настройки для управления пове­

тейнера. Он находится между chroot и Linux Containers. Это бо­

ний к составлению

дением journal указываются в файле /etc/systemd/journald.conf.

мощное и безопасное средство, чем chroot: оно виртуализи

документации –

Journal – не просто замена системного журнала: он также соби­

ет иерархию файловой системы, дерево процессов, подсисте

его man-страницы

прямо-таки

рает сообщения ядра, диска в оперативной памяти для начальной

IPC, а также­ хост и домен­ное­ имя. Одна­ко­ оно, хотя­ и исполь­­

бесценны.

инициализации, ранних сообщений загрузки, а также сообщения,

ет те же базовые технологии ядра, не является полноценным кон

запи­сан­ные­ в стандарт­ный­ вывод­ об ошиб­ках всех служб. journal

тейнерным решением, таким как Linux Containers – напри­мер,­ оно

можно также использовать вместо таких средств, как dmesg,

не обеспечивает виртуализацию сети. Зато создать контейнер

чтобы просмотреть сообщения ядра, например:

systemd-nspawn очень просто­.

Создать­ и загру­зить­ гостевую­ ОС на Arch Linux можно­ двумя­

$ journalctl _TRANSPORT=kernel

Разные варианты доступа к регистрационным данным указаны

простыми командами:

в man journalctl. Systemd также предоставляет инструменты для

$ mkarchroot base arch-container

анализа информации, которую он собирает. Можно проверить

$ systemd-nspawn -D arch-container/ /sbin/init

время загрузки системы:

Это позво­лит­ загру­зить­ контейнер­ в подсказ­ку­ для входа­ в сис­

тему. Для контейнеров на основе Debian можно использовать

$ systemd-analyze

debootstrap.

Startup finished in 4475ms (kernel) + 100491ms (userspace) =

104966ms

При использовании контейнеров иногда полезно знать, что

вы нахо­ди­тесь­ в одном­ из них. Systemd поможет и здесь: команда

[Запуск­ завер­шен­ за 4475 мс (ядро)­ + 100491 мс (пользо­ва­­

тельское пространство) = 104966 мс]

systemd-detect-virt сообщит вам, работаете ли вы в виртуализи­

Этот вывод показывает время загрузки по частям, в ядре

рован­ной­ среде­. Она вернет “none” или имя исполь­зуе­мой­ среды:­

и в пользовательском пространстве. Если загрузка проходит

$ systemd-detect-virt lxc

не так быст­ро,­ как хоте­лось­ бы, вы здесь увиди­те,­ чья это вина:­

systemd-detect-virt может­ обна­ру­жить­ qemu, kvm, vmware,

microsoft, oracle, xen, bochs, chroot, openvz, lxc, lxc-libvirt

$ systemd-analyze blame

и systemd-nspawn. Используя systemd, вы можете изолиро­

$ systemd-analyze plot > plot.svg

Две формы­ выво­да­ данных­ – на терми­нал­ и в виде­ графи­ка­.

вать службу от сети, задать ей собственный каталог /tmp или

Третья форма вывода – график зависимостей. Он выводит дан­

удалить из него функциональные возможности. Вы также мо­

ные в формате dot точек для дальнейшей обработки в GraphViz

жете применить ограничения ресурсов cgroup. Для получения

Электронная копия журнала Linux Format. Нелегальное распространение

преследуется по закону Ф. Заказ LC0. Владелец копии: Аноним Аноним Анонимович, email:

koltovit h.depresnjak yandex.ru

(открытое ПО для визуализации графов). Если пакет GraphViz

дополнительной информации об этих полезных дополнениях об­

установлен, вы можете создавать графические файлы SVG:

ратитесь к справочной странице systemd.exec.

$ systemctl dot | dot -Tsvg > systemd.svg

На нашем уроке мы рассмотрели достаточно возможностей

Полученный график показывает упорядоченное расположение

systemd, чтобы­ дать вам хоро­шее­ представ­ление­ о том, как его

и требования зависимостей; в сыром виде он может быть доволь­

настроить и как он работает. Их гораздо больше, чем реально

но велик, но вывод можно ограничить конкретными зависимостя­

было­ бы рассмот­реть­ в столь корот­кой­ статье,­ но все это очень

ми. Использование журнала и этих инструментов анализа позво­

хорошо документировано, и когда это будет применено в вашем

ляет легче установить причину задержек в процессе загрузки.

любимом дистрибутиве, вы будете готовы. |

Основная проблема с параллелизацией уже существую­

щих и хорошо проверенных на практике алгоритмов заключа­

ется­ в том, что дале­ко­ не все их можно­ разбить­ на незави­си­мо­

выполняемые фрагменты. Даже если дать современному ком­

пилятору сто тысяч процессоров, он не сможет в общем случае

Наш

без подсказки программиста добиться сколько-нибудь значимого

эксперт

прироста производительности. Поэтому на сегодня вменяемая

Евгений Балдин

параллелизация лежит на человеческом уровне, то есть почти все

приходится делать вручную. Это как возврат ко временам, когда

Физик, который

оптимизирующие компиляторы с языков высокого уровня были

действительно

не способны соревноваться с программистами на ассемблере.

знает, что такое

нехватка вычисли­

Со временем это поменяется, но для этого нужно создать хорошо

тельных ресурсов.

подготовленное и квалифицированное сообщество, готовое пи­

сать, тестировать, да и просто использовать новые инструменты

и понятия.

Идея цикла появилась у меня, когда я ради интереса забрел

в Институт вычислительной математики и математической гео­

физики на двухдневную «Школу по параллельному программиро­

ванию гибридных кластеров», где вкратце знакомили с техноло­

гиями MPI и CUDA. Вторую часть практических занятий я частично

проигнорировал, так как был занят уговариванием ведущих за­

нятия Михаила Остапкевича и Константина Калгина включиться

в процесс ликвидации безграмотности окружающих, и меня в ча­

стности, на более литературном уровне.

Я ни в коем­ случае­ не буду­ единст­вен­ным­ авто­ром­ статей­ цик­

ла, так как не явля­юсь­ специа­ли­стом­ в этом вопро­се­. Как и в слу­

чае цикла по свободной системе анализа R, который публиковал­

ся в Linux Format с 2008 по 2010 годы,­ статьи­ будут­ писать­ разные­

люди. Я же буду выполнять роль координатора и «причесывате­

ля текста»­. В случае­ с R такая­ страте­гия­ приве­ла­ в 2012 году­ к из­

данию первой­ толстой­ книги по R в России «Нагляд­ная­ стати­­

думаю,­ что все, кто чита­ет­ эти строки,­ как-то умеют­ про­

стика. Используем R!» за авторством А.Б. Шипунова и шести его

граммировать: в современном мире уметь использовать

сподвижников­ (я тоже­ удосто­ил­ся­ чести­ стать одним из них). Есть

Якомпьютер эффективно, то есть переваливать на него ту­

надежда, что и в случае этого цикла тоже удастся собрать мате­

пую и нудную­ рабо­ту­ – это необхо­ди­мость­. Ну, или хотя­ бы знают,­

риал для большой и серьезной, хоть и популярной, литературной

что такое алгоритм – набор инструкций, описывающий порядок

формы.

действия исполнителя. Другое дело, что почти все, за исклю­

Предварительный план цикла статей ни в коем случае не будет

чением очень небольшого числа узких специалистов, под словом

истиной в последней инстанции и легко поменяется в момент,

«алгоритм» понимают традиционную последовательную пара­

когда кого­-то из участников­ процес­са­ осветит­ светлая­ и инте­­

дигму, где слово «порядок» подменяет слово «последователь­

ресная­ идея, а также­ если­ внезапно­ число­ участников­ увели­­

ность». Пора­ это менять,­ и чем раньше­ это случит­ся­ и чем с боль­

чится. Порядок статей тоже весьма примерный: статьи могут как

шим числом­ людей­ – тем лучше­.

Этот текст явля­ет­ся­ введением­ в цикл статей,­ кото­рый­ я за­