
книги из ГПНТБ / Брага, В. В. Основы технологии машинной обработки статистической информации [учеб. пособие]
.pdfчетности. Тем более, что определенные предпосылки для этого созданы.
Действительно, если логический контроль осуществляется на ЭВМ и в ЗУ хранится вся необходимая информация для такого контроля, а ЭВМ позволяет на основании комплекса машинных программ из отдельных показателей сформировать любые задан ные статистические таблицы, то особой необходимости в тради ционных формах статистической отчетности нет. В этих условиях будет реализован один из важнейших принципов МИСС — одно кратный ввод в систему каждого показателя. Таким образом уменьшится объем вводимой информации за счет устранения дуб лирования показателей и их параллельных потоков.
При этом каждому показателю можно присвоить определенный шифр (идентификатор), на основании которого ЭВМ по спе циальной машинной программе сможет сформировать всю необхо димую информацию, которая обеспечивала бы логический кон троль данного показателя, этот же шифр служил бы ключевым признаком для организации с помощью комплекса списков, хра нящихся в памяти ЭВМ, всех тех таблиц, в которых участвует дан ный показатель.
Переход к показателям позволит классифицировать их по источникам возникновения. Показатели, возникающие в ходе про изводства, могут быть введены в систему с помощью различных датчиков, регистраторов производства; показатели, возникающие в административном аппарате на различных его уровнях, — с по мощью суммирующих, бухгалтерских машин, имеющих перфоленточные приставки. Например, «Аскота-170» с перфоленточной при ставкой, пишущие машины с перфоленточной приставкой и т. д.
Таким |
образом, |
использование в качестве |
основного документа |
||||
списков |
показателей и постепенный |
отход от традиционных форм |
|||||
статистической |
отчетности |
является |
одним |
из |
основных |
принци |
|
пов МИСС. |
|
|
|
|
|
|
|
При |
создании выходных |
таблиц |
в МИСС |
возникает |
возмож |
ность объединять показатели в таких сочетаниях, которые сейчас
недоступны в силу того, что они находятся |
в различных отчетных |
|
документах, принадлежащих различным отраслевым |
статистиче |
|
ским отделам. Такая огромная работа не |
может быть |
выполнена |
без проведения глубокого экономического |
исследования. Таким |
образом, существо интеграции обработки статистической отчет ности заключается в однократном вводе в систему минимально не обходимого числа показателей и возможности их совместной обра ботки, в результате чего устраняются параллельные потоки инфор мации и дублирование показателей. Такая организация технологи ческого процесса, реализующего интеграцию обработки, обеспечи вает реальный экономический эффект за счет полной непрерыв
ности |
процессов |
обработки, так |
как все |
стадии |
технологического |
процесса, начиная с подготовки |
данных, |
будут |
автоматизированы. |
||
В |
условиях |
МИСС каждый |
показатель участвует в большом |
200
числе расчетов. Поэтому шифр показателя должен обеспечить, как уже отмечалось доступ к определенной совокупности списков, хра нящихся в ЭВМ, где указано, в каких расчетах этот показатель участвует. Составление таких списков как раз и требует глубокого экономического анализа.
Из изложенного ясно, что базой МИСС являются мощные авто матизированные архивы информации, где в постоянной готовности должны храниться данные прошлых периодов по всем показателям, плановые данные, различная справочная и нормативная информа ция, списки, о назначении которых говорилось выше, программное обеспечение — все это и будет составлять банк данных (БД), являющихся фундаментом МИСС.
Основными направлениями создания и признаками МИСС яв ляются следующие.
На основании анализа показателей статистической информации определяется совокупность показателей, вводимых в систему, при чем каждый показатель вводится только один раз. Из введенных показателей формируются все необходимые сводные статистиче ские формы. В результате обеспечивается полная сопоставимость
всех статистических отчетов, так как они базируются на |
одних к |
тех же значениях показателей. Основой МИСС являются |
мощные |
автоматизированные БД. |
|
Устраняется дублирование показателей и параллельные потоки данных.
Происходит постепенный переход от ввода в систему форм от четности к вводу списков показателей. Это позволяет автоматизи ровать подготовку носителей или использовать человеко-машинные носители, т. е. такие формы документов, которые могут быть про чтены человеком и специальным устройством.
Потоки информации организуются таким образом, что от ниже стоящего уровня информация поступает только в один ВЦ, так как БД доступны для различных пользователей, а информация из них может быть передана для использования в различные уровни си
стемы, |
|
j |
Технологический |
процесс характеризуется |
непрерывностью |
обработки на всех его |
этапах. |
|
Программное обеспечение системы должно быть единым и весьма развитым. Фее технологические приемы обработки, опера ции, их классификация должны быть однотипны.
Система будет иметь высокую гибкость и возможность наращи вания.
По мере развития МИСС третий, а потом и четвертый уровни системы станут единственным местом, где будет осуществляться полный логический и арифметический контроль данных, так как именно эти уровни ближе всего расположены к отчитывающимся организациям.
Машинные носители на всех уровнях МИСС являются юриди ческим эквивалентом отчетов, так как отчеты не пересылаются.
201
Соответственно меняются функции отделов подготовки и выпуска; исчезает функция контроля вводимых данных, зато расширяется функция выпуска в связи с увеличением числа разновидностей таблиц со сложной структурой.
Резко повышается содержательность статистической информа ции благодаря возможности получения новых, ранее недоступных таблиц, применению математических методов и различных гра фиков.
Наличие БД делает возможным автоматически получать в сжатые сроки без дополнительных значительных затрат на про граммирование новые, ранее не предусмотренные таблицы, в том числе таблицы с данными, относящимися к нижестоящим уровням, так как можно по каналам связи получать данные из любого БД.
Учитывая ту особую роль, которую играет БД в условиях МИСС, целесообразно несколько подробнее рассказать о банке данных или точнее, автоматизированном банке данных (АБД).
§ 3. АВТОМАТИЗИРОВАННЫЙ БАНК ДАННЫХ
Термин «банк данных» или «автоматизированный банк данных» (АБД) появился несколько лет назад. Термин «банк» из области финансов означает, что АБД выполняет в отношении информации то же самое, что финансовый банк для. денежных средств, т. е. по лучает информацию из различных источников, хранит и передает ее в соответствии с требованиями заказчика.
На этом аналогия кончается, так как с помощью АБД воз можно многосторонне комбинировать и связывать в различных со четаниях друг с другом разные показатели и таким образом полу чать качественно новую информацию. Создание АБД стало воз можным лишь с появлением ЭВМ третьего поколения, работающих в режиме «разделения времени». Это означает, что машиной могут одновременно пользоваться при помощи каналов связи несколько потребителей, находящихся на значительном расстоянии от ЭВМ. При этом любой пользователь имеет доступ к памяти машины, где записана в определенной системе хранимая, постоянно обновляю щаяся информация. Таким образом, если в памяти ЭВМ имеется массив информации, находящейся в постоянной готовности, к ко торому имеют доступ различные пользователи, то можно говорить об автоматизированном банке данных.
Информацию в АБД необходимо расположить так, чтобы в лю бое время возможно было получить любое сочетание, любую ком бинацию интересующих нас данных. Для организации АБД ма шина должна иметь многоуровневую память, например большую медленнодействующую память на магнитных лентах, большую и довольно быструю память на магнитных дисках и, наконец, емкую быстродействующую оперативную память. В современных ЭВМ третьего поколения наблюдается тенденция к увеличению емкости оперативной памяти. При организации АБД информация будет
202
размещаться в памяти различных уровней. Совершенно очевидно, что более нужная, более оперативная информация должна распола гаться в быстродействующей памяти, доступ к ней должен быть оперативнее. При размещении информации в АБД необходимо учитывать частоту использования каждого вида информации.
Организация АБД в системе меняет подход к |
структуре ВЦ |
всех уровней, организации потоков статистической |
информации, |
срокам ее представления, ее периодичности, а также способам пе редачи данных. Создание АБД требует установки дорогостоящих ЭВМ, и поэтому нецелесообразно будет организовывать АБД при ВЦ каждого статуправления области, края. Вероятно, на первом этапе потребуется создание АБД лишь кустовых ВЦ, обслуживаю
щих несколько областей. |
Но |
в этих условиях должен быть доступ |
||
к |
АБД |
кустового ВЦ и |
ВЦ |
каждой области (края), входящей |
в |
куст, |
посредством каналов связи. |
||
|
В этом случае возникает |
необходимость обмена информацией |
по горизонтали между ВЦ отдельных статистических управлений,
входящих в сферу действия кустового вычислительного |
центра, так |
и по вертикали между вычислительными центрами |
различных |
уровней. |
|
Создание АБД позволит значительно уменьшить объем инфор мации, передаваемой из одного уровня в другой, так как большая часть ныне передаваемых каждый отчетный период данных будет храниться в АБД в состоянии готовности, для чего в хранимые дан ные будут своевременно вноситься изменения. Это позволит также резко уменьшить объем периодически циркулируемой в системе информации, наряду с этим по многим видам отчетности возникнет потенциальная возможность удлинить период ее представления. Действительно, сейчас довольно много показателей собирается «впрок», для разовых «справок». Наличие АБД позволяет получить данные для этих «справок» только тогда, когда это необходимо.
АБД — это организационно-техническая подсистема, позволяю щая накапливать большие массивы данных, сформированные таким образом, что отдельные данные или группы данных могут комби нироваться в любых сочетаниях с другими данными и выдаваться
влюбое время потребителю.
Влитературе, посвященной АБД, часто выделяются следующие функции АБД: накопление, сочетание (получение любых комбина ций данных), прямое обращение к АБД различных пользователей.
Раньше, чем начать накапливать данные в АБД, необходимо решить, что накапливать, какие показатели, поэтому чрезвычайно важной является работа по отбору информации, подлежащей хра нению в АБД, тем более, что стоимость хранения единицы инфор мации довольно высока. Данные в АБД хранятся, как уже отме чалось, в форме, готовой для пользования. Это значит, что должен происходить постоянный процесс обновления этих данных, приве дение их в соответствие с теми изменениями, которые произошли в отражаемых ими экономических сущностях, например, изменение
203
отпускных цен, административно-территориального деления, под чиненности и т. д.
Все эти изменения должны производиться в АБД автоматически при помощи комплекса машинных программ с наименьшими за тратами машинного времени. В условиях прямого обращения поль зователей к АБД, последний должен служить интересам многих пользователей, т. е. при выдаче информации должны учитываться специфические особенности потребителя информации. Интересы пользователей могут быть противоречивыми, но в любом случае каждый пользователь должен иметь возможность получать столько
же данных, сколько он получал бы, если |
бы имелся |
АБД |
только |
для него. Поэтому в АБД должна быть |
обеспечена |
возможность |
|
формирования показателей в заранее не предусмотренных |
сочета |
ниях. Вместе с тем необходимо определить состав признаков пока зателей с учетом возможных потребностей каждого пользователя.
Число вариантов сочетаний показателей может быть очень велико, а надо организовать АБД так, чтобы возможно было по
лучить эти |
сочетания с |
минимальными |
затратами |
времени и |
средств. Возникает потребность расклассифицировать |
различные |
|||
варианты |
сочетаний показателей на постоянно встречающиеся |
|||
в запросах |
пользователей, |
периодически |
и редко встречающиеся. |
В зависимости от отнесения того или иного вида сочетаний по казателей к соответствующей группе, можно будет и организовать оптимальное размещение показателей, участвующих в этих соче таниях в памяти разного вида, входящих в АБД.
Для реализации функции АБД, обеспечивающей прямое обра щение, АБД организуется так, что в любое время имеется возмож ность доступа пользователей к информации. Пользователи при помощи ряда простых правил формулируют свои запросы и за дают их ЭВМ, управляющей АБД. С данной целью подразделения пользователей (например, отделы ЦСУ) должны быть оборудо ваны терминальными устройствами, оснащенными клавиатурой, телевизионным экраном, небольшим печатающим устройством. Терминальное устройство связывает ЭВМ, находящуюся на значи тельном расстоянии, с пользователем. При помощи такого устрой ства за несколько минут из АБД может быть получена любая информация.
Не следует смешивать различные понятия: архив информации на МЛ и банк данных. В банке данных хранение информации орга низовано так, что она в любое время может агрегироваться (соеди няться), отбираться и комбинироваться из основных (первичных) показателей в соответствии с требованием потребителя. Для этого разрабатывается комплекс различных индексов, адресов связи и указателей.
В архиве информации такая организация не предусматривается. Здесь обычно стремятся только как можно более полно использо вать емкость накопителя, а из архива накопленная информация выдается в той же форме, в какой она хранилась.
20 і
Рассмотрим состав АБД. Технической базой АБД является ЭВМ, на которую возлагаются функции управления банком. При этом вовсе не исключено, что ЭВМ кроме этого решает и другие задачи, более того, ЭВМ использует АБД для обработки различ ных данных. Но такая ЭВМ (управляющая АБД) должна иметь запоминающие устройства разных уровней на магнитных дисках, магнитных барабанах, магнитных лентах и др. Иначе говоря, АБД может быть построен на базе ЭВМ, имеющей развитую систему за поминающих устройств.
Информационной основой АБД является база данных, т. е. вся совокупность показателей данной системы, записанных в запоми нающие устройства ЭВМ определенным образом, обеспечивающим логическую и арифметическую совместимость различных групп показателей. Для того чтобы ЭВМ могла оперировать с различ ными данными в базе данных, каждому показателю или группе показателей присваиваются определенные признаки, обеспечиваю щие машинное оперирование с отдельными показателями или груп пами показателей. Такими признаками в базе данных могут быть ключевые слова, дескрипторы, индексы, указатели, коды призна ков, адреса связи и т. д. Пользователь, давая заказ для АБД, ма нипулирует именно этими понятиями (или символами этих поня тий), а ЭВМ интерпретирует их в последовательную цепь операций, обеспечивающих те или иные манипуляции в базе данных. Хране ние в базе данных осуществляется в виде записей, состоящих из показателей и комплекса служебных признаков.
Схема размещения элементов записи или формат записи яв ляется определенным для семантически однородных показателей. Содержание и структура записи, должна удовлетворять потреб ности всех пользователей. Поэтому требуется глубокое экономиче ское обоснование содержания и структуры записей и, в конечном счете, базы данных. Банк данных должен иметь программное обес печение, при помощи которого выполняются процедуры по вклю чению новых показателей в базу данных, исключение их, сжатие массивов данных, объединение списков и массивов, расчленение списков и массивов на части, комбинирование массивов, форми рование комбинаций записей для выдачи на печать1 .
Кроме этого для АБД надо составить такие программы, кото рые бы позволили автоматически, в необходимой периодичности (раз в неделю или месяц) на основании хранящихся в АБД дан ных формировать определенные таблицы. Программы также должны обладать возможностью сверхбыстрого получения некото рых оперативных разовых данных. Эти программы должны обес печить работу всей системы на расстоянии в режиме «разделения времени» с целью обслуживания пользователей, удаленных от АБД;
1 Массив — логически взаимосвязанная совокупность записей. Список — нанабор слов или кодов (шифров), обеспечивающих взаимосвязь между терми нами пользователя и терминами (машинными) базы данных.
205
программы должны также обеспечить секретность хранимой в АБД информации. Из приведенного перечня задач управления базой данных видно, что программное обеспечение АБД является чрезвычайно сложным, и недаром эту задачу считают самой слож ной в современном программировании. Создание АБД —очень трудоемкая работа, требующая больших затрат времени как спе циалистов по машинной обработке, так и экономистов. Например, опыт некоторых стран показывает, что при создании довольно ограниченного банка статистических данных общая трудоемкость чисто экономической работы при создании АБД составила 25—30% всего времени.
При формировании банка данных одним из главных вопросов остается вопрос о его структуре. Иначе говоря, вопрос о тех клю чевых признаках, которые лягут в основу различных операций
вбазе данных.
Счего же должна быть начата работа по построению АБД статистических данных? Прежде всего необходимо построить мат рицу взаимосвязи показателей. При этом должен быть тщательно
изучен каждый |
показатель, способы |
его получения, |
взаимосвязь |
|
с другими показателями, |
сроки его |
получения и использования. |
||
Это трудоемкая работа, но начинать надо с нее, так |
как матрица |
|||
взаимосвязей, |
вместе с |
характеристиками каждого |
показателя |
явится хорошим инструментом для подготовки исходных данных, необходимых при проектировании АБД.
у
О Г Л А В Л Е Н И Е
Г л а в а |
I . Вычислительные центры — техническая |
база автоматизирован |
|||||
ной |
системы государственной статистики |
|
|||||
§ |
1. Значение |
вычислительных установок для |
развития механизации |
||||
|
|
в |
органах |
ЦСУ |
СССР |
|
|
§ |
2. |
Организационная структура вычислительной системы ЦСУ и ее |
|||||
|
|
|
совершенствование |
|
|
||
§ |
3. |
Классификация |
вычислительной |
техники |
|
||
§ |
4. |
Характеристика |
статистической |
информации |
|
Гл а в а I I . Основные устройства ЭВМ и некоторые вопросы программи рования
§ |
1. |
Принцип действия и основные устройства ЭВМ |
|
§ |
2. |
Краткая характеристика ЭВМ «Минск-32» |
|
§ |
3. |
Основы программирования |
на ЭВМ |
§ |
4. |
Принципы автоматизации |
программирования |
§ |
5. |
Алгоритмический |
язык |
КОБОЛ |
|
|
|
|
|
|
||||||
Г л а в а |
I I I . Проектирование |
машинной |
обработки |
статистической |
||||||||||||
информации |
|
|
|
|
|
|
|
|
|
|
|
|
||||
§ |
1. Задачи и организация проектирования |
в системе . . . |
|
|
||||||||||||
§ |
2. |
Проектирование |
|
комплексов |
электронной |
обработки |
статистиче |
|||||||||
|
|
ских данных |
|
|
|
|
|
|
|
|
|
|
|
|||
" § |
3. Проектирование кодов и шифров |
|
|
|
|
|
|
|||||||||
§ |
4. |
Проектирование |
первичных |
и |
сводных |
статистических |
отчетов |
„ . |
||||||||
§ |
5. |
Постановка |
статистических |
задач |
|
|
|
|
|
|
||||||
§ |
6. |
Проектирование |
машинных |
носителей |
информации |
|
|
|
||||||||
Г л а в а |
IV. Проектирование |
операций |
технологического |
процесса |
ма |
|||||||||||
шинной |
обработки |
|
|
|
|
|
|
|
|
|
|
|
||||
§ |
1. Общее |
понятие |
о |
технологическом |
процессе |
|
|
|
||||||||
§ |
2. |
Подготовка |
статистической |
информации к |
машинной |
обработке . . |
||||||||||
§ |
3. |
Прием, контроль и регистрация статистической информации в от |
||||||||||||||
|
|
деле |
(секторе) |
механизированных |
разработок |
|
|
. . . |
||||||||
§ |
4. |
Подготовка машинных носителей и их контроль |
|
|
|
|||||||||||
§ |
5. |
Обработка |
информации |
на |
ЭВМ |
|
|
|
|
|
|
§6. Контроль и выпуск
§7. Некоторые типовые схемы технологического процесса машинной
|
|
обработки |
статистических |
задач |
|
|
|
|
|
|
|
|||||
Г л а в а |
V. Примеры |
электронной |
обработки |
некоторых |
статистических |
|||||||||||
задач |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
§ |
1. Комплекс электронной обработки статистической отчетности про |
|||||||||||||||
|
|
мышленных |
предприятий |
по |
формам |
№ |
2-т, |
7, |
8, |
9-м |
и 8 |
(отрас |
||||
|
|
левая) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
§ |
2. |
Машинная |
обработка |
статистических |
отчетов |
по |
форме № |
2-сн . . |
||||||||
§ |
3. |
Машинная обработка сведений об обновлении промышленной про |
||||||||||||||
|
|
дукции формы |
№ 5-нт |
(обновление) |
|
|
|
|
|
|
|
|||||
§ |
4. |
Машинная |
обработка |
отчетов о выработке тканей |
в |
ассортименте |
||||||||||
|
|
но |
форме |
№ 2-п (ширпотреб) |
|
|
|
|
|
|
|
|||||
§ |
5. |
Машинная |
обработка |
отчетов научных |
учреждений по форме № 5-нк |
|||||||||||
§ |
6. |
Машинная |
обработка |
|
выборочного |
обследования |
причин |
теку |
||||||||
|
|
чести рабочих |
|
|
|
|
|
|
|
|
|
|
|
|
||
Г л а в а V I . Автоматизированная |
система |
государственной |
статистики |
|||||||||||||
(АСГС) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
§ |
I . Система, системный анализ, |
его основные принципы |
|
|
||||||||||||
§ |
2. |
Интеграция |
обработки |
статистической |
отчетности |
. . . . . . . . |
||||||||||
§ |
3. |
Автоматизированный |
банк |
данных |
|
|
|
|
|
|
|
БРАГА ВЕРА |
ВЛАДИМИРОВНА |
|
ПАНЮШКИНА |
ТАМАРА |
ПЕТРОВНА |
ОС Н О В Ы ТЕХНОЛОГИ И
МА Ш И Н Н О Й ОБРАБОТК И СТАТИСТИЧЕСКО Й И Н Ф О Р М А Ц И И
Научный редактор Я- Л . Ципис Редактор Л. И. Ларина, В. А. Ж у д о в
Техн. редактор |
К. К. |
Сенчило |
|
|
|
|
|||
Корректоры: О. Г. Ш у мекая |
и И. В. |
Мартынова |
|
|
|||||
Худ . редактор Т. В. |
|
Стихно |
|
|
|
|
|||
Переплет х у д о ж н и к а |
В. С. |
Сергеевой |
|
|
|
||||
Сдано в набор |
5/ІѴ |
1973 г. Подписано |
к печати |
28/ѴІП 1973 г. |
|||||
Формат бумаги |
60 X 90'/ів. Бумага № 3. Объем |
13 печ. л. |
|||||||
Уч.-изд. л. 14,90. Тираж |
10 000 экз. А-09642. |
Зак. |
ГУПКЦСУ СССР |
||||||
Издательство «Статистика:», |
Москва, |
ул. Кирова, 39. |
|
||||||
З а к а з №. 321. |
Цена 60 коп. |
|
|
|
|
|
|||
Типография |
им. |
Котлякова |
издательства «Финансы» |
|
|||||
Государственного комитета |
Совета |
Министров СССР |
по д е л а м |
||||||
издательств, |
полиграфии и книжной |
торговли. |
|
|
|||||
Ленинград, Садовая, 21. |
|
|
|
|
|
