3-й семестр / Теория Loginom

Пакет – контейнер для составных частей процесса обработки данных, файл с расширением .lgp. Каждый пакет состоит из двух групп объектов: Ссылки и Модули. Пакет содержит хотя бы один Модуль. Одновременно можно работать с любым количеством пакетов одновременно.

Модуль состоит из:

• Сценарий – последовательность шагов по обработке данных;

• Подключения – настроенные источники и приёмники данных;

• Компоненты – созданные произв. компоненты в рамках текущего модуля.

Ссылки применяются для подключения других пакетов с целью использования их элементов в текущем пакете.

Узел – компонент, добавленный в область сценария. Каждый узел в сценарии может работать с тремя видами объектов: набор данных, переменные, подключения.

Три типа действий в сценарии: импорт, обработка, экспорт. Они отличаются наличием входных и выходных портов.

	Импорт	Обработка	Экспорт
Входные порты	-	+	+
Выходные порты	+	+	-

Если узел отработал успешно при запуске обработки, его контур станет зелёным, если нет, то красным. Контуры портов тоже станут зелёными, если узел активизирован, и в портах есть данные. Когда обработка в узле занимает продолжительное время, его внутренняя часть превращается в индикатор прогресса выполнения. На время обработки узел блокируется. Можно открыть панель с подробной статистикой выполнения процессов, нажав на кнопку i.

Переменная – объект, который может содержать только одно значение для вычислений. В этом их основное отличие от набора данных. Порты для переменных графически отображаются полукругом. Порты набора данных отображаются прямоугольником. Входные порты: набор данных, подключения, переменные. Выходные порты: набор данных, переменные.

Переменные системы, переменные сессии, переменные пакета, переменные пользователя.

Компонент – элемент loginom, предназначенный для обработки данных и содержащий определенную логику.

Производный компонент – компонент, созданный пользователем.

Сконфигурированные и несконфигурированные порты.

Обязательные и необязательные порты.

Узел можно переобучать. Эта функция используется для узлов, основанных на обучении (нейронные сети, деревья решений и прочее). Переобучение особенно необходимо в тех случаях, когда набор данных изменился и требуется перестроить модель на новых данных.

Узел-ссылка используется для компактного расположения сценария, а также для ветвления сценария.

Для каждого узла можно настроить модификаторы доступа, определяющие область его видения. По умолчанию узел является закрытым.

Закрытый, защищенный, внутренний, открытый, опубликованный.

Область видимости модуля. Модуль по умолчанию открытый.

Компоненты импорта: база данных, текстовый файл, файл Excel, файл XML, Loginom Data файл.

Формат файла lgd.

При выборе типа данных происходит конвертация данных. Зелёный – конвертация прошла без потерь. Жёлтый – возможны потери при конвертации. Красный – данные были утеряны полностью, обычно стоит null.

Для каждого узла можно настроить визуализаторы. С их помощью можно выбрать наиболее удобный способ представления данных. Самый простой и часто используемый – Таблица.

Управляющие переменные содержат значения параметров настроек мастера какого-либо узла, что позволяет более гибко реализовать логику обработки данных, например, организовать ограниченный перебор какого-то параметра алгоритма. Значение параметра может задаваться вручную или переменной.

Подмодель – компонент, содержащий последовательность других компонентов, реализующих заданную логику обработки данных. Использование подмоделей позволяет упростить структуру сценария, многократно использовать этот фрагмент, в том числе в ссылках и циклах, создавать производные компоненты.

Два способа создания подмоделей: «сворачивание» в подмодель фрагмента существующего сценария и создание пустой подмодели и её наполнение (проектирование без данных).

Различия между Узлом-ссылкой и Выполнением узла: Узел-ссылка выполняет логику обработки, заключенную в родительском узле, на тех же самых входных данных. Выполнение узла на новых данных.

Компонент Цикл с заданным количеством итераций, с постусловием, групповой обработкой данных.

Групповая обработка.

Производный узел – производный компонент, помещенный на полотно построения сценария.

Базовый узел – узел, на основе которого создан производный узел: стандартный узел Loginom, подмодель, производный узел.

Производный узел получает настройки базового узла и производного компонента, структуру входных и выходных портов, логику обработки данных, метку с индексом.

Наследование означает, что все изменения в базовом узле будут автоматически внесены в производные компоненты, созданные на его основе.

Обновить конфигурацию узла – будут обновлены только те элементы производного узла, которые не изменялись пользователем вручную.

Восстановить исходную конфигурацию узла – восстановится полное соответствие производного узла базовому.

Библиотека компонентов – пакет с набором готовых производных компонентов. После подключения библиотеки к текущему пакету производные компоненты библиотеки становятся доступны для использвания.

Визуализаторы.

Диаграмма. Наиболее частые типы диаграмм – Линии и Столбчатая.

Куб является одним из распространенных методов комплексного многомерного анализа данных, или OLAP. В его основе лежит представление данных в виде многомерных кубов, называемых также OLAP-кубами или гиперкубами.

Куб – удобное средство визуализации многомерных данных и получения необходимых форм отчетов. Он содержит измерения и факты, определенные при построении.

Статистика. С его помощью можно просмотреть различные статистические показатели по каждому набору данных. В верхней части окна отображается общее количество записей в наборе.

Гистограмма – наиболее универсальный показатель. Она показывает распределение значений по неким интервалам для полей непрерывного вида и распределение по уникальным значениям для дискретного вида данных.

В Статистике по умолчанию отображается восемь показателей: гистограмма значений поля, диаграмма размаха, минимальное, максимальное и среднее значения, стандартное отклонение, количество пропусков и уникальных значений.