Работа с сервисом бизнес-аналитики Yandex DataLens. Учебное пособие

–в связи с большим набором разного функционала и способом организации данных затруднительно без должного изучения системы решать сложные задачи;

–трудоёмкость построения сложных моделей данных: встроен-

ный функционал ETL не позволяет присоединять таблицы из разных источников друг к другу и дополнительно их обрабатывать на этапе трансформации.

«Криста BI» – информационно-аналитическая платформа для федеральных и региональных органов власти, предприятий и организаций для решения задач бизнес-аналитики, формирования отчётности и комплексного мониторинга ключевых показателей биз- нес-процессов.

Разработчик платформы НПО «Криста» работает и на российском, и на зарубежном рынках информационных технологий с 1992 г. В команде свыше 1700 сотрудников, 22 филиала по РФ, 4 центра разработки. В число пользователей продуктов компании входят органы государственной власти и местного самоуправления, государственные и муниципальные учреждения.

Сильные стороны платформы:

–система позволяет импортировать данные из множества различных источников;

–система позволяет создавать витрины данных, представляющие собой модель, связывающую несколько таблиц, использовать эти витрины в качестве источников для создания аналитических отчётов;

–система позволяет создавать расчётные показатели в визуализациях «на лету», используя данные из разных полей и связанных

между собой таблиц. Также в системе есть возможность создавать сложные меры с применением различных условий отбора данных.

Слабые стороны платформы:

–система имеет сложный для понимания интерфейс обработки данных и создания отчётов, что может привести к затруднениям в освоении и применении различных функций;

–при реализации ETL-процесса требуется выполнить множество шагов по подключению к данным и настройке операций их обработки, что выглядят довольно избыточно. Кроме того, некоторые из них требуют знания языков программирования, что существенно влияет на время реализации ETL-процессов;

41

–отсутствует документация, детально описывающая все возможности системы и методы использования этих возможностей. Попытки самостоятельно реализовать некоторые операции по обработке данных могут приводить к ошибкам, которые не могут быть реше-

ны самостоятельно, без помощи специалистов со стороны вендора. PolyAnalyst – это промышленная аналитическая no-code-плат- форма и среда визуальной разработки сценариев анализа данных и текстов, не требующая от пользователя навыков программирования. Система включает в себя функциональность по загрузке, очистке/ обработке и анализу данных с применением алгоритмов машинного обучения, извлечению информации из текстовых документов с применением алгоритмов обработки естественного языка, созданию ви-

зуальных интерактивных отчётов.

Разработчик платформы – российская компания «Мегапьютер Интеллидженс». Вендор обладает 25-летним опытом разработки аналитических решений. Команда включает около 100 разработчиков, аналитиков и математиков. Релиз новых версий платформы проводится регулярно в среднем раз в два месяца.

Сильные стороны платформы:

–широкий перечень механизмов по обработке, преобразованию (в том числе интеллектуальному) и анализу данных (регрессионный анализ, прогнозирование, анализ распределений, NLP и множество др.);

–наличие встроенных коннекторов к источникам различных типов, а также к некоторым веб-ресурсам, таким как интер- нет-страницы (встроенный парсер), Twitter, WebHose и др.;

–наличие детальной и полной описательной документации по работе во всех модулях системы (что позволяет значительно ускорить процесс по освоению системы);

–широкий перечень параметров для реализации безопасности доступа: настройка прав и доступов как на уровне каталогов и отчётов, так и на уровне листов, элементов наборов данных и на уровне конкретных значений данных;

–система имеет адаптацию на восемнадцати языках (как в интерфейсе системы, так и в анализе текстовых данных).

Слабые стороны платформы:

–возможны сложности в освоении платформы. Поскольку система имеет широкий функционал, при старте работ довольно

42

сложно разобраться с тем, где и какие параметры должны быть настроены для получения желаемого результата;

–отсутствие возможности расчёта показателей в визуализациях «на лету», например состоящих из данных разных столбцов: все показатели должны быть предварительно рассчитаны в необходимом разрезе на аналитическом клиенте, результаты расчётов уже могут использоваться в качестве источника для построения визуализаций;

–ограниченные возможности настройки некоторых визуальных

элементов (например, есть возможность настроить палитру для всего отчёта или столбчатой диаграммы, при этом нет возможности настроить окрашивание элементов для OLAP-таблицы).

«N3. Аналитика» – российская BI-платформа, предназначенная для анализа и визуализации больших данных.

Отличительные особенности решения:

–работа с полным циклом анализа данных: ETL, хранение, визуализация;

–современная архитектура на основе СПО, что позволяет развивать продукт без ограничений;

–российская команда разработки, которая готова дорабатывать продукт под потребности заказчика.

Платформа была разработана в 2017 г. и используется в госсек-

торе в 20 регионах России для обработки данных цифрового здравоохранения. В ежедневном оперативном управлении платформы «N3. Аналитика» – данные о здоровье 25 миллионов человек. Это терабайты данных, сотни объектов в информационной модели, тысячи атрибутов. Вне отрасли здравоохранения платформа работает с проектами для государства и бизнеса в таких сферах, как фармацевтика, строительство, ритейл и производство.

Сильные стороны платформы:

–возможность работы с Аналитическим модулем без знаний программирования и специальной подготовки – интерфейс позволяет легко ориентироваться и создавать визуализации и дашборды с помощью технологии drag-n-drop;

–использование открытого программного обеспечения, что открывает доступ к огромному сообществу и документации;

–гибкость системы при работе с данными – позволяет создавать динамические (на основе других столбцов) и расчётные показатели;

43

–компоненты, отвечающие за сбор, интеграцию и трансформацию данных, реализованы на языке Python, что предоставляет богатую и расширяемую функциональность по их обработке и возможность установки различных дополнительных библиотек.

Слабые стороны платформы:

–пока не реализована геоаналитика;

–информирование пользователей – отсутствует автоматическая рассылка отчётности;

–ограниченная кастомизация аналитических объектов. Доступна лишь для некоторых объектов, и в основном только цветовая схема и формат числа;

–высокие требования, предъявляемые к компетенции пользова- теля-разработчика ETL (требуются знания Python).

Аналитическая платформа Polymatica – аналитическая плат-

форма, объединяющая три продукта: Polymatica Analytics – инструмент для работы с большими объёмами данных, Polymatica Dashboards – конструктор информационных панелей и отчётов, и Polymatica ML – отвечает за создание моделей машинного обучения и управление их жизненным циклом.

Разработчик платформы – компания «Полиматика» – на рынке с 2011 г. Вендор ежегодно выпускает обновления, релизы выходят каждый квартал. Платформа Polymatica используется в трёх критически важных приложениях в Правительстве РФ: АИС «Налог-3» ФНС России, ЕГР ЗАГС ФНС России и ГИС ФРИ ПФР.

Сильные стороны платформы:

–простота освоения, интуитивный интерфейс, приятный пользовательский опыт;

–самообслуживание (Self-Service) – с системой справится человек, не знакомый с программированием;

–возможность добавления кастомных объектов визуализаций;

–собственный OLAP-сервер с возможностью обработки больших

объёмов данных в режиме реального времени.

Слабые стороны платформы:

–отсутствие ETL;

–нет возможности создать расчётные показатели либо посчитать что-либо кроме суммы (Sum);

–нет как таковой модели данных, все необходимые данные должны быть объединены в одну таблицу.

44

Alpha BI – динамично развивающаяся технологическая платформа бизнес-аналитики отечественной разработки.

Платформа, предназначенная для решения задач по централизации большого количества несвязанных данных из различных источников, их обработке, анализу и информативной визуализации в произвольных аналитических срезах. При настройке системы учитывается отраслевая и региональная специфика, а также стратегические задачи заказчика. Решение было создано в 2014 г. Разработчик платформы – компания «БАРС Груп». Компания основана в 1992 г., с 2016 г. входит в состав Национального центра информатизации госкорпорации Ростех. В штате – более 2,5 тысяч человек, 17 офисов и представительств по всей России.

Сильные стороны платформы:

–очень богатый инструментарий ETL. В системе можно действительно трансформировать данные, а не перекладывать это на источники. Реализованы коннекторы к большинству типов источников;

–продуманный и лаконичный интерфейс с очень большой долей drag-n-drop операций. Каждый инструмент представлен визуально, с описанием и подсказками. При настройке ETL-процессов в нужных местах очень помогает автозаполнение параметров;

–чёткий контроль целостности системы;

–модуль репортинга: многостраничные Excel-отчёты с возможностью добавления туда любого оформления и работающих формул Excel, что редко встречается в BI-системах. Возможность выгрузки в Word-документы;

–объекты визуализации данных: те объекты, которые представле-

ны в системе, имеют расширенный функционал кастомизации и полностью справляются со своими задачами.

Слабые стороны платформы:

–ограниченный набор объектов визуализации данных;

–высокий порог входа в систему в силу её развитости;

–трудоёмкость построения аналитики сложных расчётных показателей на OLAP-кубах, предполагающая наличие у разработчика навыков работы с MDX.

Автоматизированная информационно-аналитическая плат-

форма Analytic Workspace – многопользовательский инструмент интерактивного анализа и визуализации данных, решение для лёг-

45

кого и быстрого получения статистики и проверки аналитических гипотез. Система помогает совместно управлять процессом получения информации из источников и построения модели данных, исследовать, анализировать и интерпретировать факты, визуализируя результаты и позволяя ими поделиться.

Разработчик платформы – компания ООО «ОСТ», оказывающая телекоммуникационные услуги юридическим и физическим лицам на территории Российской Федерации. Каждый месяц выходят полнофункциональные релизы.

Сильные стороны платформы:

–возможность работы обычному пользователю (не IT-специали- сту) без обучения – общее оформление интерфейса позволяет легко ориентироваться и создавать визуализации и дашборды drag-n-drop способом;

–при изменении типа визуализации выбранный набор полей и агрегаций не сбрасывается, что позволяет быстро настраивать виджеты для дашборда;

–внутреннее DWH на базе ClickHouse + Apache Spark позволяет проводить всевозможные агрегации больших объёмов данных

на стороне AW, использовать sql-запросы с множеством готовых операторов, а также легко масштабировать систему.

Слабые стороны платформы:

–ограниченная функциональность в части визуализации аналитических объектов: можно определить тип объекта, наборы показателей и их цвета на объекте, а также действующие на объект фильтры. Любая дополнительная кастомизация невозможна;

–продукт был разработан не так давно, и пока ещё можно натолкнуться на ошибки, которые при этом неинформативны;

–слабо развит функционал геоаналитики, имеется карта России с регионами и административными округами, привязка к ним производится по ОКАТО. Отсутствует возможность работы с пространственными данными – полигонами, координатными точками, линиями;

–отсутствуют встроенные инструменты расширенной аналитики в интерфейсе создания аналитических отчётов, которые могли бы упростить подход к анализу и прогнозированию данных. Есть возможность реализовать продвинутый анализ данных, но

46

только на этапе ETL-обработки данных (в том числе и с использованием внешних обработок – например, на языке Python). Yandex DataLens – сервис визуализации и анализа данных, позво-

ляющий настраивать аналитические дашборды с диаграммами, таблицами и другими вариантами визуализации над различными источниками, предоставляя к ним сторонний доступ. Инструмент появился на рынке весной 2019 г. В основе сервиса лежит внутренняя система аналитической отчётности «Яндекса». Разработчик DataLens – Yandex Cloud, дочерняя компания «Яндекс». Yandex Cloud была запущена в 2018 г. и предоставляет частным и корпоративным пользователям более 50 инфраструктурных, платформенных и бизнес-сервисов. DataLens является частью Yandex Cloud Data Platform, которая объединяет в себе сервисы для хранения, обработки и визуализации данных.

Сильные стороны сервиса:

–возможность работы обычному пользователю (не IT-специали- сту) без обучения – общее оформление интерфейса позволяет легко ориентироваться и создавать необходимые наборы данных и визуализации drag-n-drop способом;

–создание новых показателей «на лету», не только при формировании набора данных. Окно создания новых показателей есть на каждом этапе и имеет справочник по встроенным функциям;

–безотказная система постоянной работоспособности, что достигается за счёт архитектуры cloud-native и размещения сервиса в трёх распределённых ЦОДах Yandex Cloud;

–возможность расширения функционала за счёт других сервисов

Yandex Cloud, таких как Cloud Functions или DataSphere.

Слабые стороны сервиса:

–ограниченная функциональность аналитических объектов: можно определить тип объекта, наборы показателей и их цвета на объекте, а также действующие на объект фильтры. Глубокая кастомизация невозможна;

–отсутствие автосохранения, любые изменения должны быть сохранены пользователем;

–невозможность интеграции со сторонними программами, только встраивание единицы визуализации на страницу сайта в режиме просмотра.

Almaz BI – это промышленная система анализа и визуализации данных, относится к классу self-service BI и даёт бизнес-пользовате-

47

лям удобный инструментарий для самостоятельного и эффективного анализа данных, в зависимости от их функциональных потребностей: от простой фильтрации и группировки до модификации структуры отчётов и построения/изменения семантических моделей.

Разработчик платформы – российская компания «OOO Инлексис». Входит в группу компаний «ЛИГА ЦИФРОВОЙ ЭКОНОМИКИ», функционирующую на рынке более 20 лет.

Сильные стороны платформы:

–самообслуживание (self-service) – простая настройка отчётов и карты трансформаций при помощи drag-n-drop, с которой справится рядовой пользователь, не знакомый с языками программирования;

–визуально приятный интерфейс и простое, интуитивное освоение;

–система построена на быстром и многофункциональном движке

Apache Spark, что позволяет осуществлять sql-подобные запросы с множеством готовых операторов, а также легко масштабировать систему.

Слабые стороны платформы:

–новый продукт – продукт был разработан не так давно, и временами появляются технические ошибки, с которыми не всегда сможет справиться пользователь без помощи техподдержки;

–есть существенное ограничение: 1 виджет = 1 источник. Предполагается, что при построении модели данных пользователь свяжет источники между собой и построит (виртуальную) витрину, которая и будет являться в дальнейшем источником для построения виджетов. Этот важный пункт нужно учитывать при работе с несколькими источниками;

–на текущий момент при построении виджетов возможно использовать только показатели, созданные в кубе. Вычисляемые показатели необходимо создавать на этапе построения модели

данных (задавать формулы расчёта новых показателей). Cubisio – многофункциональный комплекс управления данны-

ми, платформа для разработки информационно-аналитических систем, включает все необходимые модули для решения задач сбора, обработки, анализа (вычислительного и процесс-ориентированного) и визуализации. Система включает интегрированные в единую среду инструменты и редакторы для настройки источников, визуализаций, запросов и процессов преобразования данных.

48

Платформа может развёртываться и как самостоятельное решение, и в качестве смежного модуля для встраивания в сторонние системы.

Сильные стороны платформы:

–понятная структура формирования проекта с нуля (для технического специалиста и после обучения);

–широкие возможности по индивидуальной настройке объектов визуализации;

–широкие возможности по созданию/подключению новых пользовательских объектов визуализации, которые помогут реализовать даже самые сложные запросы в части визуализации данных, хотя и потребуют дополнительных ресурсов разработки;

–отсутствие стагнации, понимание всех тенденций и возможная разработка под индивидуальные запросы.

Слабые стороны платформы:

–стабильность – на данном этапе развития продукта, в условиях ограниченности ресурсов его поддержки и разработки пока часто можно натолкнуться на какие-либо ошибки или логические несостыковки;

–в основе системы – отдельные «кубы», таким образом, отсутствует общая взаимосвязанная модель данных. Этот факт усложняет процесс разработки и особенно дальнейшего развития решения. К примеру, нельзя создать справочник с набором атрибутов и привязать его ко всем дашбордам, в качестве набора измерений и показателей необходимо создавать множество срезов и вносить все требуемые для анализа измерения и показатели;

–слабые возможности обработки «сырых» данных и практически отсутствие построчной обработки;

–отсутствие технической документации.

49

3.Работа с сервисом Yandex DataLens

Вначале 2019 г. платформа «Яндекс.Облако» представила свой сервис для бизнес-аналитики и визуализации данных Yandex DataLens1, который позволяет работать с данными из разных источников и визуализировать их для последующего анализа и использования в процессе принятия решений2.

За последние годы на развитие аналитического программного обеспечения (ПО) повлияли три значительных изменения:

– повышение роли использования данных в современных компаниях;

– продолжающийся переход ПО в публичное облако;

– использование технологий искусственного интеллекта и машинного обучения в корпоративных приложениях.

Основанием для принятия бизнес–решений сегодня служат разнообразные данные, собранные при разработке и реализации товаров и услуг. Качественная визуализация данных и аналитические дашборды позволяют воспринимать информацию буквально с одного взгляда, видеть тенденции и аномалии, наглядно сравнивать различные наборы данных и строить прогнозы.

Облачные технологии появились совсем недавно: в 2006 г. один из крупнейших американских интернет-магазинов Amazon предоставил свои неиспользуемые вычислительные ресурсы (а к тому времени их объём стал огромным) совершенно новым образом3. Традиционно для аренды ресурсов в дата-центрах необходимо было составить договор и внести плату за определённый срок. Линейка типоразмеров серверов (объём оперативной памяти, количество ядер, размер дискового пространства и др.) достаточно обширна и

1Yandex DataLens. Сервис визуализации и анализа данных. URL: https://cloud. yandex.ru/services/datalens (дата обращения: 20.08.2022).

2Инструмент Yandex DataLens от DataYoga. URL: https://datayoga.ru/datalens00 (дата обращения: 20.08.2022).

3Сенько А. Работа с BigData в облаках. Обработка и хранение данных с примерами из Microsoft Azure. СПб.: Питер, 2019.

50