Работа с сервисом бизнес-аналитики Yandex DataLens. Учебное пособие

выбирается заранее, до подписания договора. Можно арендовать много серверов, связать их высокопроизводительной сетью, подключить балансировщик нагрузки и получить систему, обрабатывающую большую нагрузку. У подобной модели использования ресурсов есть существенные неудобства. При создании приложений зачастую неизвестно, какая потребуется нагрузка, на какой срок арендовать серверы приложения.

Ещё сложнее дело обстоит с покупкой физических серверов. Ведь их, помимо администрирования операционной системы и установленных приложений, необходимо обслуживать физически. Сюда входит подбор помещения, электропитания, системы охлаждения, вентиляции… Все эти проблемы можно решить с помощью эластичных вычислительных ресурсов, предоставляемых облачными провайдерами.

Ключевые преимущества облачной модели:

–ресурсы предоставляются по требованию и таким же образом освобождаются;

–плата начисляется за фактическое время использования ресурсов;

–предоставление и освобождение ресурсов производится самим

потребителем ресурсов через веб-портал, без всякой бумажной волокиты с договорами.

Помимо виртуальных машин, в облачных средах предоставляются различные сервисы, позволяющие строить различные архитектуры: сервисы виртуальных сетей, подсетей, балансировщики нагрузки, списки контроля доступа, выделенные IP-адреса и др. Эти сервисы составляют основу инфраструктуры как сервиса (IaaS). Конечно, прямая стоимость годовой аренды физического сервера может быть меньше, чем стоимость аренды облачного сервера с почасовой оплатой с такими же характеристиками, но многие облачные провайдеры предоставляют возможность долгосрочной аренды виртуальных машин по ценам существенно меньшим, чем при почасовой оплате. Если же серверы требуются на небольшое время и заранее не известно, какого размера должна быть виртуальная машина, то эластичные виртуальные машины могут стать единственным приемлемым выбором.

Чтобы обеспечить возможность выделения пользователям ресурсов, облачные провайдеры имеют крупные, географически разне-

51

сённые дата-центры, веб-порталы для получения доступа к их ресурсам, а также API для программного доступа. Это позволяет сделать то, что нельзя выполнить с помощью любой другой традиционной технологии: код программы может сам себе выделять столько ресурсов, сколько ему нужно.

Системы бизнес-аналитики нужны всем компаниям, но на пути их внедрения существуют барьеры, преодолеть которые под силу чаще крупным организациям. Yandex DataLens обладает многими достоинствами корпоративных решений, но при этом будет доступен даже самым небольшим компаниям благодаря своей простоте и низкому порогу входа.

Сервис Yandex DataLens может опробовать любой пользователь «Яндекс.Облако». При этом интерфейс Yandex DataLens достаточно прост: чтобы визуализировать данные и проверить гипотезу, нужно подключиться к источнику, определить набор данных, выбрать диаграмму или построить таблицу. А из множества диаграмм, таблиц и карт можно составить аналитическую панель (дашборд) и поделиться ею с коллегами или другими заинтересованными лицами.

Слабости сервиса DataLens

Сервис DataLens пока уступает таким известным BI-платфор- мам, как Tableau, Google DataStudio, Microsoft PowerBI, QlikSence в гибкости настройки и удобстве использования.

Вот некоторые из слабых сторон сервиса DataLens:

–нельзя наложить графики разных типов друг на друга. Например, не получится построить линейный график, а на его фоне столбчатую диаграмму;

–сервис не поддерживает поля типа Array. В ClickHouse они активно используются для расширения схемы таблицы произвольным набором атрибутов;

–нельзя решить такую простую задачу, как выделение топ-N элементов. Можно отфильтровать элементы по фиксированному порогу: например, 10 000 просмотров, но это снижает гибкость;

–запросы к базе данных делаются на каждое изменение визуализации, что на этапе проектирования графика может сильно нагрузить базу, не предназначенную для активных агрегаций;

52

–рядам на графиках нельзя задавать пользовательские метки;

–на дашборде время отображается по UTC, даже если в по- ле-источнике указан конкретный часовой пояс. Настроить никак нельзя, только явным прибавлением сдвига по времени (+3 часа для Москвы).

Возможности сервиса DataLens

Сервис продолжает активно развиваться, команда DataLens регулярно перерабатывает некоторые части интерфейса, а также добавляет поддержку новых функций.

Сильные стороны сервиса DataLens:

–он бесплатный;

–не нужно знание и применение SQL. Визуализация строится в несколько кликов;

–понятные абстракции для работы с данными: подключение, датасет, чарт и дашборд;

–широкий спектр функций для вычислимых полей. Даёт достаточную свободу, чтобы к полю-источнику применить все необходимые преобразования;

–множество поддерживаемых источников данных: например, можно читать данные из Яндекс.Метрики;

–есть географические функции: например, можно перевести топоним в координаты и наложить данные на карту;

–очень точные настройки доступа: можно выдать права на чтение таблицы, но запретить чтение одного из полей. Очень удобно, чтобы открывать некоторые поля, например финансовые показатели, не всем пользователям;

–к графикам и дашбордам можно выдавать доступ по публичной ссылке;

–интеграция с системой авторизации Яндекса. То есть все, у кого есть почта в доменах @yandex.ru, могут получить доступ к Yandex DataLens, никаких дополнительных аккаунтов не требу-

ется.

Yandex DataLens на платформе «Яндекс.Облако» является частью внутренней корпоративной системы обработки, хранения, визуализации и анализа данных Yandex Stat. Фактически корпоративный стандарт работы с данными стал доступен любому бизнесу.

53

Вот несколько цифр, чтобы представлять, с чем приходилось иметь дело системе Yandex Stat в компании «Яндекс»:

Около 5 тысяч пользователей.

Более 3 тысяч дашбордов с более чем 30 000 диаграмм и таблиц. Более 40 миллионов запросов в месяц.

Более 1,5 миллиардов новых строк данных ежедневно.

А вот несколько примеров использования функциональности Yandex DataLens в различных сервисах компании «Яндекс»:

Яндекс.Драйв: аналитика простоя машин, пешей доступности машин для пользователей, результатов экспериментов.

Едадил: аналитика маркетинговых кампаний, AdHoc-аналитика для партнёрских менеджеров.

Яндекс.Погода: мониторинг качества и приёмки новых ML-мо- делей для прогноза.

Яндекс.Учебник: аналитика каналов привлечения трафика, аналитика региональной активности.

Беспилотные автомобили: аналитика дорожных ситуаций и событий распознавания среды.

Этапы работы с DataLens

Выделяют следующие основные этапы работы с сервисом DataLens:

1.Сделать подключение к данным.

2.Настроить датасет (набор данных).

3.Создать чарты (диаграммы) с данными.

4.Собрать дашборд (аналитическую панель).

5.Провести эксперименты (выявление тенденций, аномалий в данных, проверка гипотез, кластеризация, составление прогноза и др.).

6.Поделиться дашбордом и результатами экспериментов через об-

лачный сервис.

На рис. 4 представлен интерфейс домашнего экрана сервиса Yandex DataLens.

Влевой части экрана расположены кнопки для навигации и выполнения ряда других задач (рис. 5).

Вверхней половине экрана расположены большие кнопки: подключения; датасеты; чарты; дашборды.

Внижней половине экрана расположены большие кнопки – примеры дашбордов, а также кнопка перехода в Marketplace.

54

Рис. 4. Домашний экран сервиса Yandex DataLens

Рис. 5. Кнопки для навигации

на домашнем экране сервиса Yandex DataLens

Процесс загрузки данных

Процесс работы с сервисом Yandex DataLens начинается с подключения данных, которые в дальнейшем будут преобразованы в специальный набор данных – датасет.

Создать новое подключение можно прямо с домашнего экрана с помощью кнопки «Подключения».

В DataLens доступны следующие типы подключений (рис. 6). Для подключения данных, которые сохранены в файле формата

Excel, нужно использовать тип подключения «CSV».

55

Рис. 6. Типы подключений данных в сервисе DataLens

Предварительно нужно открыть файл с данными в формате Excel, нажать кнопку «Файл – сохранить как», выбрать папку для сохранения, указать имя файла и выбрать тип файла: CSV (разделитель – запятая).

На домашнем экране сервиса DataLens выбрать раздел «Подключения», потом тип подключения – CSV. После этого можно перетащить свой файл в формате .csv на экран. В результате на экране должна появиться таблица с данными, которые ранее хранились в файле формата Excel.

Создание датасета

На домашнем экране нужно нажать кнопку «Создать датасет» и выбрать файл с подключёнными данными. Какое-то время понадобится на материализацию данных (внесение их в память программы).

56

Далее нужно нажать кнопку «Сохранить» (справа вверху). На экране появятся строки загруженной таблицы.

Датасет – это специальным образом организованный набор данных, а именно – набор полей, которые DataLens сохраняет на основе подключённого источника данных.

Если нажать кнопку «Поля» (слева вверху), появится список полей (столбцов загруженной таблицы). Если какие-то поля окажутся пустыми, можно нажать значок «глаз» и скрыть эти поля. Далее нужно нажать кнопку «Сохранить».

На текущем шаге можно настроить датасет. Есть возможности подключить несколько таблиц к одному датасету; настроить названия полей, агрегации и типы данных, добавить описания; добавить новые вычисляемые поля на основе уже имеющихся.

Каждое поле по типу относят либо к «Измерение», либо к «Показатель».

Измерение – это качественные категории, которые характеризуют данные. Например, «город», «название товара», «дата покупки» и

т.п. В интерфейсе измерения отмечены зелёным цветом. Показатели – это количественные категории, к которым могут

применяться агрегации. То есть показатель – это то, что мы можем посчитать: «выручка», «средний чек заказа», «количество переходов на сайт» и т. п. В интерфейсе показатели отмечены синим цветом. Таким образом, измерения не могут быть агрегированы, но могут быть сосчитаны, а показатели могут быть и сосчитаны, и агрегированы.

Примеры агрегации (только для показателей): рассчитать среднее значение, определить максимум или минимум, подсчитать сумму. Такой вид агрегации, как «определить количество», может применяться и для показателей, и для измерений.

Важно проверить и выставить корректные типы данных для всех полей. Имеющиеся типы данных: строка; целое число или дробное число; логический тип (да/нет, 1/0, истина/ложь); дата, а также дата и время; геоточка и геополигон. Чтобы поле можно было использовать в качестве показателя, обязательно нужно выбрать один из типов агрегации.

После того как проставлены все агрегации и проверены типы данных, датасет можно сохранить и приступать к созданию чартов (диаграмм) и дашбордов (аналитических интерактивных панелей).

57

Создание чартов

В сервисе DataLens различные типы визуализаций (графики, диаграммы и т. п.) называют чартами.

Чарт создают в визарде на основе данных из датасета. Визард – это окно на экране компьютера (планшета, смартфона), в котором создают и редактируют чарты.

Рабочая область в интерфейсе визарда разделена на три основные панели (рис. 7):

1.Панель датасета, где отображаются доступные поля: Измерения и Показатели. Можно также добавить в список любое вычисляемое «поле».

2.Панель настройки визуализации, где можно выбрать тип чарта. Для каждого типа доступен свой набор, куда можно перетаскивать поля секций (например, ось X, ось Y, фильтры и т. д.).

3.Панель превью, где отображается визуализация.

Рис. 7. Интерфейс визарда

На базе одного и того же датасета может быть создано неограниченное количество чартов, которые могут быть добавлены в различные дашборды.

На примере разберём создание чартов. В основном окне сервиса нажимаем кнопку «Создать чарт». На появившемся экране нажимаем на стрелочку справа от «Личная папка», затем на «Датасеты», выбираем датасет «Демография» (рис. 8).

Как правило, измерение располагают на оси Х. Выбираем и перетаскиваем в соответствующее окно – «ФО» (федеральные округа). Показатели отражают на оси Y, перетаскиваем в соответствующее окно «РОД_ЧЕЛ» (родилось человек).

58

Рис. 8. Экран выбора датасета

На месте, где должна быть визуализация, появилась столбчатая диаграмма (по умолчанию) (рис. 9).

Рис. 9. Пример интерфейса создания чарта

Можно отсортировать столбцы для лучшего визуального представления. Нажимаем кнопку «Сортировка» и выбираем показатель «РОД_ ЧЕЛ». После этого все столбцы (федеральные округа в нашем примере) будут отсортированы по величине показателя «родилось человек» от минимума к максимуму, если нажать на кнопку «Сортировка» ещё раз – тогда все столбцы будут отсортированы от максимума к минимуму.

Также можно для лучшего визуального представления столбцов на чарте использовать цветовую гамму. Нажимаем кнопку «Цвета» и выбираем измерение «ФО». Теперь каждый столбец, отражающий конкретный федеральный округ, будет окрашен в свой цвет.

59

Кроме того, можно сделать пояснения к каждому столбцу на чарте. Для этого нажимаем кнопку «Подписи», выбираем показатель «РОД_ЧЕЛ». В итоге для каждого федерального округа будет указано на диаграмме значение показателя «число родившихся».

После того как нас всё устраивает в оформлении чарта, нажимаем справа вверху кнопку «Сохранить» и вводим имя для данного чарта. В дальнейшем нам это пригодится при обращении к списку чартов для размещения их на дашборде. Также будет возможность вернуться к редактированию любого сохранённого чарта – поменять сортировку столбцов, цвета, подписи и другие элементы чарта.

Фильтры

Для отражения на чарте части анализируемых данных есть такой удобный инструмент, как фильтры. С помощью фильтра можно показывать на чарте не весь набор данных, а только некоторые из них, отобранные по особому правилу.

Таких правил для отбора данных в сервисе DataLens достаточно много:

–равно;

–не равно;

–принадлежит множеству;

–не принадлежит множеству;

–начинается на (с учётом регистра);

–начинается на (без учёта регистра);

–заканчивается на (с учётом регистра);

–заканчивается на (без учёта регистра);

–содержит (с учётом регистра);

–содержит (без учёта регистра);

–не содержит (с учётом регистра);

–не содержит (без учёта регистра);

–пусто;

–не пусто.

Даты

При показе временных рядов, т. е. в тех чартах, где мы используем поле «Даты», можно изменять тип визуальной группировки дат – выбирать показ с округлением по годам, месяцам, неделям или дням.

60