Инструменты создания программно-аппаратной части сервиса на примере ozon Travel
OZON Travel - это популярная онлайн-платформа для бронирования путешествий и отелей в России. Система работы backend OZON Travel включает следующие этапы:
Обработка запросов от клиентов: Пользователи открывают приложение или веб-сайт OZON Travel, где они могут делать запросы на бронирование путешествий, указывая даты, место назначения и другие предпочтения. Запросы отправляются на сервер бэкэнда OZON Travel.
Поиск и фильтрация предложений: Сервер бэкэнда использует алгоритмы для поиска и фильтрации наиболее подходящих предложений для каждого запроса клиента. Это включает в себя поиск доступных отелей, авиабилетов, пакетных предложений и т.д., учитывая критерии, такие как цена, местоположение, рейтинг и отзывы.
Управление бронированием и оплатой: Когда клиент выбирает предложение и готов совершить покупку, сервер бэкэнда обрабатывает эту операцию. Он проверяет доступность выбранных услуг, рассчитывает стоимость, формирует бронь и управляет процессом оплаты. Взаимодействие с платежными системами и отправка информации о бронировании в соответствующие сервисы также осуществляется через бэкэнд.
Управление контентом и интеграция с поставщиками услуг: Бэкэнд OZON Travel управляет контентом, таким как описания отелей, фотографии, информация о полетах и других услугах. Он также осуществляет интеграцию с различными поставщиками услуг, получая актуальные данные о доступности, ценах и других деталях.
Обработка и анализ данных: OZON Travel собирает и анализирует данные о бронированиях, предпочтениях клиентов, отзывах и других факторах для улучшения предоставляемых услуг, персонализации предложений и оптимизации работы системы.
Взаимодействие с другими сервисами: Бэкэнд OZON Travel взаимодействует с другими сервисами, такими как системы управления отелями, поставщики авиабилетов, агрегаторы информации о погоде и туристические агентства. Это помогает обновлять информацию, обеспечивать синхронизацию данных и предоставлять клиентам наилучший сервис.
Центры обработки данных
На сегодняшний день компания Ozon не имеет собственных дата-центров, находя для себя более выгодным и перспективным развитие своего парка сетевого оборудования и его размещение на мощностях ЦОД-провайдеров по модели colocation.
Colocation (колокация) – услуга по размещению клиентского оборудования в ЦОД хостинг-провайдера и его подключение к высокоскоростным каналам связи.
Таким образом, с 2022 г. Ozon имеет три размещения по модели colocation в центрах обработки данных компании IXcellerate. Два дата-центра, MOS1 и MOS2, находятся в кампусе IXcellerate Moscow North на севере Москвы в районе Алтуфьево, дата-центр MOS5 находится в кампусе IXcellerate Moscow South на юге Москвы в Бирюлёво. Все три ЦОД объединены сетью с высокой пропускной способностью в несколько сотен Гбит/с.
Таблица 11 – Дата-центры Ozon
Дата-центр |
Расположение |
Оператор связи |
Tier |
IXcellerate MOS1 |
Москва |
Rostelecom |
Tier III |
IXcellerate MOS2 |
Москва |
Rostelecom |
Tier III |
IXcellerate MOS5 |
Москва |
Rostelecom |
Tier III |
Наиболее важным для компании Ozon является дата-центр MOS5, поскольку на мощностях этого дата-центра развёрнута крупная инсталляция ИТ-инфраструктуры. В таблице 2 приведены его характеристики.
Таблица 12 – Характеристики дата-центра IXcellerate MOS5
Общая информация |
Площадь: 18 500 м2 Вместимость: 4 700 стойко-мест Мощность: 60+ МВт |
Электричество |
Уровень доступности: 99,982% PUE (Power Utilization Efficiency): <1,3 Резервирование по электропитанию: 4/3N (ДГУ и ИБП) Нагрузка на стойку: до 20 кВт |
Охлаждение |
Резервирование по охлаждению: N+1 Изолированные горячие коридоры Технология охлаждения машинного зала по принципу холодных стен Гарантированный климат в соответствии с ASHRAE |
Безопасность |
6 уровней физической безопасности Охраняемая территория 24/7 Биометрическая система доступа Видеонаблюдение и детекторы движения Тамбур-шлюзы, турникеты и модули доступа Строгие процедуры доступа и авторизации |
Пожарная безопасность |
Система сверхраннего обнаружения дыма (спектральный анализ воздуха) Интегрированная система оповещения и сигнализации Газовое пожаротушение безопасным агентом NOVEC Мобильные установки точечного пожаротушения |
Коннективность |
Присутствие 50+ операторов связи с высокоскоростным доступом в интернет Независимые маршруты кабельных вводов Обмен трафиком через платформы Eurasia Peering IX |
Доступные операторы связи |
Telecom-Birzha (Cirex) Mastertel Marafon (ex-Mastertel SPS) RETN Megafon UI-com MTS Rostelecom Nextremum NetOneRus |
Сертификаты |
PCI DSS v.3.2.1 ISO 9001:2015 ISO 45001:2018 |
При выборе ЦОД-провайдера компании Ozon было важно соответствие дата-центров стандарту Tier III.
Для оценки уровня надёжности ЦОД компания Uptime Institute разработала специальную систему сертификации – Tier Certification, которая подразумевает четыре уровня отказоустойчивости:
Tier I. Базовый уровень. Дата-центр этого уровня должен иметь пространство для оборудования, источники бесперебойного питания, систему охлаждения и генератор электроэнергии на случай отключения электричества. Уровень отказоустойчивости таких дата-центров составляет 99,671%, а допустимое время простоя 28,8 часов в год.
Tier II. Уровень с резервированием. В ЦОДах второго уровня добавляется резервирование важных элементов системы. В случае проведения технических и ремонтных работ придётся приостановить деятельность дата-центра. Уровень отказоустойчивости составляет 99,741%, а допустимое время простоя 22 часа в год.
Tier III. Уровень с возможностью проведения параллельных работ. Инфраструктура ЦОД позволяет проведение профилактических работ, замену оборудования без остановки деятельности. Дата-центры данного уровня имеют два энерговвода. Уровень отказоустойчивости составляет 99,982%, а допустимое время простоя не более 1,6 часа в год.
Tier IV. Отказоустойчивый дата-центр. Этот наивысший уровень сертификации говорит о том, что дата-центр будет работать даже при системном сбое или проведении технических работ. Помимо резервирования основных систем производится дублирование дополнительных, то есть делается двойное резервирование. Уровень отказоустойчивости составляет 99,995%, время простоя не более 26 минут в год.
В соответствии со стандартами Tier Certification от Uptime Institute ЦОДы Ozon спроектированы с учётом всех требований Tier III и рассчитаны на размещение комплексных решений любой степени сложности, в том числе высоконагруженных серверов и инфраструктуры для сверхплотных вычислений.
Электроснабжение
Электроснабжение клиентских стоек осуществляется по схеме 2N. Схема 2N означает, что каждая клиентская стойка или оборудование подключены к двум независимым и полностью функциональным источникам питания. Если один источник электропитания выходит из строя, другой автоматически обеспечивает электроснабжение без перерывов. В резерве несколько ДГУ и ИБП. Это обеспечивает высокую степень надёжности и минимизирует риски простоев из-за отказов в электропитании.
Охлаждение
В зависимости от конфигурации машинного зала используются разные системы охлаждения. В дата-центрах MOS1 и MOS2 охлаждение реализуется чиллерами с фрикулингом и внутризальными кондиционерами. Наряду с чиллерами для резервирования используются независимые фреоновые кондиционеры с оригинальной системой распыления воды над теплообменниками. В дата-центре MOS5 реализована так называемая «холодная стена». Традиционная схема подразумевает, что кондиционеры выдувают холодный воздух из-под фальшпола. Здесь технология немного отличается. С одной стороны машзала находится холодная стена, которая нагнетает воздух параллельно полу, вдоль зала, и тем самым охлаждает оборудование. Система холодных стен позволяет подавать воздух с меньшей скоростью, что, в свою очередь, благотворно сказывается на энергопотреблении и снижает износ оборудования. Горячий воздух собирается, охлаждается и снова подаётся в зону кондиционирования. Теплоотведение осуществляется через специальный короб, находящийся над стойками.
Температурный режим поддерживается в диапазоне от +18 до +27 градусов. Мониторинг инфраструктуры осуществляется в круглосуточном режиме.
Это обеспечивает бесперебойную работу серверов Ozon во время технического обслуживания или замены компонентов в инженерных системах дата-центров, что сводит к минимуму возможные простои и сопутствующие им финансовые потери и репутационные риски.
Сеть хранения данных – SAN (Storage Area Network)
SAN (Storage Area Network) – это архитектурное решение, при использовании которого дисковое пространство серверов сети консолидируется на внешних устройствах: оптических приводах, дисковых массивах и других видах накопителей. При этом подключённые носители распознаются серверами как локальные, и каждый из них может использоваться несколькими серверами.
OZON использует Lenovo ThinkSystem SAN для хранения и доступа к данным в высоконагруженных системах. Это позволяет обеспечить надежное хранение данных, а также быстрый доступ к ним.
OZON использует несколько протоколов SAN:
Fibre Channel (FC) – протокол для высокоскоростной передачи данных в сетях хранения.
iSCSI (Internet Small Computer System Interface) – протокол хранения данных, который позволяет передавать SCSI-команды по сети TCP/IP.
FCoE (Fibre Channel over Ethernet) – протокол, который позволяет передавать Fibre Channel-трафик по сети Ethernet.
NVMe (Non-Volatile Memory Express) – протокол для передачи данных между компьютером и устройствами хранения по шине PCI Express.
Последняя миля
Рисунок 2 – Последняя миля