Добавил:
okley
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:ML - Коротков (2 сем, мага) / Lecture_3 2
.pdf
LHC Networking
М.Г. Коротков Москва, февраль 2023
LHC Optical Private Network (LHCOPN)
31
ATLAS – Распределенные вычисления и передача данных
Data Transfer Volume in TB (weekly average). Aug 2012 - Aug 2013
6 PBytes ->
TBytes
CERN to BNL data transfer
time . An average 3.7h
to export data from CERN
М.Г. Коротков Москва, февраль 2023
32
ATLAS Data Volume on the Grid Sites
TBytes
Formats
RAW data volume ~3 PB/year,
Managed Data Volume on Grid sites 160 PB
160 PBytes
Derived data
Raw data
М.Г. Коротков Москва, февраль 2023
33
Распределение, обработка и физический анализ данных
экспериментов LHC
1. Анализ копий всех данных в
центрах их обработки.
Ограниченность ресурсов центров не
позволяет это реализовать.
2. Организация удаленного доступа к
центрам хранения данных.
Невозможно заранее сказать какие
наборы данных будут наиболее
востребованы для анализа и
невозможно организовать доступ со
всех сайтов GRID ко всем данным.
Создается определенное количество
копий наборов данных и
контролируется их востребованность.
Для наиболее востребованных
наборов данных создаются
дополнительные копии.
М.Г. Коротков Москва, февраль 2023
https://cds.cern.ch/record/1541893?ln=ru
34
Каким бы образом ни была организована система обработки данных,
всегда должна быть некая система, которая бы знала где находятся данные,
Какие ресурсы необходимы пользователю и где эти ресурсы располагаются.
Требования к системе распределения данных и управления заданиями.
- Специальный интерфейс.
- Пользователь не заботится о сложности распределения заданий.
Результат о выполнении задания приходит в тоже место, с которого
задание было отправлено.
- Создается специальное программное обеспечение Middle Ware,
которое унифицирует работу пользователя с различными видами
компьютерного оборудования.
- Система должна полностью контролировать работоспособность узлов
GRID, определять свободные ресурсы и сообщать об их готовности
выполнить задание.
Такая система была разработана и успешно функционирует сегодня в
GRID.
PanDA – Production and Data Analysis System
М.Г. Коротков Москва, февраль 2023
35
Workload Management System
EGEE/EGI
OSG
pilot
pilot
scheduler
(autopyfactory)
pilot
task/job
repository
(Production DB)
Logging
System
Local
Replica
Catalog
(LFC)
Data Management
System
NDGF
ARC Interface
(aCT)
pilot
Production
managers
Local
Replica
Catalog
(LFC)
Local
Replica
Catalog
submitter
(bamboo/JEDI)
NonPanDA components
PanDA server
define
production
job
analysis
job
submit
https
https
pull
https
job
https
https
https
https
arc
End-user
condor-g
Worker Nodes
М.Г. Коротков Москва, февраль 2023 36
25
Resources Accessible
via PanDA
OLCF
М.Г. Коротков Москва, февраль 2023 37
«Коэффициент полезного действия» PanDA
Up to 30M jobs completed every month
At more than 100 sites
Running at 130 000 cores worldwide
Consuming at peak ~0.2 petaflops
BNL in Green
PanDA is exascale now : 1.2 Exabytes of data processed by PanDA in 2013
М.Г. Коротков Москва, февраль 2023
Все доступные ресурсы полностью задействованы
27
38
Ближайшее будущее: модернизация
ускорителя и детекторов LHC
Длительная остановка (LS-1) для модернизации ускорителя и
детекторов в 2013-14 годах.
Длительные остановки для модернизации ускорителя и детекторов в
2018 году (LS-2) и в 2022 году (LS-3).
Текущая остановка (LS-1) в основном посвящена проверке и
восстановлению соединений между элементами магнита и ускоряющих
станций.
Остановка LS-2 будет связана с необходимостью наиболее
существенной модернизации ускорительного комплекса в целом:
введением в строй нового линейного инжектора Linac4 и
модернизацией всех ступеней ускорения (Booster, PS, SPS).
И, наконец, остановка LS-3 планируется для проведения работ по
обеспечению последующей эксплуатации ускорителя при существенно
повышенной светимости.
М.Г. Коротков Москва, февраль 2023 39
Run1 :
2009 - 2013
Run2 :
2022 - 2022
Run3
2019-2021
ALICE
+
LHCb
Run4
ATLAS
+
CMS
0,0
125,0
250,0
375,0
500,0
Run 1
Run 2
Run 3
Run 4
LHC Upgrade. Computing Needs
CPU needs per event
RAW data volume
in PetaBytes
CMS
ATLAS
ALICE
LHCb
CPU needs (per event) will grow with
•
track multiplicity (pileup) and
energy
Storage needs are proportional to
•
accumulated luminosity
Grid resources are limited by funding
•
and fully utilized
М.Г. Коротков Москва, февраль 2023
29
40
Соседние файлы в папке ML - Коротков (2 сем, мага)