Суперкомпьютер «Ломоносов»

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 18:06, 10 января 2019.
Суперкомпьютер "Ломоносов"
Cart.jpg
Логотип разработчика
Supkomp.jpg
Суперкомпьютер "Ломоносов"
Разработчик Компания «Т-Платформы»
Производитель Компания «Т-Платформы»
Тип суперкомпьютер
Поколение 1 поколение
Дата выпуска 2009 год
Операционная система Clustrx T-Platforms Edition
ЦП Intel® Xeon X5570 / X5670, NVIDIA X2070
Memory 92 ТB RAM
Постоянная память 3-уровневая система хранения данных суммарным объемом 1,75 ПБ
Power 2.6 МВт
Weight Более 75 тонн
Последователь Ломоносов-2
Website http://hpc.msu.ru


Суперкомпьютер «Ломоносов»суперкомпьютер, построенный компанией «Т-Платформы» для МГУ им. М.В. Ломоносова.[Источник 1] В 2014 году был разработан его приемник – суперкомпьютер «Ломоносов-2», являющийся самым мощным суперкомпьютером России и Восточной Европы пиковая производительность которого на данном этапе составляет 2,57 петафлопс. Он также установлен в Московском государственном университете имени М.В. Ломоносова и создан с целью увеличения производительности суперкомпьютерного комплекса МГУ для поддержки исследований на ведущем мировом уровне в части проведения крупных и ресурсоемких расчетов, использующих свыше тысячи процессоров одновременно. По завершении тестирования, система попала на 22-е место 44 редакции списка мирового суперкомпьютерного рейтинга ТOP500 с реальной производительностью 1,84 петафлопс.[Источник 2]

История

Рисунок 1 – Дмитрий Медведев и президент МГУ Виктор Садовничий на презентации суперкомпьютера «Ломоносов», 2009 год

Суперкомпьютер «Ломоносов» был установлен в МГУ в 2009 году. Этот суперкомпьютер был разработан российской компанией «Т-Платформы». В церемонии его запуска принял участие Президент Российской Федерации Д. А. Медведев, который и предложил назвать суперкомпьютер именем великого русского ученого (см. рисунок 1).

Появление суперкомпьютера «Ломоносов» в Московском университете закономерно: с момента появления первых отечественных компьютеров в середине 50–х годов прошлого столетия МГУ всегда был оснащен крупными вычислительными установками, такими как «Стрела», «Сетунь», «БЭСМ–6».

В 2014 году был разработан суперкомпьютер нового поколения «Ломоносов-2». При его создании использовались сверхинтегрированные решения A-Сlass компании Т-Платформы. С июня 2014 года Ломоносов-2 проходит фазу тестирования и сертификации. В ноябре 2014 система, состоявшая из 1280 узлов (5 стоек) на базе процессоров Xeon E5 v3 и ускорителей Nvidia K40M, заняла 22 место в мировом рейтинге суперкомпьютеров TOP500, продемонстрировав производительность в 1,85 петафлопс на тесте HPL Linpack при энергопотреблении порядка 0.65 МВт.[Источник 3] По сравнению с предыдущими поколениями суперкомпьютеров Московского университета увеличен объем и улучшена структура оперативной памяти, что исключительно позитивно сказалось на эффективности практически всех приложений пользователей, работающих на суперкомпьютере «Ломоносов-2». Это качественное расширение суперкомпьютерного комплекса, призванное значительно ослабить острейший дефицит высокопроизводительных вычислительных ресурсов, доступных для научно-образовательного сообщества России: на суперкомпьютерах МГУ работают 2500 пользователей из 20 подразделений МГУ, более 100 институтов Российский академии наук, более 100 университетов России, решая задачи, отвечающие всем направлениям Стратегии научно-технологического развития Российской Федерации.[Источник 4]

Этапы разработки

Основные этапы разработки:[Источник 5]

2009 год – Первый этап: проектирование, монтаж и ввод в эксплуатацию базовой части “Ломоносова”. Главная вычислительная секция состояла из 4160 двухпроцессорных бездисковых вычислительных узлов на основе 4-ядерных процессоров Intel Xeon 5570. Во вторую секцию включены 260 двухпроцессорных вычислительных узлов с 4-ядерными процессорами Intel Xeon X5570 и локальные жесткие диски. Общее количество процессорных ядер x86 составило 35 360. Помимо вычислительных узлов x86, суперкомпьютер включал 26 узлов на базе ускоряющих сопроцессоров PowerXCell8i. Общий объем памяти составил 56,5 ТБ, объем хранилища - 0,35 ПБ, объем резервной системы – 234 ТБ без сжатия. Потребляемая мощность суперкомпьютера составила 1,5 МВт. В то время его пиковая производительность оценивалась в 420 TFlops, а производительность Linpack – 350 TFlops, что привело к очень хорошему показателю эффективности в 83%. Такой уровень производительности позволил "Ломоносову" возглавить список самых мощных компьютеров в СНГ и Восточной Европе. В ноябре 2009 года он занял 12-е место в списке Top500 самых мощных суперкомпьютеров мира.

2010 год – второй этап. Система пополнилась 640 бездисковыми вычислительными узлами на базе вычислительной платформы TB2-XN и 40 вычислительными узлами, оснащенными локальным хранилищем на жестких дисках. Каждый из новых вычислительных узлов был оснащен 6-ядерным процессором Intel Xeon X5670 в качестве ЦПУ. Общий объем оперативной памяти увеличился до 79,92 ТБ, хранилища - до 1,75 ПБ. Пиковая производительность суперкомпьютера увеличилась до 510 TFlops, а производительность Linpack составила 397,1 TFlops. Эффективность составила 77,8%. Это падение производительности относительно предыдущего года было вызвано неоднородностью системы, так как в тесте использовались вычислительные узлы с различными ЦПУ.

2011 год – третий этап: расширение системы. В соответствии с тенденциями в индустрии суперкомпьютеров “Ломоносов” был дополнен 777 вычислительными узлами, оснащенными ускоряющими сопроцессорами GPU. В качестве аппаратной платформы для узлов было использовано решение TB2-TL, где каждый узел имеет два ЦП Intel Xeon E5630 и два аппаратных ускоряющих сопроцессора NVIDIA X2070. Пиковая производительность компьютерной системы составила 1,37 PFlops, а производительности Linpack – 674 TFlops. "Ломоносов" занял 13-е место в июньском списке Top500 2011 года. В июне 2011 года “Ломоносов” был включен в список Graph500. По результатам тестов система заняла третье место (позиции распределялись по показателям рабочей нагрузки (workload)), однако показала лучшую производительность среди всех остальных систем в списке. В ходе испытаний с использованием 8192 ядер на 4096 узлах на базе процессоров Intel Xeon 5570 был получен результат в 43.471.500.000 TEPS (Traversed Edges Per Second, то есть количество ребер графа, обработанных за секунду). Позднее система заняла 2-е место в ноябрьском списке 2011 года с результатом 103,251,000,000 TEPS и использованием 32,768 ядер / 4096 узлов на базе процессоров Intel Xeon 5570.

2012 год - четвертый этап расширения системы. Суперкомпьютер дополнительно оснащен 288 вычислительными узлами с процессорами Intel Xeon X5570/X5670 и графическими GPU ускорителями. Его общий объем памяти увеличился до 92 ТБ, сейчас компьютер потребляет 2,8 МВт. В результате модернизации пиковая производительность вычислительной системы была увеличена до 1,7 PFlops, а производительность Linpack достигла 901,9 TFlops.

Общие характеристики

Ломоносов

Рисунок 2 – 3D модель комплекса суперкомпьютера «Ломоносов» с системами охлаждения и энергосбережения

Рисунок 3 – 3D модель комплекса суперкомпьютера «Ломоносов» с системами охлаждения и энергосбережения

Рисунок 4 – 3D модель комплекса суперкомпьютера «Ломоносов» с системами охлаждения и энергосбережения

Позиции в рейтинге TOP500 самых мощных суперкомпьютеров мира:[Источник 6]

  • июнь 2011 – 13 место
  • ноябрь 2011 – 18 место
  • июнь 2012 – 22 место
  • ноябрь 2012 – 26 место
  • июнь 2013 – 31 место
  • ноябрь 2013 – 37 место
  • июнь 2014 – 42 место
  • ноябрь 2014 - 58 место
  • июнь 2015 – 77 место
  • ноябрь 2015 – 94 место
  • июнь 2016 – 109 место
  • ноябрь 2016 – 132 место
  • июнь 2017 – 164 место
  • ноябрь 2017 – 227 место
  • июнь 2018 – 326 место
  • ноябрь 2018 – 487 место

Рисунок 5 – система бесперебойного электропитания для суперкомпьютера Ломоносов

По состоянию на 24.09.2018 занимает 3-е место в рейтинге Топ50 суперкомпьютеров СНГ. [Источник 7]

Основные технические характеристики суперкомпьютера «Ломоносов»:[Источник 8]

Пиковая производительность 1,7 Пфлопс
Производительность на тесте Linpack 901.9 Тфлопс
Число вычислительных узлов х86 5 104
Число графических вычислительных узлов 1 065
Число вычислительных узлов PowerXCell 30
Число процессоров/ядер x86 12 346 / 52 168
Число графических ядер 954 240
Оперативная память 92 ТБ
Общий объем дисковой памяти вычислителя 1,75 ПБ
Основной тип процессора Intel Xeon X5570/Intel Xeon 5670, Nvidia X2070
Число типов вычислительных узлов 8
Основной тип вычислительных узлов TB2-XN
System/Servise/Management Network QDR Infiniband 4x/10G Ethernet/Gigabit Ethernet
Система хранения данных Параллельная файловая система Lustre,

файловая система NFS;

иерархическая, файловая система StorNext;

система резервного копирования и архивирования данных;

Операционная система Clustrx T-Platforms Edition
Занимаемая площадь 252 кв.м.
Потребление энергии 2,6 МВт
Вес всех составляющих Более 75 тонн
Производитель Т-Платформы
Год выпуска 2009 год

Площади помещений: (см. рисунки 2, 3, 4)

  • Вычислитель: 252 кв. м
  • СБЭ (система бесперебойного электропитания): 246 кв.м. (см. рисунок 5)
  • ГРЩ (главный распределительный щит): 85 кв. м.
  • Климатическая система: 216 кв. м.

Энергопотребление:

  • Пиковая мощность вычислителя (1,7 Tflops): 2,6 МВт
  • Средняя мощность инфраструктуры: 740 КВт.
  • Пиковая мощность инфраструктуры при внешней температуре 35 цельсия: 1,2 МВт
  • Средняя суммарная мощность комплекса: 2,57 МВт
  • Пиковая суммарная мощность комплекса (при 35 цельсия): 3,05 МВт.

Группы вычислительных узлов:

Тип Процессоры Количество ядер RAM (ГБ) Суммарное количество процессоров Суммарное количество процессоров Количество узлов
T-Blade2(УВ1) 2 x Intel® Xeon 5570 Nehalem 2 x 4 12 8 320 33 280 4 160
T-Blade1(УВ2) 2 x Intel® Xeon 5570 Nehalem 2 x 4 24 520 2 080 260
T-Blade2(УВ1) 2 x Intel® Xeon 5670 Westmere 2 x 6 24 1 280 7 680 640
T-Blade1(УВ2) 2 x Intel® Xeon 5670 Westmere 2 x 6 48 80 480 40
Узлы на базе IBM® Cell (УВ3) PowerXCell 8i 8 16 60 480 30

Все узлы связаны тремя независимыми сетями:

  • Системная сеть - QDR InfiniBand, 40 Гбит/сек (схема)
  • Сервисная сеть - Ethernet, 10 Гбит/сек, 1 Гбит/сек и 100 Мбит/сек (схема)
  • Управляющая сеть - Ethernet, 10 Гбит/сек и 1 Гбит/сек (схема)
  • Сеть барьерной синхронизации и сеть глобальных прерываний, Т-Платформы

Программное обеспечение:

HPC-приложения:

  • MOLPRO, версия 2010.1 (установлено в /opt/molpro2010.1/) - доступен только сотрудникам МГУ.

Ломоносов-2

Суперкомпьютер «Ломоносов-2» изображен на рисунках 6 и 7.

Рисунок 6 – Суперкомпьютер «Ломоносов-2»

Рисунок 7 – Суперкомпьютер «Ломоносов-2»

Позиции в рейтинге TOP500 самых мощных суперкомпьютеров мира: [Источник 9]

  • июнь 2014 — 129 место
  • ноябрь 2014 — 22 место
  • июнь 2015 — 31 место
  • ноябрь 2015 — 35 место
  • июнь 2016 — 41 место
  • ноябрь 2016 — 52 место
  • июнь 2017 — 59 место
  • ноябрь 2017 — 63 место
  • июнь 2018 – 72 место
  • ноябрь 2018 – 79 место

Занимает 1 позицию в списке Топ-50 суперкомпьютеров СНГ на 24.09.2018

Основные технические характеристики суперкомпьютера "Ломоносов-2":[Источник 10]

Пиковая производительность 4,946 Пфлопс
Производительность на тесте Linpack 2,478 Пфлопс
Число вычислительных узлов 1 696
Основной тип процессора Intel Haswell-EP E5-2697v3, 2.6 GHz, 14 cores
Тип ускорителя NVidia Tesla K40M
Общее число ядер 64 384
Оперативная память на узел 64 GB
Основная сеть Infiniband FDR
Сеть I/O Infiniband FDR
Управляющая сеть Gigabit Ethernet
Операционная система CentOS 7
Производитель Т-платформы
Год выпуска 2014 год

Характеристики разделов:

Раздел Общее число узлов ЦПУ Графический ускоритель Объем RAM на узле Основная сеть Сеть I/O Управляющая сеть Операционная система
Раздел Compute 1120 Intel Haswell-EP E5-2697v3, 2.6 GHz, 14 cores NVidia Tesla K40M 64 GB Infiniband FDR Infiniband FDR Gigabit Ethernet CentOS 7
Раздел low_io 384 Intel Haswell-EP E5-2697v3, 2.6 GHz, 14 cores NVidia Tesla K40M 64 GB Infiniband FDR Infiniband FDR Gigabit Ethernet CentOS 7
Раздел Test 32 Intel Haswell-EP E5-2697v3, 2.6 GHz, 14 cores NVidia Tesla K40M 64 GB Infiniband FDR Infiniband FDR Gigabit Ethernet CentOS 7
Раздел Pascal 160 Intel Xeon Gold 6126 (12 ядер, 2.6 ГГц) 2 x Nvidia P100 (3584 cuda ядер, 16 ГБ памяти) 96 ГБ Infiniband FDR Infiniband FDR Gigabit Ethernet CentOS 7
Раздел Phi 4 Intel(R) Xeon Phi(TM) CPU 7230, 1.30GHz, 64 cores нет 112 ГБ Infiniband FDR Infiniband FDR Gigabit Ethernet CentOS 7

Система хранения:

Хранилище прикладного ПО 30 ТБ
Хранилище домашних каталогов 181 ТБ
Хранилище рабочих файлов 682 ТБ

Использование и решаемые задачи

С помощью суперкомпьютера «Ломоносов», который принимает на себя основную вычислительную нагрузку в рамках суперкомпьютерного комплекса МГУ, уже получены уникальные результаты в разных областях науки, например, в исследовании механизмов генерации шума в турбулентной среде или же в создании новых компьютерных методов проектирования лекарственных препаратов.

Совместной группой мехмата МГУ и Института прикладной математики РАН получены важные результаты по численному моделированию формирования и развития концевых вихрей на сверхзвуковых режимах. Эта задача требует огромных вычислительных ресурсов.

Повышение эффективности нефтегазовой отрасли напрямую зависит от мощности применяемых высокопроизводительных вычислительных систем. Это верно как на этапе поисков и разведки месторождений горючих полезных ископаемых, так и на этапе их освоения и эксплуатации. В процессе извлечения информации из сейсмических данных необходимо подавить волны–помехи, оценить глубинно–скоростную модель среды и построить глубинное изображение участка земной коры в районе наблюдений. Особая проблема связана с тем, что объём данных на одном месторождении может достигать десятков и сотен терабайт, что диктует необходимость применения самых мощных суперкомпьютеров.

В настоящее время на суперкомпьютере «Ломоносов» решается ряд важных задач обработки сейсмических данных. В частности, при помощи высокоэффективного метода 3D SRME осуществляется подавление волн–помех, обусловленных переотражением от свободной поверхности в нижнее полупространство, проводится построение глубинного изображения среды при помощи метода миграции в обратном времени — каждый расчет каждой из этих задач требует несколько тысяч процессорных ядер суперкомпьютера «Ломоносов».

Рисунок 8 – Космический аппарат «Русь» в разработке которого использовались мощности суперкомпьютера «Ломоносов»

Перспективные результаты получены группой ученых ИПМ РАН по моделированию режимов охлаждения современных процессоров. Показано, что радиаторы рассматриваемой конструкции должны иметь не менее 25 ребер для предохранения процессора от перегрева. Оптимальной является конфигурация с количеством ребер более 757–100, при которой процессор с потребляемой мощностью 65 Вт ни в каком режиме не нагревается выше 70°С.

Ввод в строй суперкомпьютера «Ломоносов» позволил решить ряд важных задач для ведущих промышленных отраслей России — аэрокосмической (РКК «Энергия» им. С.П. Королева) и атомной (ОКБМ им. И.И. Африкантова). Для нужд РКК «Энергия» с помощью «Ломоносова» были проведены расчеты обтекания перспективного космического корабля «Русь» при торможении в атмосфере Земли и посадки на ее поверхность (см. рисунок 8). На «Ломоносове» также была решена задача о массотеплообмене в устройстве сепарации окислов натрия в первом контуре перспективного ядерного реактора, разрабатываемого ОКБМ им. И.И. Африкантова.[Источник 11]

Визуальные эффекты к фильму "Время первых" создавались с использованием мощностей системы V-Class от компании "Т-Платформы", а также суперкомпьютеров "Ломоносов" и "Ломоносов-2".[Источник 12]

В целом, можно выделить следующие основные направления научных исследований, проводимых на «Ломоносов-2»: [Источник 13]

  • большие вычислительные задачи (Grand challenges), требующие применения суперкомпьютеров: нанотехнологии, молекулярное моделирование, инженерное проектирование, сейсморазведка, экология, криптография;
  • проектирование и настройка кластерных вычислительных систем под конкретные требования заказчика;
  • проведение экспертизы и комплексной диагностики программно-аппаратной среды существующих кластеров, определение узких мест и выработка рекомендаций по повышению производительности кластерных систем.

С августа по октябрь 2018 года проводился конкурс на использование компьютерного комплекса.[Источник 14]

Источники

  1. Ломоносов (суперкомпьютер) // Wikipedia [2001-2018] URL: https://ru.wikipedia.org/wiki/Ломоносов_(суперкомпьютер) (дата обращения: 07.12.2018)
  2. Суперкомпьютер "ЛОМОНОСОВ-2"//iMoscow URL: https://imoscow.mos.ru/ru/infrastructure/object/detail/127754/sciencedirection (дата обращения: 07.12.2018)
  3. Ломоносов-2//Wiki2 URL: https://wiki2.org/ru/Ломоносов-2 (дата обращения: 07.12.2018)
  4. Суперкомпьютер «Ломоносов-2» на пути к рубежу 5 Пфлопс//Московский Государственный Университет Имени М.В.Ломоносова URL: https://www.msu.ru/news/na-puti-k-rubezhu-5pflops.html (дата обращения: 07.12.2018)
  5. MSU Supercomputers: "Lomonosov" //High Performance Computing in Moscow State University URL: http://hpc.msu.ru/node/59 (дата обращения: 07.12.2018)
  6. Lomonosov - T-Platforms T-Blade2/1.1, Xeon X5570/X5670/E5630 2.93/2.53 GHz, Nvidia 2070 GPU, PowerXCell 8i Infiniband QDR//TOP500 the List URL: https://www.top500.org/system/177421 (дата обращения: 07.12.2018)
  7. Текущий рейтинг//Суперкомпьютеры. Top 50 URL: http://top50.supercomputers.ru/?page=rating (дата обращения: 07.12.2018)
  8. Суперкомпьютер "ЛОМОНОСОВ"//Лаборатория Параллельных информационных технологий URL: https://parallel.ru/cluster/lomonosov.html (дата обращения: 07.12.2018)
  9. Lomonosov 2 - T-Platform A-Class Cluster, Xeon E5-2697v3 14C 2.6GHz,Intel Xeon Gold 6126, Infiniband FDR, Nvidia K40m/P-100 //TOP500 the List URL: https://www.top500.org/system/178444 (дата обращения: 07.12.2018)
  10. Суперкомпьютер "ЛОМОНОСОВ-2"//Лаборатория Параллельных информационных технологий URL: https://parallel.ru/cluster/lomonosov2.html (дата обращения: 07.12.2018)
  11. Суперкомпьютер «Ломоносов»//Московский Государственный Университет Имени М.В.Ломоносова URL: https://www.msu.ru/lomonosov/science/computer.html (дата обращения: 07.12.2018)
  12. Новости ЦКП//Лаборатория Параллельных информационных технологий URL: https://parallel.ru/cluster (дата обращения: 07.12.2018)
  13. Центры коллективного пользования научным оборудованием и уникальные научные установки// Научно-технологическая инфраструктура Российской Федерации URL: http://www.ckp-rf.ru/usu/439942/ (дата обращения: 07.12.2018)
  14. Конкурс на использование ОИ "Центр коллективного пользования сверхвысокопроизводительными вычислительными ресурсами Московского университета"//Лаборатория Параллельных информационных технологий URL: https://parallel.ru/cluster/RSF_contest (дата обращения: 07.12.2018)