Sun Starfire

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 20:33, 11 января 2019.
Starfire
E10000.png
Разработчики: Cray Research
Операционная система: Solaris
Тип ПО: Многопроцессорный сервер
Веб-сайт enterprise.com

Enterprise 10000 («Starfire») — это единственная UNIX-система, обеспечивающая работу с независимыми разделами, как на мэйнфрейме, что весьма важно для эффективного использования вычислительного центра. Система обеспечивает масштабирование в том, что касается производительности, числа пользователей, емкости приложений, расширяясь до 64 процессоров UltraSPARC с тактовой частотой 400 МГц, и включает дисковую подсистему в том же едином корпусе. Свойства обеспечения постоянной работоспособности SunTrust делают систему Enterprise 10000 наиболее надежной в своем классе.

Система Enterprise 10000, вмещающая до 64 Гбайт разделяемой памяти, с шириной пропускания внутрисистемной магистрали до 12 Гбайт/с для быстрой пересылки данных и фиксированного времени задержки, а также с поддержкой RAID 0, RAID 1 и RAID 5, превосходит по производительности все другие масштабируемые системы. Кроме того, обеспечивается поддержка до 20 Тбайт дискового пространства, что существенно для проектов крупнейших вычислительных центров. Возможности "горячей замены" позволяют легко производить обновление и замену компонентов в существующих системах без необходимости их перезагрузки или выключения питания.. [Источник 1]

Общая архитектура

Рисунок 1 - Схема сервера

В Enterprise 10000 (Starfire) использован конструктив, основанный на центральной плате (сenterplane) - отдаленный аналог материнской платы ПК. При построении SMP-серверов пожалуй чаще используется конструктив с задней панелью (backplane), содержащей системную шину, как, например, в серверах SGI Power Challenge. Для Sun Enterprise 10000 в качестве системной шины, которая называется Gigaplane XB, используются коммутаторы, поэтому центральная плата и является их материальным воплощением. Gigaplane XB - это межсоединение, транспортная артерия, связывающая между собой системные платы, содержащие ЦП, ОП и шины ввода-вывода. Не следует путать глобальные коммутаторы Gigaplane XB с локальными коммутаторами, "имманентно" присущими самой архитектуре UPA, и расположенными на системных платах.

Приведенная на рисунке 1 схема сервера больше описывает его конструктивное строение, нежели собственно "чистую" архитектуру. В конфигурацию Enterprise 10000 входят до 2 управляющих плат. Их задача заключается, в частности, в управлении вентиляторами и блоками питания всей системы. Они содержат также порты последовательного интерфейса и Ethernet, служащие для связи c cервисным процессором SSP (Service Support Processor) - компьютером, управляющим работой всей вычислительной установки.

Здесь интересно отметить, что полузаказные микросхемы (ASIC), применяемые в Ultra Enterprise 10000, имеют встроенные средства проверки работоспособности микросхем в соответствии с индустриальным стандартом JTAG. Управляющие платы контролируют также процесс проверки работы полузаказных микросхем серверов Enterprise 10000. Платы поддержки центральной платы выполняют аналогичные функции проверки для полузаказных микросхем центральной платы, а также содержат логику, обеспечивающую управление электропитанием и часами центральной платы.

Системные платы содержат компоненты, определяющие основные ресурсы процессора. Физически системная плата представляет собой сборку, включающую процессорные модули, модуль ОП и модуль ввода-вывода. На системной плате могут располагаться 0-4 дочерние платы - процессорного модуля, каждый из которых содержит собственный микропроцессор Ultra SPARC II, внешний кэш и UDB-буфер данных UltraSPARC. Детальная архитектура системной платы и ее взаимодействия с шиной Gigaplane XB, демонстрирующем двухуровневую систему маршрутизации или, точнее, коммутации данных, принятую в Enterprise 10000. Внутри системной платы запросы локальны, а для доставки данных используется стандартная архитектура UPA. Если же ЦП обращаются к ОП по адресу, который не может быть найден на данной системной плате, то включается глобальная маршрутизация с использованием Gigaplane XB.

Технические характеристики оборудования

Процессор
Число От 4 до 64
Архитектура 250, 336, 400 или 466 МГц UltraSPARC [tm] -II
Кэш на процессор Первичная: инструкция 16 КБ и 16 КБ данных на чипе

Вторичный: внешний кэш 4 МБ или внешний кеш 8 МБ (модуль 466 МГц)

Интерфейс CPU 64-битная архитектура Ultra Port (UPA)
Системное межсоединение Коммуникация Gigaplane-XB, пропускная способность 12,8 ГБ / секунду

Шина данных памяти: 576 бит Шина данных: 144 бит на плату Шина данных процессора: 144 бит

Системные платы
Количество досок Максимум 16 плат на сервер Enterprise 10000; минимальная конфигурация - одна системная плата
Плата процессора / памяти До четырех процессоров и четырех банков по восемь SIMM-карт памяти на каждой системной плате
Плата ввода / вывода До четырех плат SBus или двух карт PCI на каждой системной плате
Пульт управления До двух плат на сервер Enterprise 10000; управляет системой JTAG, часами, вентилятором, питанием, последовательным интерфейсом и функциями интерфейса Ethernet
Стандартные интерфейсы
Ethernet Один порт Ethernet для витой пары (10BASE-T) ( RJ-45 ) на плату управления; для использования только между платой управления и системным сервисным процессором
PCI Два слота для каждого модуля ввода / вывода PCI, установленного на системной плате; 32-битная или 64-битная шина данных, 33- или 66-МГц, короткие карты (6,5 дюйма)
SBus Четыре слота на каждый модуль ввода / вывода SBus, установленные на системной плате; 32-битная или 64-битная шина данных, 25 МГц
Основная память
Объем памяти от 2 до 64 ГБ на систему

Опции расширения памяти на 256 МБ и 1 ГБ (каждая группа из 8 SIMM)

До четырех вариантов расширения памяти на системную плату

Внутреннее хранилище
Дисковый массив Максимум два массива Sun StorEdge D1000 (емкость до 2 ТБ)

или максимум 16 дисков UniPack и 4 лотка UniPack или их комбинация

[Источник 2]

Показатели производительности StarFire

14 июня 1999 г. корпорация Sun Microsystems опубликовала полученные ее специалистами высокие показатели производительности серверов Sun HPC 10000 (StarFire) на популярных тестовых пакетах, таких как NAS Parallel Benchmark, LINPACK, FASTA и STREAM. Сервер StarFire, поддерживающий до 64 процессоров UltraSPARC и до 64GB, позиционируется в ряду серверных продуктов Sun как универсальный сервер высшего класса, как для научно-технических, так и для коммерческих приложений. Сервер состоит из отдельных плат (до 16), каждая из которых включает 4 процессора, до 4 карт ввода-вывода "Sbus" и модуль памяти объемом до 4 GB; поддерживается общее адресное пространство.

64-процессорный сервер StarFire, на базе 64-битного процессора UltraSPARC II/400MHz c 16GB оперативной памяти, продемонстрировал отличную масштабируемость на паралелльных тестовых программах NAS Parallel Benchmarks. Этот тестовый пакет был разработан группой численной аэродинамики (Numerical Aerodynamic Simulation group) в исследовательском центре NASA (NASA Ames Research Center). 8 программ этого пакета представляют собой вычислительные ядра (т.е. типичные, часто повторяемые куски кода) параллельных алгоритмов вычислительной гидродинамики. На одном из тестов (IS class B) было показано 61-кратное ускорение на 64 процессорах.

На параллельной HPC-версии теста LINPACK, 64-процессорный сервер от Sun показал вычислительную производительность в 44.57 GFLOP/sec, что составляет 87% его пиковой производительности, а также на 42% лучше производительности 64-процессорной системы SGI Origin2000 на базе R12000/300MHz и на 12% лучше производительности 64-процессорной массивно-параллельной системы IBM RS/6000 SP на базе POWER3/200MHz.

Синтетический тест STREAM служит для измерения эффективной пропускной способности обменов процессор-память для простых не-кэшируемых ядер: копирование, умножение на константу, сложение очень длинных векторов из вещественных чисел. Сервер StarFire показал на этом тесте скорость обменов, равную 12.4 GB/sec, тогда как пиковая производительность подсистемы памяти составляет 12.8 GB/sec. Для сравнения: сервер HP V2500, для которого пиковая производительность коммутатора Hyperplane составляет 15.3 GB/sec, на тесте STREAM показал только 4.2 GB/sec.

Sun также продемонстрировала производительность StarFire на одной из программ пакета обработки генетической информации FASTA. Тест состоял в сравнении двух длинных генетических последовательностей, что является одной из важнейших задач биоинформатики. На 64 процессорах было показано 45-кратное ускорение, а скорость сравнений составила свыше 1.2 млрд. ячеек ДНК в секунду. [Источник 3]

Надежность, готовность и ремонтопригодность

О поддержке этой триады (Reliability, Availability, Serviceability,- сокращенно RAS) заявляют обычно все производители больших многопроцессорных серверов, ориентированных на бизнес-приложения. Есть все основания для того, чтобы о системе Enterprise 10000 можно было говорить в смысле RAS. В Списке 1. приведены некоторые ключевые особенности Enterprise 10000, обеспечивающие RAS. Наиболее яркой особенностью Enterprise 10000, отличающей их от других SMP-серверов в смысле RAS, является возможность организации доменов. Это архитектурное понятие пришло из мира мэйнфреймов компаний IBM и UNISYS.

Некоторые особенности Ultra Enterprise 10000, обеспечивающие свойства RAS.

Особенности, повышающие надежность

  • Контроль по четности
  • Избыточные платы ЦП/ОП
  • Мониторинг и управление окружением (температура, электропитание)
  • Специальные надежные конструкции коннекторов, кабелей и т. д.
  • Применение маршрутизаторов "точка-точка", более надежных, чем традиционные системные шины

Особенности, повышающие готовность

  • Избыточные модули UltraSPARC
  • Горячая замена плат сигналов ЦП/ОП
  • Избыточные источники питания
  • Усовершенствованная система автоматического восстановления (ASR)
  • Наличие пар вентиляторов с переменной скоростью вращения в каждом модуле охлаждения
  • Поддержка 2 интерфейсов от хоста к каждому дисковому массиву
  • Автоматическая перезагрузка при сбоях
  • Поддержка нескольких ОС в разных доменах
  • Использование 4 независимых адресных шин
  • 16х16-межсоединение данных с двумя независимыми маршрутизаторами

Особенности, повышающие обслуживаемость

  • Модульное строение системы адресов и управляющих
  • Горячая замена плат ввода-вывода
  • Удаленная загрузка
  • Горячая замена дисковых накопителей
  • Горячая замена модулей охлаждения/ электропитания
  • Система тестов SunVTS, которые выполняются при работе ОС Solaris
  • Наличие внутренних (встроенных) аппаратных тестов, например, при включении электропитания
  • Динамическая реконфигурация для изоляции проблемы с последующим ремонтом в режиме on-line [Источник 4]

Динамическая система доменов Enterprise 10000 позволяет разбить весь компьютер на несколько "подкомпьютеров", каждый из которых может включать как минимум одну системную плату. Такие домены в терминологии IBM называются логическими разделами (LPAR). Можно сказать, что домен - это SMP-"подсистема". Каждый домен имеет собственные внешние устройства: магнитные диски, собственные сетевые адаптеры и т.д.

Любой домен в Enterprise 10000 разделяет общую шину Gigaplane XB, и поэтому полной изоляции доменов, как это бывает в LPAR, не происходит. Однако один домен отделен от других логически. Поэтому ошибки в ОС и аппаратуре (процессоры, память, ввод/вывод) одного домена не влияют на другие. Это позволяет использовать домен для безопасного (для остальной части системы) тестирования программного обеспечения: новых версий ОС Solaris и ее модификаций, новых драйверов и т.д., не прерывая "промышленной эксплуатации" Enterprise 10000. Управление всеми доменами осуществляется с единого SSP, а системный администратор может динамически создавать домены, не прерывая работы сервера. Благодаря доменной организации Enterprise 10000 может заменить ряд небольших SMP-серверов, использовать один из доменов как брандмауэр, связанный с другими серверами сверхбыстрой магистралью - Gigaplane XB.

Для построения систем, устойчивых к сбоям, могут применяться специальным образом сконфигурированные серверы Enterprise 10000. Так, можно использовать зеркалированные пары дисковых массивов SPARCstorage Array. Кроме того, поставляются кластерные конфигурации HPC Ultra Enterprise 10000, в узлах которых располагаются SMP-серверы Enterprise 10000, а для соединения узлов применена известная шина SCI c высокой ПС. Однако в отличие от обычного режима работы SCI в кластерах HPC не поддерживает когерентности кэша. Как известно, кластерные конфигурации позволяют строить системы с более высоким уровнем готовности - разработчики Sun Microsystems объявили о достижении уровня готовности в 99.95%.

Источники

  1. Кластеры и массивно-параллельные системы различных производителей // Национальный открытый университет [2003—2019]. URL: https://www.intuit.ru/studies/courses/45/45/lecture/1362?page=3 (дата обращения: 28.09.2018).
  2. Enterprise 10000 - Hardware Specifications. [2003—2019]. URL: http://shrubbery.net/~heas/sun-feh-2_1/Systems/E10000/spec.html (дата обращения: 28.09.2018).
  3. Sun публикует выдающиеся показатели производительности своих HPC-серверов StarFire // Parallel.ru. [2018—2019]. URL: https://parallel.ru/news/sun_hpcbenchmarks.html (дата обращения: 28.09.2018).
  4. Серверы Enterprise 10000. [1992—2019].URL: https://www.osp.ru/os/1997/05/179244/ (дата обращения: 28.09.2018).