Univa Grid Engine

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 17:56, 10 января 2019.
Univa Grid Engine
Logogrid.jpg
Разработчики: Univa
Выпущена: May 2011; 10 years ago (2011-05)
Постоянный выпуск: 8.6.1
Операционная система: Кросс-платформенное программное обеспечение
Тип ПО: Grid-вычисления
Лицензия: Проприетарное программное обеспечение
Веб-сайт Univa
Univa Grid Engine – это система управления распределенными ресурсами, которая оптимизирует ресурсы в тысячах центров обработки данных путем прозрачного выбора ресурсов[Источник 1].

Функции

Программное обеспечение Grid Engine автоматически управляет рабочими нагрузками, максимизирует общие ресурсы и ускоряет развертывание любого контейнера, приложения или услуги в любой технологической среде, в помещении или в облаке.

Основными функциями Grid Engine являются:

  • Мониторинг и отчетность (отслеживание и измерение использования ресурсов в кластерах с рабочей нагрузкой с наиболее полным решением для мониторинга и отчетности на рынке)
  • Поддержка контейнеров (запуск контейнеров Docker в кластере Univa Grid Engine в масштабе и смешивание контейнеров с другими рабочими нагрузками, поддерживающими гетерогенные приложения и технологические среды)[Источник 2]
  • Поддержка GPU(масштабирование основанных на GPU (Graphics Processing Unit) фреймворков из контейнеров и серверов в кластеры и облака)
  • Облачная поддержка HPC (запуск рабочих нагрузок HPC и микросервисов на общих кластерах Kubernetes)[Источник 3]

Форк

В 2011 году компания Univa анонсировала создание форка проекта Sun Grid Engine, предназначенного для организации процесса выполнения заданий в сети распределенных вычислений. Компания Univa уже достаточно давно занимается созданием расширений и предоставляет услуги поддержки для решений на базе Sun Grid Engine, имея на это соответствующую OEM-лицензию. После поглощения Sun компанией Oracle, разработка открытого проекта была прекращена, поэтому компания Univa решила взять инициативу в свои руки и совместно с независимым сообществом разработчиков продолжить разработку независимо от Oracle.

Последний релиз открытой версии Sun Grid Engine 6.2 Update 5 вышел более года назад, после чего недавно была выпущена версия Grid Engine 6.2 Update 6, которая поставляется в виде закрытого продукта, выпущенного без открытия сопутствующих исходных текстов. Подобный шаг был негативно воспринят компаниями, предоставляющими услуги альтернативной поддержки, так как он сделал невозможным процесс распространения собственных обновлений и подготовки патчей по запросу клиентов. Oracle не планирует закрывать проект Grid Engine, более того пророчит ему большое будущее и занимается его интеграцией в собственный продукт Oracle Enterprise Manager. Тем временем заявления Oracle о продолжении развития открытой версии Grid Engine пока остается только на словах.

Примечательно, что развитием форка займутся изначальные разработчики продукта, которые перешли на работу в Univa из Oracle. Среди таких разработчиков числится и Фриц Ферстл (Fritz Ferstl), основатель проекта, который займет в Univa пост технического директора. В настоящее время объем внедрения Grid Engine по всему миру оценивается примерно в 4 миллиона CPU, используемых в более чем тысяче правительственных, образовательных и коммерческих проектов. Решения на базе бесплатной версии Grid Engine, по приблизительным данным, используются в кластерах 2 - 10 тысяч организаций.

В качестве базиса для форка будет использован код версии Grid Engine 6.2 Update 5. Проект будет открытым и принять участие в его развитии смогут любые сообщества и компании. Первый релиз форка Univa надеется выпустить до завершения первого квартала текущего года. Полученная ранее у Sun лицензия позволяет компании Univa сохранить имя "Grid Engine" в названии продукта, но не исключено, что, для того чтобы не провоцировать развитие конфликта с Oracle, форк выйдет под совершенном иным именем.[Источник 4]

Ключевые особенности

  • Масштабируемость в облаках до 1М ядер
  • Повышенная пропускная способность рабочей нагрузки
  • Ускорение времени достижения результатов
  • Облачное тестирование
  • Снижение общей стоимости владения
  • Включение крупномасштабного машинного обучения

Конфигурация Univa Grid Engine

Продукт Univa Grid Engine предназначен, прежде всего, для сетей среднего размера, охватывающих отдел или небольшое предприятие. Этот продукт предназначен для сетей класса Cluster Grid и доступен бесплатно.

Пакет позволяет объединить несколько серверов или рабочих станций в единый вычислительный ресурс, который может быть использован как для пакетных задач, так и для высокопроизводительных пакетных вычислений.

Администратор вычислительной сети может получать данные мониторинга и статистики, и на их основе оптимизировать уровень использования ресурсов. Административный интерфейс позволяет задавать различные параметры вычислительных задач, такие, как приоритеты, требуемые ресурсы оборудования, лицензии на программное обеспечение, временное окно выполнения, права пользователей на доступ к тем или иным ресурсам.

На рисунке 1 показаны компоненты Univa Grid Engine кластера.

Рисунок 1 – Компоненты Univa Grid Engine

В центре рисунка – qmaster. Этот центральный компонент Univa Grid Engine управляет кластером, принимая поступающие задания от пользователей, назначая задания на ресурсы, контролируя текущий статус кластера, и обрабатывая команды управления. qmaster – многопоточный демон, который работает на одном хосте в вычислительном кластере. Чтобы уменьшить незапланированный простой кластера, один или более shadow masters могут выполнить задачи на дополнительных узлах в кластере. В случае неудачного завершения задачи qmaster'ом или хостом, задача передается новому qmaster, запуская нового qmaster демона. Каждый хост в кластере, который должен выполнить задания, должен будет запустить соответствующий демон. Демон получает задания от qmaster и выполняет их в определённом месте на своем хосте. Программное обеспечение Univa Grid Engine не устанавливает ограничений на число заданий, которые может распределить демон, но в большинстве случаев число заданий определено числом ядер центрального процессора доступных на хосте. Когда задание завершено, демон сообщает qmaster, что он может планировать новое задание.

В стандартном режиме каждый демон шлет сообщение о своем состоянии qmaster'у. Если qmaster неудачно завершает одну из задач, получая несколько последовательных сообщений от демона, то qmaster не зарегистрирует этого хоста и все его ресурсы как доступные и удалит его из списка планировщика как доступного.

Задания посылаются в qmaster разнообразными путями. DRMAA обеспечивает программный интерфейс для приложения, чтобы обеспечить запуск и контроль задания. Программное обеспечение Univa Grid Engine работает с C и Java, позволяя использовать DRMAA для широкого диапазона приложений. qmon – это графический пользовательский интерфейс Univa Grid Engine. Через qmon пользователи и администратор могут запускать, контролировать и управлять заданиями, а так же управлять всеми функциями кластера. qsub – это командная строка утилита для того, чтобы запускать очереди, пакеты и параллельные задания. Последний компонент, показанный на диаграмме – это ARCo (Accounting and Reporting Console), интернет приложение, обеспечивающее доступ к Univa Grid Engine для учёта информации, хранившейся в базе данных. Используя ARCo, конечные пользователи и администраторы могут создавать и выполнять запросы по учёту работы кластера.

Услуги и другие объекты, которые существуют и общаются в Grid, реализованы как демоны UNIX. Кроме того, UGE предлагает огромный набор инструментов в режиме командной строки для планирования заданий, мониторинг и общего управления, с возможностями резервного копирования, и дружественный к пользователю интерфейс. Такой подход открывает очень большие возможности для работы со скриптами операционного окружения, например в режиме терминала.

В дополнение к отмеченным особенностям важно понимать, что реализация инфраструктуры Grid в среде UNIX разрешает использовать все уже доступные стандартные и привычные инструменты коммуникации, такие как rsh и ssh, продвижение X-Window, NFS, NIS+, RPC и т.д.

Первый шаг, необходимый для начала работы, это собрать данные по топологии доступных ресурсов, выбирая подходящие машины для поставленных задач. UGE использует в основном 4 типа хостов: Master host, Execution host, Administration host and Submit host.

Каждый хост может быть членом в то же время больше чем одной категории и будет управлять соответствующими демонами UGE. Единственное ограничение к этому подразделению хостов состоит в том , что может существовать только один Master хост на верхнем уровне UGE grid (названный Cell ).[Источник 5]

Технические требования

Операционная система Версия Архитектура
SLES 10,11,12 X86, X86-64
RHEL 5 или выше, 6 или выше, 7 x86, x86-64
CentOS 5 или выше, 6 или выше, 7 x86, x86-64
Oracle Linux 5 или выше, 6 или выше, 7 x86, x86-64
Ubuntu 10.04LTS - 16.04LTS x86, x86-64
Oracle Solaris 10, 11 x86_64, SPARC 64bit
HP-UX 11 или выше 64bit
IBM AIX 6.1 или позже 64bit
Mac OS X 10.8 (Mountain Lion) или позже x86, x86-64
Microsoft Windows XP Professional (SP3) 32 bit
Microsoft Windows Server 2003 / 2003 R2 32 bit
Microsoft Windows Vista Enterprise / Ultimate 32 and 64bit
Microsoft Windows Server 2008 / 2008 R2 32 and 64bit
Microsoft Windows 7 Professional / Enterprise / Ultimate 32 and 64bit
Microsoft Windows Server 2012 / 2012 R2 32 and 64bit
Microsoft Windows 8 / 8.1 Pro / Enterprise 32 and 64bit
Microsoft Windows 10 Pro / Enterprise 32 and 64bit[Источник 6]

Источники

  1. Univa Corporation - Product Suite // Univa [2018]. Дата изменения: 26.02.2018. URL: http://www.univa.com/products/ (Дата обращения: 13.11.2018).
  2. New Version of Univa Grid Engine // Univa [2018]. Дата изменения: 26.02.2018. URL: http://www.univa.com/about/news/press_2016/05312016.php (Дата обращения: 13.11.2018).
  3. gridengine // Univa [2018]. Дата изменения: 16.03.2018. URL: http://www.univa.com/resources/files/gridengine.pdf (Дата обращения: 13.11.2018)
  4. Компания Univa создала форк Oracle Grid Engine // OpenNET [1996–2019]. Дата изменения: 19.01.2011. URL: http://www.opennet.ru/opennews/art.shtml?num=29315 (Дата обращения: 010.01.2019).
  5. Конфигурация Univa Grid Engine // mydocx [2015]. Дата изменения: URL: https://mydocx.ru/9-64348.html (Дата обращения: 18.10.2018)
  6. Release_Notes_Univa_Grid_Engine_8.6.1 // Univa [2018]. Дата изменения: 14.10.2018. URL: www.univa.com/resources/files/Release_Notes_Univa_Grid_Engine_8.6.1.pdf (Дата обращения: 24.10.2018)