QFS (Quick File System)

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 09:03, 11 февраля 2019.
QFS
Полное название Quick File System
Сбойные блоки Table
Limits
Макс. размер файла 8 EiB
Макс. количество файлов 4.1 миллиарда
Разрешенные символы
в именах файлов
Все байты, кроме NULL и '/'
Features
Диапазон дат December 14, 1901 – January 18, 2038
Другие
Операционная система Linux, OpenSolaris
Веб-сайт docs.oracle.com

QFS (англ. Quick File System) - это высокопроизводительная файловая система, которая может быть установлена в Oracle Solaris x64. Эта файловая система широкого применения обеспечивает доступность данных на номинальных скоростях устройства по запросу одного или нескольких пользователей. Файловой системе QFS присуща масштабируемость, которая позволяет организациям хранить файлы без ограничений на количество информации, которой можно управлять. [1]

Описание

Система SAM-QFS позволяет архивировать файлы системных данных. Окружение SAM-QFS включает хранитель и архивный менеджер вместе с ПО Sun QFS для файловой системы. ПО SAM-QFS позволяет архивировать данные на максимальной скорости работы устройства. В дополнение, данные могут быть архивированы в файлы в другой файловой системе через процесс, известный как архивация диска. Можно архивировать данные на требуемых базисах или вы можете определить политики, которые определяют когда данные должны быть архивированы. Вы можете также установить определенное расписание архивации данных. Существует стандартный интерфейс файловой системы и он может читать и писать файлы, как будто они были на всех основных носителях.

В конфигурации системы, файловая система управляет онлайн и оффлайн данными автоматически и понятным пользователю образом. Пользователи читают и записывают файлы в файловую систему как будто они находятся на основном носителе. К тому же, эта конфигурация делает резервные копии постоянно, непрерывно и бесперебойно. Несколько копий файла могут быть архивированы во многие типы стандартных медиафайлов. Эта способность минимизирует нужду дополнительной резервной копии и предоставляет возможность быстрого восстановления, в случае проблемного события и является решением эффективного хранилища данных. ПО SAM-QFS архивирует файлы, копирует файлы с онлайнового дискового кеша в архив медиа данных, автоматически поддерживает онлайн дисковое пространство на определенных правилах работы, т.е. освобождает дисковое пространство, связанное с архивированным файлом и восстанавливает файлы в онлайн диск, когда они необходимы.[2]

SAM расширяет файловую систему QFS как архивное хранилище. Файловая система SAM-QFS может иметь относительно маленький(гигабайты или терабайты) "дисковый кеш", за которым стоят петабайты данных.

Архитектура QFS

Рисунок 1 - Архитектура QFS

QFS состоит из 3 компонентов (см. Рисунок 1):

  • Metaserver. Центральный сервер метаданных, который управляет структурой каталогов файловой системы и отображением файлов в физическое хранилище.
  • Chunk Server. Сервер, который хранит данные.
  • Client Library. Библиотека, которая предоставляет API файловой системы, чтобы позволить приложениям взаимодействовать с QFS.

[Источник 1]

Установка

В этом разделе приведены инструкции по установке программного обеспечения Sun QFS Linux Client.

[Источник 2]

  • Вставьте установочный DVD в систему Linux или найдите загруженный пакет программного обеспечения.
  • Начните установку ПО

Если вы производите установку с DVD, введите следующие команды от имени root в системе Linux:

mount -o ro -t iso9660 /dev/cdrom /mnt
/mnt/linux1/Install 

Если вы выполняете установку из загруженного пакета программного обеспечения, введите следующие команды от имени пользователя root в системе Linux:

mount -o ro,loop -t iso9660 StorageTek_QFS_5.3.iso /mnt
/mnt/linux1/Install 

Программа установки устанавливает программное обеспечение.

Если программа установки не распознает версию ядра Linux, она отобразит следующее сообщение:

 A direct match for your kernel wasn't found. Attempt creating a custom rpm for your kernel  /
(yes/no)?

Выберите «Да», чтобы разрешить программе установки адаптировать загружаемый двоичный модуль ядра к системе Linux. Если вы выберите нет, установка не может быть завершена.

  • Просмотрите файл /etc/opt/SUNWsamfs/mcf и убедитесь, что он содержит правильные пути для вашей установки.

Для большинства установок созданный mcf-файл будет правильным, но его, возможно, придется отредактировать в соответствии с вашей конкретной средой.

  • Убедитесь, что sam-fsd работает и что ожидаемые файловые системы смонтированы на сервере метаданных.

Например:

ps -ef | grep sam-fsd
root 22054     1   0   May 09 ?           0:00 /opt/SUNWsamfs/sbin/sam-fsd -D

mount -v | grep samfs
sqfs1 on /testqfs1_1488 type samfs \
read/write/setuid/devices/rstchown/intr/largefiles/onerror=panic \
/nologging/noxattr/dev=4440064 on Thu May 10 11:22:43 2012
sqfs2 on /testqfs2_1488 type samfs \
read/write/setuid/devices/rstchown/intr/largefiles/onerror=panic \
/nologging/noxattr/dev=44400c8 on Thu May 10 11:23:41 2012
  • Разверните файловую систему.

Например:

mount -t samfs -oshared sqfs1 /sqfs1
Using /etc/fstab:
sqfs1                   /sqfs1          samfs           shared,noauto   0 0

mount sqfs1

При удачной установке файловой системы отображается следующее сообщение:

Warning: loading SUNWqfs will taint the kernel: SMI license 
See http://www.tux.org/lkml/#export-tainted for information 
about tainted modules. Module SUNWqfs loaded with warnings 

Это сообщение является нормальным результатом установки и может быть проигнорировано.

Возможности

Основные преимущества файловых систем Sun QFS описаны ниже:

  • Создание файловых систем и режимы работы в изоляции, архивации или режиме общего доступа.
  • Создание файловых систем которые разработаны для использования в высокопроизводительных вычислительных окружениях.
  • Создание автономных файловых систем.
  • Добавление клиентов и потенциальных серверов метаданных для добавления или удаления их из файловых систем общего доступа.
  • Расширяющиеся файловые системы.
  • Разделение файловых систем.
  • Проверка и ремонт файловых систем.
  • Монтирование, размонтирование изолированных, архивационных и файловых систем общего доступа.
  • Контроль за архивными файловыми системами.
  • Управление правилами для архивационных файловых систем.
  • Защита данных смонтированных архивационных файловых систем.[3]

Недостатки

Основные недостатки файловых систем Sun QFS описаны ниже:

  • В системе существует только один Metaserver. Это единая точка отказа. Файлы Metaserver хранятся на локальном диске, чтобы предотвратить потерю содержимого файловой системы данная информация должна периодически копироваться на удаленный сервер.
  • Максимальное значение репликации 64
  • Отсутствие динамической балансировки. Metaserver на данный момент не поддерживает репликацию кусков файла, когда файл становится горячим. Система, однако, выполняет балансировку ограниченной формы всякий раз, когда она определяет, что диски, на некоторых узлах недостаточно используемые, а на других узлах перегружены информацией.
  • Нет поддержки создания снимкой файловой системы
  • Ограничение случайной записи в файлы кодированные алгоритмом Рида — Соломона. Иными словами, на практике, возможна только последовательная запись в файлы, кодированные алгоритмом Рида — Соломона.
  • Одновременное чтение и запись из/в кусок не поддерживается. Кусок файла не может быть прочитан, пока пишущая программа его не закроет.

Источники

  1. Обзор QFS // Официальный сайт Wiki.lustre [2011-2018]. Дата обновления: 17.12.2018. URL: http://wiki.lustre.org/images/6/6d/Wednesday_SAM-QFS.HPC.PUB.pdf (дата обращения: 16.01.2019)
  2. Установка QFS // Документация Sun QFS [2011-2018]. Дата обновления: 17.12.2018. URL: https://docs.oracle.com/cd/E22586_01/html/E22975/gldja.html#scrolltoc (дата обращения: 16.01.2019)

Примечания

  1. QFS [Электронный ресурс] : Материал из https://www.oracle.com/index.html: — Режим доступа: https://docs.oracle.com/cd/E22586_01/pdf/E22570.pdf
  2. QFS [Электронный ресурс] : Материал из https://www.oracle.com/index.htm/: — Режим доступа: https://docs.oracle.com/cd/E22586_01/html/E22570/gledv.html
  3. QFS [Электронный ресурс] : Материал из https://www.oracle.com/index.html/: — Режим доступа: http://docs.oracle.com/cd/E22586_01/html/E22571/gkwas.html