Rasdaman

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 16:35, 2 февраля 2018.
Rasdaman
fraimed
Разработчики: Rasdaman GmbH
Постоянный выпуск: rasdaman 9.1 / July 10, 2015 (2015-07-10)
Состояние разработки: Active
Написана на: Java,C++
Операционная система: Windows,Linux,OS X
Веб-сайт www.rasdaman.org

Rasdaman — это растровый сервер, позволяющий выполнять запросы к многомерным растровым данным, хранящимся в стандартной реляционной базе данных, основанный на стандарте языков OGC WCPS [1]

Описание

На стороне сервера массивы хранятся в стандартной базе данных. С этой целью массивы разбиваются на подматрицы, называемые "плитами" (tiles); каждая такая "плитка" переходит в BLOB (двоичный большой объект) в реляционной таблице. Это позволяет традиционным системам реляционных баз данных поддерживать массивы неограниченного размера.

Пространственный индекс позволяет быстро найти "плитки", необходимые для определения набора "плиток", адресованного запросом.

Схема разбиения открыта - во время создания массива может быть задан любой тип "плиток". Предоставляется набор стратегий для "плиток", чтобы облегчить администраторам выбор наиболее эффективной "плитки".

Rasdaman позволяет создавать системы для анализа многомерных массивов данных. Для работы с многомерными наборами данных предлагается SQL-подобный язык запросов RASQL. При этом Rasdaman предоставляет средства для распределённой обработки запросов и создания кластерных решений, например, недавно было продемонстрировано задействование более тысячи узлов кластера для совместной обработки одного запроса к базе данных.

Архитектура Rasdaman

Rasdaman стал первопроходцем в области баз данных для работы с большими массивами, являясь первой (и в настоящее время единственной полностью реализованной) системой такого рода.

Технология rasdaman была разработана в течение ряда финансируемых ЕС prjects , а затем фирмой rasdaman GmbH , научным спин-оффом , посвященным коммерческой поддержке, с 2003 года. В 2008/2009 году компания объединилась с Jacobs University для разделение кода для создания сообщества Rasdaman (охватывающего полную СУБД) в качестве проекта с открытым исходным кодом. Оригинальный расдамский код остается в качестве расдамского предприятия . Оба находятся в синхронизации в любое время, и оба rasdaman GmbH и Jacobs University активно участвует в проекте с открытым исходным кодом.

Поддержка стандартов обслуживания геоданных OGC

В то время как сам rasdaman является агностиком домена и поддерживает любое приложения для работы с массивами, его ответвление petascope, как часть rasdaman, добавляет в гео-семантику, работу с гео-координатами. С этой целью, rasdaman реализует Open Geospatial Consortium стандарты для привязки к сетке покрытий, т.е. многомерные растровые данные.

Поддерживаемые интерфейсы служб OGC

  • Web Map Service : для визуализации данных заны наблюдения на карты, которые могут быть отображены с широким диапазоном коммерческих клиентов и клиентов, с открытым исходным кодом
  • Web Coverage Service: универсальный, модульный набор для доступа и серверной обработки зоны наблюдения
  • Web Coverage Processing Service: декларативный язык растровых запросов OGC
  • Web Processing Service: применение геопространственных услуг обработки

Развитие проекта

В данный момент ведется разработка новой глобальной версии проекта Rasdaman 10.0, в которой предлагается:

  • Полностью удалить код RNP / RPC
  • Удалить функции преобразования из языка, за исключением функций encode/decode
  • Сменить OID тип с double на long long

2017

  • Август 2017 - расдаман с показами передачи данных и WCS на конференции INSPIRE 2017
  • Август 2017 - Агро-геоинформатика с расдаманом: EOfarm.com в Греции, проект BigPicture в Германии
  • Август 2017 - главный архитектор Расдаман избран председателем IEEE Earth Science Informatic Group
  • Март 2017 - Расдаманские люди дают RDA-вебинар на Datacubes в качестве парадигмы «больших данных»
  • Март 2017 - стандарт кандидата на стандарты ISO SQL MDA (многомерные массивы) отправляется на голосование, после нескольких месяцев напряженной работы над деталями

2016

  • Октябрь 2016 - команда расдаманов провела совещание ISO для завершения разработки стандарта стандартов ISO MDA (многомерные массивы)
  • Сентябрь 2016 - расдаман, представленный на конференции INSPIRE в Барселоне в качестве официальной справочной версии INSPIRE WCS, выбранной редакционной группой INSPIRE
  • Июль 2016 - США CIO Обзор выбирает rasdaman в свои технологии 100 Самый многообещающий Big Data
  • Май 2016 - после того, как прошло шесть с половиной лет обсуждений, OSGeo выясняет , что rasdaman не соответствует их доктрине «дизайн комитета», и , следовательно , обе стороны согласны с тем , что OSGeo слишком узок для размещения rasdaman

2015

  • Октябрь 2015 - OGC приняла расдаманскую спецификацию WCS-T в качестве стандарта, что значительно упростит обслуживание и техподдержку
  • Октябрь 2015 - В Токио рабочая группа ISO SQL решает, что спецификация SQL / MDA («Многомерная матрица») будет развернута для голосования на CD; эта спецификация основана на расдамане
  • Июль 2015 года - после предыдущей предварительной публикации теперь выпущена стабильная версия rasdaman 9.1 , с тоннами улучшений и новой функциональностью
  • Июнь 2015 - OpenHub подтверждает расдаманскую «большую команду», которая входит в топ-10% всех проектных команд на Open Hub »
  • Февраль 2015 - В настоящее время мы знаем о 230 ТБ расдаманских баз данных о данных по атмосфере, океану, земле и планетарной науке. Сообщите нам, если у вас есть другой экземпляр Big Data!

2014

  • Декабрь 2014 года - выпущена версия rasdaman 9.1, предлагающая интересные новые возможности: новый, значительно более быстрый протокол связи; встроенная поддержка значений null / nodata; расширенная поддержка OGC: WMS 1.3, WCS-T, капитальный ремонт WCPS, новый гладкий клиент WCS.

Версии и их различия

Существует принципиально два различных вариант Rasdaman БД:

  • Версия Rasdaman коммьюнити, разрабатываемая из исходного кода сторонними разработчиками
  • Официальная версия Rasdaman, поддерживаемая самой компанией

Надо отметить, что обе rasdaman версии являются полностью полными. Основные различия в том, что официальная версия rasdaman добавляют скорости производительности, и плюс некоторые специфические расширения функций и инструментов обслуживания.[Источник 1]

Исходный код

Начало работы

  1. Открываем консоль
  2. Запускаем демонстрационный скрипт загрузки данных
    $ install_demo.sh
  3. Используя утилиту rasql для выполнения запросов, получаем результат:
    $ rasql -q "select png( NIR ) from NIR" --out file

Язык запросов

В rasdaman язык запросов - rasql, предпологает обработку растровых формул с помощью выражений в растровые операциях, но в стиле языка SQL. Рассмотрим следующий запрос: "разница красного и зеленого канала из всех изображений из LandsatImages коллекции, где интенсивность красного канала превышает 127". В rasql это выражается как:

    select ls.red - ls.green
    from LandsatImages as ls
    where max_cells( ls.red ) > 127

Rasql - это полноценный язык запросов, поддерживающий выборки, вставки, обновления и удаления(select, insert, update, и delete). Кроме того, вводится концепция частичного обновление, позволяющая выборочно обновлять части массива. Ввиду потенциально большого размера массивов это очень удобная функция, например, для обновления спутникового изображения карты с новыми входящими изображениями.[Источник 2]

Примечания

  1. Web Coverage Processing Service - сервис обработки геопространственных данных

Источники

  1. Официальный сайт Rasdaman. [2018—2018]. Дата обновления: 05.01.2018. URL: http://rasdaman.org (дата обращения: 05.01.2018).
  2. Вики Rasdaman. [2018—2018]. Дата обновления: 05.01.2018. URL: https://en.wikipedia.org/wiki/Rasdaman (дата обращения: 05.01.2018).