DataStax Enterprise Graph

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 20:08, 18 июня 2019.
DataStax Enterprise Graph
Dsegraph.jpg
Разработчики: DataStax, Inc.
Выпущена: April 2016; 4 years ago (2016-04)
Постоянный выпуск: 6.7.3 [1] / 23 April 2019 года; 20 months ago (2019-04-23)
Состояние разработки: Выпущено
Операционная система: Кросс-платформенное
Локализация: Английский язык
Тип ПО: Graph database
Лицензия: Проприетарное программное обеспечение
Веб-сайт DataStax Enterprise Graph

DataStax Enterprise Graph является расширением DataStax Enterprise и управляет большими, комплексными, сложноструктурированными наборами данных. DataStax Enterprise Graph (DSE Graph) - первая графическая база данных, достаточно быстрая для поддержки приложений, ориентированных на пользователя. DSE Graph способен масштабироваться до массивных наборов данных и выполнять как транзакционные, так и аналитические рабочие нагрузки. DSE Graph включает в себя все функциональные возможности корпоративного класса, имеющиеся в DataStax Enterprise, включая расширенную защиту , встроенную аналитику и функциональность корпоративного поиска, а также средства визуального управления, мониторинга и разработки, включая DataStax Studio.

История создания

В апреле 2016 года компания DataStax, Inc. объявила о выпуске DataStax Enterprise Graph, добавив функциональность модели данных Graph в DataStax Enterprise. Когда DataStax Inc приобрел Aurelius, было ясно, что компания хочет добавить функциональность базы графических данных в свой продукт DataStax Enterprise, и достиг этой цели, объявив о выпуске DataStax Enterprise Graph. Новый корпоративный графический продукт был полностью интегрирован в набор продуктов DataStax Enterprise, впервые предоставляя клиентам интегрированную графическую опцию в дополнение к модели ключ-значение, табличным и JSON / документным моделям, которые он предлагал ранее. После тесного сотрудничества с 10 клиентами Beta-версии, включая Kaiser Permanente, Cambridge Intelligence и Linkurious в течение последних нескольких месяцев, компания готова выпустить продукт для всего мира. Новая графическая база данных построена на базе графической базы данных с открытым исходным кодом Titan, которая первоначально была разработана Aurelius. [Источник 1]

Обзор

DataStax Enterprise Graph - это набор продуктов, который включает

  • DataStax Enterprise Server для компонента базы данных графа,
  • DataStax OpsCenter для элемента управления,
  • DataStax Studio для визуализации графа
  • Драйверы DataStax для поддержки различных языков.
Рисунок 1 - Визуализация графиков в DataStax Studio

DSE Graph построен на проверенных технологиях с открытым исходным кодом, включая Apache TinkerPop™, Apache Cassandra™, Apache Spark™ и другие.

Для решения бизнес-задач

DataStax Enterprise Graph - это графическая база данных, созданная для облачных приложений, которые должны управлять, анализировать и искать данные с высокой степенью связи. База данных графов, такая как DataStax Enterprise Graph, почти всегда будет лучше, чем система управления реляционными базами данных (RDBMS), когда дело доходит до выявления общих черт и аномалий в больших, сложных и сильно связанных наборах данных. Хотя DataStax Enterprise Graph может использоваться для различных случаев использования приложений, наиболее распространенными являются следующие:

  • Управление основными данными

Компания должна понимать взаимосвязи данных между несколькими подразделениями, чтобы создать целостное представление о своих клиентах или продуктах. Графовая модель - это лучший способ объединить разрозненные данные для использования как средствами бизнес-аналитики, так и другими бизнес-приложениями.

  • Рекомендация и персонализация

Почти все предприятия должны понимать, как они могут быстро и наиболее эффективно влиять на клиентов, чтобы они покупали свои продукты, и рекомендовать их другим, используя компоненты в облачном приложении, такие как механизмы «рекомендации», «персонализации» и «сетевые механизмы анализа» (люди или машины).

  • Безопасность и обнаружение мошенничества

В сложной и тесно взаимосвязанной сети пользователей, объектов, транзакций, событий и взаимодействий графическая база данных может помочь определить, какой объект, транзакция или взаимодействие является мошеннической, представляет угрозу безопасности или представляет собой проблему соблюдения. Короче говоря, база данных графа помогает найти плохую иголку в стоге сена отношений и событий, которые включают в себя бесчисленные финансовые взаимодействия.

  • Интернет вещей (IoT)

Этот вариант использования чаще всего включает устройства или машины, которые генерируют информацию о временных рядах, например как данные о событиях и состоянии.График хорошо работает в этом случае, потому что потоки из отдельных точек создают высокую степень сложности при объединении. Кроме того, аналитика, необходимая в таких задачах, как анализ первопричин, включает в себя многочисленные взаимосвязи, которые образуются между элементами данных и имеют тенденцию представлять гораздо больший интерес при коллективном рассмотрении, чем при отдельном рассмотрении.

Архитектура

Рисунок 2 - Архитектура DataStax Enterprise Graph

DSE Graph состоит из ряда компонентов, которые обеспечивают возможности обработки OLTP и OLAP. Веб-интерфейс DataStax Studio позволяет пользователям обрабатывать запросы к базе данных графа, а также визуализировать данные. Консоль Gremlin обращается к базе данных через интерфейс командной строки. Приложения OLTP взаимодействуют с графиком DSE через сервер DSE или сервер TinkerPop 3 Gremlin. Приложения OLAP взаимодействуют с DSE Graph через TinkerPop 3 GraphComputer, Spark и соединитель DataStax Spark с DataStax Enterprise. Сертифицированный Apache Cassandra™ является встроенным компонентом DataStax Enterprise и включает в себя серверную часть хранилища для DSE Graph. Поиск DSE предоставляет индексный бэкэнд для графика DSE.


Преимущества и ключевые особенности продукта

Особенности продукта Описание
Поддержка больших графиков Графики в DSE Graph масштабируется с количеством компьютеров в кластере, поскольку база данных DSE обеспечивает уровень распределенного хранения. Графы могут содержать сотни миллионов (10 ^ 8) вершин и миллиарды (10 ^ 9) ребер.
Поддержка очень большого количества одновременных транзакций и обработки графов (OLTP ) Пропускная способность DSE Graph масштабируется в зависимости от количества машин в кластере и отвечает на сложные запросы обхода на огромных графиках за миллисекунды.
Поддержка глобальной аналитики графов и пакетной обработки графов (OLAP) Поддержка глобальной аналитики графов и пакетной обработки графов (OLAP) через фреймворк Spark.
Интеграция с DSE Search Интегрируется с DSE Search для эффективной индексации.
Поддержка географического, числового диапазона и полнотекстового поиска Поддержка географического, числового диапазона и полнотекстового поиска для вершин и ребер на больших графиках.
Встроенная поддержка Apache TinkerPop Встроенная поддержка популярной модели данных графа свойств, предоставляемой Apache TinkerPop.
Встроенная поддержка языка запросов Gremlin. Нативная поддержка языка обхода графов Gremlin.
Интеграция сервера Gremlin Интеграция с сервером для графов Gremlin.
Параметры настройки производительности Многочисленные конфигурации на уровне графов предоставляют опции для настройки производительности.
Вершинно-ориентированные индексы обеспечивают оптимальный запрос Вершинно-ориентированные индексы обеспечивают запросы на уровне вершин, чтобы устранить проблемы с «проблемой суперузла».
Оптимизированное представление диска Обеспечивает оптимизированное представление диска, что позволяет эффективно использовать хранилище и скорость доступа.

Отличие DSE Graph от Titan

DSE Graph имеет более высокую производительность, чем Titan по следующим причинам:

  • Специально разработан для базы данных DSE. DSE Graph предназначен для использования преимуществ функций базы данных DSE.
  • Оптимизированное хранилище для графических данных. DSE Graph разделяет список смежности вершин высокой степени, сохраняя и эффективно запрашивая данные графа с сильно искаженными распределениями степеней.
  • Выделенные индексированные структуры, которые делают запросы быстрее.
  • Оптимизированные распределенные запросы. DSE Graph интеллектуально направляет запросы к узлам кластера, наиболее подходящим для обработки каждого запроса. Эта маршрутизация обеспечивает более высокую степень локальности данных и требует перемещения меньшего количества данных по кластеру. В Titan все запросы выполняются локально для координатора, который извлекает все данные из других экземпляров кластера.
  • Благодаря использованию TinkerPop, DataStax Enterprise Graph совместим с более поздними версиями Titan, что означает, что существующие пользователи Titan могут переносить код своего приложения после переноса своих данных в DataStax Enterprise Graph.

Кроме того, DSE Graph использует возможности DSE:

  • Сертифицировано для производственных сред.
  • Расширенные функции безопасности.
  • Интегрирован с поиском и аналитикой предприятия.
  • Визуальное управление и мониторинг с OpsCenter.
  • Визуальная разработка с DataStax Studio.
  • Поддержка графиков в сертифицированных драйверах DataStax.
  • Нет ETL или синхронизации.

Взаимодействие с DSE Graph

Самый простой способ взаимодействия с DSE Graph - использование консоли Gremlin. Используя консоль Gremlin , вы можете создавать схемы базы данных графа, вставлять и запрашивать данные, а также запрашивать в базе данных метаданные с использованием обходов графа. Сложные обходы легко определить с помощью Gremlin по сравнению с SQL. Если вы предпочитаете графический инструмент, используйте DataStax Studio. Для производства DataStax предоставляет несколько драйверов на различных языках программирования, которые передают операторы Gremlin в граф DSE: Java, Python, C#, C ++, Node.js и Ruby [Источник 2]

Взаимодействие с Apache Cassandra™

DataStax Enterprise Graph использует корпоративную версию Apache Cassandra™ для своего постоянного хранилища данных. Благодаря глубокой интеграции с Apache Cassandra™, DataStax Enterprise Graph наследует все ключевые преимущества Cassandra, включая непрерывную доступность, географическое распределение, линейную масштабируемость и операционную низкую задержку. К этой основе DataStax Enterprise Graph добавляет другие возможности повышения производительности, которые включают адаптивный оптимизатор запросов, управляемый локальностью разделитель данных графа, распределенный механизм выполнения запросов и различные структуры индексов графа. Apache Cassandra™ - это приложение Java, означающее, что скомпилированный двоичный дистрибутив Apache Cassandra™ может работать на любой платформе, которая имеет среду выполнения Java (JRE), также называемую виртуальной машиной Java (JVM).

DataStax предоставляет упакованные выпуски для Red Hat, CentOS, Debian и Linux Ubuntu, а также Microsoft Windows и Mac OS X. [Источник 3]

Установка

Загрузка и установка DataStax Enterprise на Mac OS X: [Источник 4]

Установка DataStax Enterprise на Windows 10 через Microsoft Windows Subsystem for Linux [Источник 5]

Источники

  1. DataStax adds graph databases to enterprise Cassandra product set Дата обновления: 12.04.2016 URL: https://techcrunch.com/2016/04/12/datastax-adds-graph-databases-to-enterprise-cassandra-product-set/ (дата обращения: 26.04.2019).
  2. DataStax Enterprise Graph 6.7 Dev. guide Дата обновления: 14.06.2019 URL: https://docs.datastax.com/en/dse/6.7/dse-dev/datastax_enterprise/graph/graphTOC.html (дата обращения: 18.06.2019).
  3. FAQ DataStax Дата обновления: 14.06.2019 URL: https://www.datastax.com/resources/faq#DSE-Graph-1 (дата обращения: 18.06.2019).
  4. Загрузка и установка DataStax Enterprise на Mac OS X: Дата обновления: 18.05.2017 URL: https://www.youtube.com/watch?v=_Us2D5limKY (дата обращения: 26.04.2019).
  5. Установка DataStax Enterprise на Windows 10 через WSL: Дата обновления: 06.03.2019 URL: https://www.youtube.com/watch?v=3_JyXlujJEk (дата обращения: 26.04.2019).

Примечания

  1. DataStax Release Notes // DataStax, Inc. [2019]. Дата обновления: 23.04.2019 URL: https://docs.datastax.com/en/dse/6.7/dse-admin/datastax_enterprise/releaseNotes/RNdse.html#RNdse673__673graph (дата обращения: 26.04.2019)