Sqrrl

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 16:38, 4 марта 2019.
Sqrrl
Sqrrldatainc.png
Создатели: Sqrrl Data Inc.(до 2018)
Разработчики: Amazon
Выпущена: 2011; 10 years ago (2011)
Состояние разработки: Активное
Написана на: Java
Операционная система: Linux
Тип ПО: графическая СУБД
Лицензия: Проприетарная
Веб-сайт www.sqrrl.com

Sqrrl - это система управления графическими базами данных (СУБД). Она использует безопасный, адаптируемый NoSQL, созданный на основе Apache Accumulo. Первоначально основанная бывшими сотрудниками Агентства национальной безопасности (NSA), Sqrrl специализируется на кибербезопасности.

Sqrrl имеет встроенную интеграцию с Apache Hadoop и поддерживает мультиструктурированные данные.[Источник 1]

История

Разработка Sqrrl началась в 2011 году. Как компания, она была основана Эли Каном и Ореном Дж. Фальковичем, которые работали в области кибербезопасности до создания Sqrrl. Sqrrl был построен на Apache Accumulo. Клиенты, использующие Sqrrl, представляли как частный, так и государственный сектор.

В январе 2018 года Sqrrl была приобретена Amazon Web Services (AWS). Существующие пользователи Sqrrl смогли продолжить использование программного обеспечения без каких-либо изменений. В конце ноября 2018 года соучредитель Sqrrl Эли Кан (который сейчас является стратегом безопасности в AWS) прокомментировал выпуск AWS Security Hub, который включает в себя визуализации и рекомендации по исправлению безопасности. Тем не менее, не было сделано никаких заявлений об интеграции Sqrrl с AWS.

Особенности

Параллельное управление

Управление параллелизмом реализовано в Sqrrl способом, который не является общедоступным. Sqrrl поддерживает управление параллелизмом, выполняя атомарные обновления объектов данных. Sqrrl также построен поверх Apache ZooKeeper, который имеет блокировки для управления параллелизмом.

Модель данных

После загрузки данных продукт Sqrrl Enterprise детализирует каждую часть данных на уровне ячейки. Данные могут быть парой ключ / значение или полем в документе JSON. Затем Sqrrl использует вторичные методы индексации для хранения данных в Apache Accumulo в его собственной форме. Эта плоская архитектура позволяет Sqrrl обрабатывать данные различных структур. Accumulo, используемая Sqrrl Enterprise, хранит отсортированные пары ключ-значение. Затем Sqrrl объединяет данные в форму хранения графа, используя связанную модель данных.

Поэтому Sqrrl считается графической СУБД, поскольку она представляет данные пользователям в графическом формате и не содержит схем. Пользовательские итераторы для Accumulo, разработанные Sqrrl, позволяют пользователям выполнять анализ графиков данных.

Уровни изоляции

На основе реализации Accumulo можно активировать изоляцию. Когда пользователь, читающий базу данных, либо не увидит ни одного из обновлений, пока они применяются к строке, либо он сможет увидеть все обновления после того, как они были применены к строке. Однако на этом уровне изоляции пользователи могут видеть разные значения из строки при двух разных операциях чтения или добавлять новые фантомные строки, которые будут видны только после завершения транзакции чтения.

Интерфейс запроса

Sqrrl Enterprise предлагает пользователям собственный язык запросов, называемый SqrrlQL, который интегрирован с концепцией безопасности на уровне ячеек. Пользователи могут выполнять SQL-подобные запросы (ключ-значение), полнотекстовые запросы или поиск в графике.

Архитектура хранения

Accumulo Sqrrl построен на основе системы управления базами данных. Sqrrl использует как дисковое пространство в виде блокировок Hadoop и Zookeeper, так и хранилище отсортированных пар ключ / значение в памяти.

Модель хранения

В пределах Accumulo, на котором построен Sqrrl, секции таблиц (называемые плитками) организуют столбцы и значения в пределах границы строки так, чтобы информация для любой конкретной строки была в одной плитке.

Accumulo использует файл, называемый файлом относительного ключа (RFS), который является типом индексированного метода последовательного доступа (ISAM). Они содержат данные из плиток, которые в Accumulo являются разделами таблиц.

Архитектура системы

Благодаря встроенной интеграции Hadoop Sqrrl Enterprise получает данные. Они зашифровываются и помечаются, затем индексируются и сохраняются в версии Sqrrl Apache Accumulo в рамках платформы данных Hortonworks (HDP). Sqrrl и HDP вместе хранят мультиструктурированные данные в своем родном формате. Это позволяет пользователям Sqrrl делать запросы разных типов. Sqrrl считается распределенной базой данных.

Threat Hunting Platform

Рисунок 1 - Пример виртуальной структуры

Sqrrl называет себя компанией «охоты за киберугрозами» (threat hunting); ее ПО помогает организациям выискивать их и блокировать попытки усложненных и направленных атак. Threat Hunting Platform [Источник 2] - это основной продукт Sqrrl, который является визуальной платформой для охоты на киберугрозы. Ее технология сочетает в себе анализ поведения пользователей с учетом знаний об организации (user and entity behavior analytics, UEBA), машинное обучение и расширенную оценку риска с масштабируемостью до нескольких петабайт для обнаружения злонамеренных действий.[Источник 3] Данные о пользователях, объектах, активах и событиях объединяются в график поведения, который пользователи используют для реагирования на инциденты безопасности, а также для поиска незамеченных угроз. Sqrrl интегрируется в системы управления информацией о безопасности и событиями (SIEM), такие как IBM's QRadar. Платформа также содержит оценку рисков и машинное обучение.

Apache Accumul NoSQL

Сердцем технологии Sqrrl является разработанная NSA база данных Apache Accumul NoSQL с открытым исходным кодом, которую компания, как и другие опенсорс-компании (например, Docker или Hortonworks) продает как премиальные услуги. В то время как технология Accumulo, основанная на Hadoop, предоставила возможность компаниям хранить и анализировать все свои данные, аналогичные тому, как они могли бы работать с другими крупными поставщиками данных, такими как Splunk. Крупнейшие клиенты использовали технологию для целей кибербезопасности. Технология Sqrrl объединяет множество различных типов наборов данных, например, журналы обнаружения вторжений и информации о пользовательских ресурсах, и собирает эту информацию в единой платформе, которая может быть использована для обнаружения атак, способных сломать инфраструктуру компании. Поскольку база данных Accumulo NoSQL может функционировать как база данных графов (базы данных графов представляют собой класс баз данных NoSQL), команда Sqrrl может отдавать все эти данные в систему, а затем получать изображение сети, которое содержит всех пользователей, устройства и серверы, и как они связаны друг с другом. Есть возможность взять все эти несопоставимые наборы данных и обезвредить их в этой модели связанных данных. Это большая платформа для анализа данных с акцентом на кибербезопасность. Она имеет базу данных, но также она обладает расширенными возможностями визуализации, которые поддерживают жизненный цикл обнаружения инцидентов. Это может показаться похожим на Argyle Data, в котором встроено программное обеспечение обнаружения мошенничества поверх базы данных Accumulo, но на самом деле платформа больше сосредоточена на использовании его технологий для предотвращения кибепреступности, а решение проблем, связанных с мошенничеством, требует других типов наборов данных, чем те, которые Sqrrl анализирует для обнаружения аномалий.

Сравнение с FaunaDB и Graph Engine

Ниже представлено сравнение Sqrrl с основными конкурентами: FaunaDB и Graph Engine.[Источник 4]

Название FaunaDB Graph Engine Sqrrl
Разработчик Fauna, Inc. Microsoft Amazon
Год выпуска 2014 2010 2012
Описание Согласованная база данных, способная к глобальному горизонтальному масштабированию с упором на простоту эксплуатации Распределенный механизм обработки данных в памяти, опирающийся на строго типизированное хранилище ОЗУ и общий распределенный механизм вычислений (может использоваться как СУБД) Адаптируемая и безопасная база данных NoSQL, построенная на Apache Accumulo
Язык реализации Scala C и .NET Java
Серверная операционная система Linux .NET Linux
Лицензия Коммерческая Open source Коммерческая
Поддерживаемые языки программирования C#, Go, Java, JavaScript, Python, Ruby, Scala, Swift C#, C++ , F#, Visual Basic Actionscript, C(используя GLib), C#, C++, Cocoa, Delphi, Erlang, Go, Haskell, Java, JavaScript, OCaml, Perl, PHP, Python, Ruby, Smalltalk
Внешние ключи да нет нет


Продажа

По мнению экспертов IDC, к 2019 году кибератакам подвергнутся больше половины крупнейших компаний США и Европы. Некоторые из них уже сейчас серьезно задумались о своей безопасности. В свете данных событий Amazon и приобрела Sqrrl Data Inc., которая специализируется на разработке систем продвинутого обнаружения угроз для крупных корпораций. А Google купил стартап Impermium, специализирующийся на кибербезопасности. Даже Facebook вложился в собственную безопасность, купив компанию PrivateCore, занимающуюся защитой серверов. [Источник 5] В июне 2017 года компания Sqrrl получила $12,3 млн инвестиций от венчурных фирм. Всего с момента своего основания в 2012 году компании удалось привлечь инвестиций на сумму более $26,5 млн. В конце января 2018 года Amazon Web Services, подразделение в составе Amazon, выкупил компанию Sqrrl Data Inc., специализирующуюся на разработке систем продвинутого обнаружения угроз для крупных корпораций. Сумма сделки с AWS не раскрывается, но, по некоторым сведениям, она превосходит $40 млн. [Источник 6]

Список источников

  1. Sqrrl // Database of Databases. [2009-2019]. Дата обновления: 30.01.2019. URL:https://dbdb.io/db/sqrrl (дата обращения: 01.03.2019).
  2. The Threat Hunting Project // Официальный сайт проекта. [2017-2018]. Дата обновления: 30.01.2019.URL:http://www.threathunting.net/ (дата обращения: 27.02.2019).
  3. 10 ведущих вендоров ПО защиты больших данных и ИБ-аналитики // crn. [2019]. Дата обновления: 02.06.2018. URL: https://www.crn.ru/numbers/spec-numbers/detail.php?ID=119986 (дата обращения: 28.01.2019).
  4. System Properties Comparison//DB-engines. Дата обновления: 01.03.2019. URL: https://db-engines.com/en/system/FaunaDB%3BGraph+Engine%3BSqrrl (дата обращения: 04.03.2019)
  5. Киберриски: в ногу со временем // Институт Риска. [2015-2017]. Дата обновления: 11.10.2018. URL: http://ir.rbc.ru/news/9 (дата обращения: 28.02.2019).
  6. Амазон покупает кембриджскую фирму Sqrrl // Bostonglobe. [2012-2019]. Дата обновления: 23.03.2017. URL:https://www.bostonglobe.com/business/2018/01/24/amazon-buys-cambridge-cybersecurity-firm-sqrrl/WaiXXcHm1jrvPGD1gbhnLP/story.html (дата обращения: 28.02.2019).