Machbase

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 11:58, 1 марта 2019.
Machbase
Machbase.png
Создатели: Machbase
Разработчики: Machbase
Выпущена: 2013
Постоянный выпуск: 5.1.9 / 30 October 2018 года; 12 months ago (2018-10-30)
Написана на: C
Операционная система: Linux, Windows
Платформа: Кросс-платформенное программное обеспечение
Тип ПО: СУБД
Лицензия: Коммерческая
Веб-сайт www.machbase.com

Machbase − база данных временных рядов (Time Series DBMS), обрабатывающая большое количество машинных данных, полученных из различных сред, в режиме реального времени. [Источник 1]

Содержание

Обзор Machbase

База данных Machbase заточена под решение задач хранение и обработки данных в системах Интернета вещей (IoT). Оптимизирована под свойства машиннных данных: работает с большим объёмом данных, применяет повторение шаблонов, поддерживает запись исключительно в режиме добавления, поддерживает требования к быстрому анализу. Данные характеристики обеспечиваются применением следующих подходов: [Источник 2]

  • СУБД Machbase является решением IMDB (In-memory Database) - обеспечивает высокую пропускную способность поступления входных данных;
  • Также является колоночной базой данных, что позволяет оптимизировать анализ данных;
  • Обеспечивает технологии поиска в режиме реального времени.

Решение также отличается простотой установки и настройки.

Embedded Edition

Решение для встраиваемых устройств

В связи с продолжающимся увеличением количества собираемых и обрабатываемых больших данных появляется потребность в их обработке в режиме реального времени. В частности, устройства межсетевого экрана и шлюза IoT сталкиваются с серьезными проблемами при хранении, анализе и отправке больших объемов данных в режиме реального времени. Задачу обработки данных в реальном времени как раз может решить Machbase Embedded Edition - данная версия специально разработана для установки на встраиваемых устройствах.

Характеристики:

  • Поддержка архитектур ARM , x86 (Raspberry Pi 3, Samsung ARTIK 7, Advantech UTX-3115);
  • Поддержка Windows;
  • Включает в себя SDK (CLI, ODBC и JDBC);
  • Включает в себя веб-интерфейс аналитики Machbase Web Analytics;
  • При хранении 100 байтов полезной нагрузки на устройстве:
    • Обработка более 50000 событий/сек.
    • Хранение более 2.5 млрд записей на HDD накопителе объёмом 500 Гб.
  • Система оптимизирована под специфику аппаратного уровня.

Применения:

  • Унифицированное управление угрозами (UTM);
  • Брандмауэр веб-приложений;
  • IoT-шлюз для анализа границ;
  • Оборудование для автоматизации производства.

Standard Edition

Решение для одиночных серверов

Согласно статистике, почти в 30% случаев использования больших данных обрабатываются на одном узле. Standard Edition представляет собой полнофункциональную базу данных и оптимизирована для обработки больших данных. Если требуется хранить предсказуемый объем данных, данная версия обеспечивает лучшую производительность и стабильность на высокой скорости на одном сервере. Также обеспечивает сбор данных с различных периферийных устройств.

Характеристики:

  • Поддержка архитектуры x86 одиночного вычислительного узла;
  • Поддержка Windows;
  • Включает в себя SDK (CLI, ODBC and JDBC);
  • Включает в себя веб-интерфейс аналитики Machbase Web Analytics;
  • При хранении 100 байтов полезной нагрузки на устройстве:
    • Обработка более 100,000 событий/сек.
    • Хранение более 1.5 млрд записей на HDD накопителе объёмом 2 Тб.

Применения:

  • Системы анализа пакетов в реальном времени;
  • Системы управления безопасностью предприятия;
  • Системы управления энергопотреблением;
  • Системы управления распределением.

Enterprise Edition

Кластерное решение

По мере увеличения объема данных возрастают и требования к обработке больших объемов данных. Скорость выявления потребностей и реакция на них может сыграть важную роль в выживании бизнеса. Machbase Enterprise предоставляет аналитическую модель, которая отличается от обычной модели обработки данных на основе Apache Hadoop. Конечные пользователи могут просто хранить данные через стандартные интерфейсы СУБД и анализировать их с помощью запросов SQL. Machbase также обеспечивает масштабируемость, чтобы гарантировать наилучшую производительность при увеличении требований к обработке данных путем простого добавления серверов. Кроме того, он позволяет обрабатывать данные, не прерывая работу сервиса, даже если произошел сбой сервера или необходимо удалить ненужный сервер.

Характеристики:

  • Гарантия масштабируемости с неограниченным объемом данных (масштабируемая архитектура);
  • Служба непрерывной поддержки (отказоустойчивость);
  • Включает в себя SDK (CLI, ODBC and JDBC);
  • Включает в себя веб-интерфейс аналитики Machbase Web Analytics;
  • Поддерживает интерфейсы ODBC, SFTP, FILE and SOCKET;
  • При хранении 100 байтов полезной нагрузки на устройстве:
    • Обработка более 100,000 событий/сек.
    • Хранение более 15 млрд записей на HDD накопителе объёмом 2 Тб.

Применения:

  • Непрерывные интегрированные системы управления данными для обработки больших данных;
  • Облачные системы обработки данных;
  • Альтернатива Hadoop;
  • Расширенная версия Standard Edition с возможностью масштабирования.

IoT Gateway for Edge Analytics

IoT решение

Когда объем данных постоянно увеличивается, пользователи не только могут испытывать медленную обработку данных, но и экспоненциально увеличивать затраты на отправку данных в облако. Если анализ данных можно проводить на уровне периферийных устройств, ответы на любые проблемы будут выполняться в режиме реального времени и значительно сократить расходы на обработку и обслуживание данных. Machbase оснащен шлюзом Advantech UTX-3115 для обработки данных IoT в режиме реального времени. Кроме того, конечные пользователи могут легко обрабатывать и анализировать данные в Интернете, а также могут хранить и управлять миллиардами данных на одном устройстве. С помощью сервера Machbase Edge Analytics можно создавать и развертывать собственные службы для ращличных применений, таких как управление системами на заводах, электростанциях,в зданиях и мостах. Также может использоваться для решений IoT взаимодействия с окружающей средой.

Характеристики:

  • Сбор данных различных форматов с множества устройств;
  • Обработка потоковых данных в реальном времени;
  • Поддержка разработки пользовательской бизнес-логики;
  • Управление при помощи удаленного доступа.

Ключевые характеристики

Однократная запись, многократное чтение (Write once, Read many)

После внесения собранных данных из журналов в базу данных, они редко изменяются или удалются. С целью обеспечения целостности данных, внесение в журнал изменений после записи данных невозможно. Таким обрахом, пользователи могут не беспокоиться об угрозах изменения или удаления информации из журналов злонамеренными третьими лицами.

Архитектура без блокировок (Lockless architecture)

Самая большая проблема, связанная с производительностью решений СУБД в области обработки данных журнала, заключается в том, могут ли выполняться операции изменения (включая ввод и удаление) независимо от операции чтения без конфликта. Machbase спроектирован так, что при операциях выбора не назначаются блокировки. Кроме того, операции изменения, такие как ввод и удаление, никогда не будут конфликтовать. Благодаря такой структуре Machbase может обрабатывать статистику для миллионов записей в операции выбора на сверхвысокой скорости, в то время как сотни тысяч данных вводятся в секунду, а некоторые из них удаляются в режиме реального времени.

Высокоскоростное хранилище данных (Ultra high-speed data storage)

Machbase предлагает емкость хранения в десятки раз больше, чем другие доступные в настоящее время обычные системы управления базами данных. Несмотря на неблагоприятную среду, в которой в таблицах существует несколько индексов, Machbase может по-прежнему обрабатывать хранилище данных с удивительной скоростью - от 200,000 данных в секунду до 2,000,000 данных в секунду. Это возможно, потому что хранения данных возможно в режиме «только добавление».

Конфигурирование индексации в реальном времени (Real-time index configuration)

При обычной структуре базы данных, чем больше число индексов, тем ниже производительность ввода данных. Machbase же может сконфигурировать индекс в режиме реального времени, даже если сотни тысяч данных вводятся в секунду. Это главная особенность, которая выделяет Machbase среди других решений. Мощная функциональная основа позволяет осуществлять немедленный поиск в момент создания фактических данных. Эта технология имеет решающее значение в анализе машинных данных.

Высокопроизводительное сжатие данных (High-performance data compression)

Одной из характеристик машинных данных является то, что они генерируются постоянно. Это означает не только то, что пространство для хранения базы данных рано или поздно станет недостаточным, но и в один прекрасный день база данных больше не сможет хранить достаточно данных для обработки. Обычная структура базы данных очень не подходит для хранения и анализа машинных данных, поскольку по мере увеличения данных и индексов уменьшается доступное пространство данных. Чтобы должным образом справиться с такой проблемой, не жертвуя при этом производительностью, Machbase хранит данные, поступающие в систему, сжимая их в десятки и сотни раз от оригинала с помощью двух типов (физического и логического) технологий сжатий в режиме реального времени.

Поиск текста (Text Search)

Одна из наиболее важных практических функций для пользователей, которые хранят и используют данные временного последовательного журнала, состоит в том, чтобы определить, произошло ли «конкретное событие» в «определенный момент времени». Пользователи могут определить «конкретный момент времени» с помощью последовательной обработки данных. Однако, чтобы определить, произошло ли «конкретное событие», пользователям в большинстве случаев необходимо найти конкретное «слово» в текстовом поле, которое хранится в определенном столбце. Однако, если используется обычная система управления базой данных, пользователям, как правило, необходимо проверять условия совпадения первых нескольких символов слов или точное совпадение с помощью дерева B+, чтобы искать слова в конкретном поле. Для поиска определенных слов, появляющихся в середине текста соответствующего поля, пользователи могут не использовать индекс, но использовать функцию типа «% word%» или IR (информационный поиск), если она предусмотрена. Учитывая, что практически невозможно настроить индекс в реальном времени, чтобы использовать соответствующий IR, считалось, что такой инструмент поиска, который используется в традиционных решениях СУБД, не будет доступен для машинных данных. Machbase отличается от традиционных решений СУБД тем, что оно дополнительно обеспечивает «поиск» в качестве ключевого слова SQL в дополнение к «подобному». Таким образом, можно искать слова в режиме реального времени.

Поддержка синтаксиса языка SQL с поддержкой временных рядов (Support SQL syntax with time serial features)

Machbase поддерживает не только большинство синтаксисов SQL, которые предоставляют традиционные решения СУБД, но также и синтаксис SQL, в котором отражаются особенности временных последовательных данных. В случае машинных данных или данных журнала, сгенерированных с машин, последние полученные данные важнее, чем более старые данные, и доступ к недавно сгенерированных данных происходит в несколько раз чаще, чем к старым данным.

Поддержка выборочного удаления (Support selective deletion)

Можно с уверенностью сказать, что в случае машинных данных операция удаления редко происходит после их ввода, но в случае встроенных устройств, очевидно, существуют ограничения на возможности хранения, и в то же время такое хранение не тщательно управляется пользователями. Machbase предоставляет дополнительную функцию удаления, чтобы ее пользователи могли удалять записи для заданных конкретных условий. Следовательно, разработчики встраиваемых продуктов могут легко управлять хранилищем данных, используя штатные средства планирования системы для управления размером хранимых данных.

Применяемые технологии

Технология индексов битовых структур в режиме реального времени (Real-time bitmap index technology)

Битовая структура предполагает, что хранение значений записей или колонок, расположенных в базе данных, осуществляется только последовательностью битов, состоящей из "0" и "1", не предполагает их конфигурации в виде дерева.

Имеет следующие преимущества:

  • Во-первых, скорость ввода данных существенно повысилась благодаря алгоритму, который обновляет только последние bitmap-индексы, которые реконфигурируются при вводе данных, сокращая выполнение ненужных операций.
  • Во-вторых, индексы битовых структур настроены так, чтобы не хранить значения ключа. Вследствие этого пространство, занимаемое индексами битовых структур, может быть оптимизировано очень эффективно и, может поддерживать очень высокую эффективность сжатия.
  • В-третьих, существует кооперация между индексами. Обычная база данных ограничивается только одним номером индекса, который выбирают менеджеры запросов. Из-за такого ограничения параллельные операции не доступны одновременно, даже если в других столбцах присутствуют несколько эффективных индексов. Индекс битовых структур, предоставленный Machbase, может использоваться отдельно. Наборы результатов индексов битовых структурмогут быть извлечены очень быстро с помощью операций И ​​или ИЛИ. Это свойство используется в качестве базовой инфраструктуры для диспетчеров параллельных запросов, которые будут предоставлены в следующих версиях Machbase. В частности, такое свойство позволяет использовать несколько индексов, включенных в один запрос, так что параллельные операции могут быть легко выполнены. Следовательно, Machbase может обеспечивать превосходную производительность в крупномасштабном статистическом анализе.
  • В-четвертых, это обеспечивает очень хорошую эффективность использования пространства. Учитывая, что индексы битовых структур, имеют структуру, к которой могут быть легко применены различные алгоритмы сжатия, Machbase может управлять данными очень быстро и эффективно.

Технология обработки колоночных данных с временным разделением (Time partition-based columnar data processing technology)

Machbase предназначен для достижения максимальной аналитической производительности путем хранения записей в двухступенчатой системе следующим образом:

  • Первый шаг - сортировка данных по столбцам. Как правило, колоночная база данных оптимизирована для OLAP, обладающей, среди прочего, свойством сгруппировать записи физически. Сохраненные в колонке значения должны располагаться на диске или в пространстве памяти, смежными друг с другом. Это позволяет выполнять поиск без создания дополнительной высокой нагрузки на систему, даже если столбцы содержат записи, отличающиеся друг от друга. Кроме того, возможности анализа данных в этой структуре в десятки раз быстрее, чем в структуре на основе строк. Сжатие данных в этой структуре также очень просто.
  • Второй шаг - разделение на основе времени. С входной записью Machbase генерирует файлы, разделенные на основе времени. Это экономит время, когда пользователи анализируют только определенную часть данных на заданном временном интервале. В большинстве случаев в машинных данных существует столбец времени для анализа производительности. Machbase поддерживает максимизацию производительности путем манипуляций разбиением через ключевое слово DURATION.

Технология кэширования памяти (Memory cache technology)

База данных памяти – это высокопроизводительная база данных, оптимизированная для OLTP (Online Transaction Processing), которая вводит и ищет данные со сверхвысокой скоростью. База данных памяти используется в таких областях, как финансы, телекоммуникации и производство, где данные обрабатываются в режиме реального времени.

Machbase запатентовала технологию обработки данных со сверхвысокой производительностью, обеспеченной использованием недавно созданных данных журнала. Кроме того, Machbase обрабатывает соответствующие данные и вносит их в основное хранилище после определенного времени. Таким образом, он предоставляет своим пользователям инновационную архитектуру, с помощью которой они гибко управляют своими данными в зависимости от приоритета обработки фактических данных. Разработчики назвали такую архитектуру «memory window», т.к. Machbase позволяет своим пользователям определять размер обрабатываемой памяти при создании таблицы журнала.

Технология поиска в режиме реального времени (Real-time search technology)

Machbase обеспечивает поиск в реальном времени определенного текстового столбца таблицы по имени индекса ключевого слова. Обычные СУБД могут использовать like операции для поиска текстового столбца, обычно индекс не используется, что негативно сказывается на производительности. С машинными данными функция поиска является необходимой и неизбежной, поскольку ее основная задача - найти конкретное сообщение об ошибке или шаблон сообщения. Однако это функциональное требование, слишком сложное для обычной СУБД.

Чтобы решить эту проблему, Machbase предоставляет для поиска инвертированный индекс в реальном времени. Обладает отличной производительностью при поиске определенного шаблона в текстовых данных, хранящихся в базе данных.

Технология сжатия в режиме реального времени (Real-time data compression technology)

Наибольшим преимуществом технологии колоночных баз данных является то, что при применении алгоритма сжатия его эффективность очень высока, поскольку существует вероятность того, что данные, хранящиеся в столбце, будут такими же или похожими.

Кроме того, учитывая, что аналогичные данные должны загружаться из ближайшего физического пространства без отдельной задачи, улучшаются как производительность сжатия, так и производительность загрузки с диска. Machbase использует алгоритм логического сжатия (Dictionary-Based Compress), который делает словарь из данных, которые будут храниться в столбце, на основе технологии хранения данных в столбцах. Такая технология позвояет поддерживать высокоскоростное сжатие данных.

В дополнение к этому Machbase еще раз применяет алгоритм сжатия блоков в реальном времени на этапе сохранения на диске страницы данных, включенной в память, содержащую данные, которые уже были сжаты. При этом успешно реализуется технология, минимизирующая нагрузку на систему, а также максимизирующая степень сжатия.

Операции для работы с Machbase

Далее приведены операции для работы с данными в Machbase. [Источник 3]

Вставка (Insertion)

Machbase предоставляет различные возможности ввода данных, такие как:

  • Вставка (insert);
  • Загрузка (load);
  • Импорт (import);
  • Сбор (collect);
  • Добавление (append).

Запросы (Querying)

Maschbase поддерживает различные SQL запросы:

  • Select Data;
  • Time Series Data;
  • Text Search;
  • Network Data Manipulation;
  • Simple Join.

Резервное копирование и монтирование (Backup & Mount)

Machbase позволяет делать резервные копии данных и восстанавливать их. Также Machbase предлагает функцию монтирования, при которой обращение к резервным данным происходит без их восстановления.

Резервное копирование данных в Machbase может быть двух видов:

  • DATABASE backup − резервная копия заданной базы данных;
  • TABLE backup − резервная копия заданной таблицы.

Настройка и отслеживание (Configure & Monitor)

Machbase предоставляет возможности по настройке и дальнейшему отслеживанию своего состояния.

  • Параметры (Property) − свойство означает, что пары ключ-значение существуют в заданном файле конфигурации (например, $MACHBASE_HOME/conf/machbase.conf). Значения устанавливаются при запуске Machbase и оказывают постоянное влияние на работу. Для высокой производительности важно понимать концепцию параметров и использовать их с осторожностью.
  • Мета-таблица (Meta Table) − это таблица, в которой хранится информация о таблицах, поддерживаемых Machbase. Синтаксис: m$ИМЯ-ТАБЛИЦЫ.
  • Виртуальная таблица (Virtual Table) − это таблица, которая показывает различные типы информации, поддерживаемой Machbase. Синтаксис: v$ИМЯ-ТАБЛИЦЫ. Выбранная таблица содержит различную информацию в режиме реального времени в соответствии с рабочим состоянием Machbase.

Инструменты для работы с Machbase

Утилиты

machadmin

Утилита администрирования, которая запускает и завершает работу сервера Machbase. Также может создавать и удалять базы данных и проверять, работает сервер или нет. Ниже приведены примеры использовани. Подробнее можно ознакомиться в документации[Источник 4].

Режим восстановления:

mach@localhost:~$ machadmin -u --recovery=[simple | complex | reset] 

Выключение:

mach@localhost:~$ machadmin -s

-----------------------------------------------------------------
     Machbase Administration Tool
     Release Version - 3.5.0.826b8f2.official
     Copyright 2015, Machbase Inc. or its subsidiaries
     All Rights Reserved
-----------------------------------------------------------------
Waiting for the server shut down...
Server shut down successfully.

Создание базы данных:

mach@localhost:~$ machadmin -c
-----------------------------------------------------------------
     Machbase Administration Tool
     Release Version - 3.5.0.826b8f2.official
     Copyright 2015, Machbase Inc. or its subsidiaries
     All Rights Reserved
-----------------------------------------------------------------
Database created successfully.

Уничтожение базы данных:

mach@localhost:~$ machadmin -d
-----------------------------------------------------------------
     Machbase Administration Tool
     Release Version - 3.5.0.826b8f2.official
     Copyright 2015, Machbase Inc. or its subsidiaries
     All Rights Reserved
-----------------------------------------------------------------
Destroy Machbase database- Are you sure?(y/N) y
Database destroyed successfully.


Принудительная остановка работы сервера:

mach@localhost:~$ machadmin -k
-----------------------------------------------------------------
     Machbase Administration Tool
     Release Version 3.5.0.826b8f2.official
     Copyright 2014, Machbase Inc. or its subsidiaries
     All Rights Reserved
-----------------------------------------------------------------
Waiting for Machbase terminated...
Server terminated successfully.

Тихий режим (без вывода сообщений):

mach@localhost:~$ machadmin -i

Восстановление базы данных:

mach@localhost:~$ machadmin  -r backup_database_path
-----------------------------------------------------------------
     Machbase Administration Tool
     Release Version - 3.5.0.826b8f2.official
     Copyright 2015, Machbase Inc. or its subsidiaries
     All Rights Reserved
-----------------------------------------------------------------
Backed up database restored successfully.

Извлечение файлов:

mach@localhost:~$ machadmin -x backup_file extract_path
-----------------------------------------------------------------
     Machbase Administration Tool
     Release Version - 3.5.0.826b8f2.official
     Copyright 2015, Machbase Inc. or its subsidiaries
     All Rights Reserved
-----------------------------------------------------------------
Extract backup image successfully.

Проверка содержимого файла резервной копии:

mach@localhost:~$ machadmin -w backup_file
-----------------------------------------------------------------
     Machbase Administration Tool
     Release Version - 3.5.0.826b8f2.official
     Copyright 2014, Machbase Inc. or its subsidiaries
     All Rights Reserved
-----------------------------------------------------------------
Display information of backup image file.
--------------------------------------------------------------
     File name        - mach_backup_19700101090000_20150805092853_1
     Create time      - 2015-08-04 15:35:56
     Data duration    - 1970-01-01 09:00:00 ~ 2015-08-05 09:28:53
     Backup duration  - 2015-08-05 09:28:53 ~ 2015-08-05 09:28:53
     Version          - DB(4.0) Meta(2.0) CM(1.5)
-----------------------------------------------------------------

Проверка статуса сервера:

mach@localhost:~$ machadmin -e

Не запущен:

-----------------------------------------------------------------
     Machbase Administration Tool
     Release Version - 3.5.0.826b8f2.official
     Copyright 2014,Machbase Inc. or its subsidiaries
     All Rights Reserved
-----------------------------------------------------------------
[ERR] Server is not running.

Запущен:

-----------------------------------------------------------------
     Machbase Administration Tool
     Release Version 3.5.0.826b8f2.official
     Copyright 2014, Machbase Inc. or its subsidiaries
     All Rights Reserved
-----------------------------------------------------------------
Machbase server is already running with PID (14098).

Установка файла лицензии на сервере:

mach@localhost:~$ machadmin -t license_file
-----------------------------------------------------------------
     Machbase Administration Tool
     Release Version - 3.5.0.826b8f2.official
     Copyright 2014, Machbase Inc. or its subsidiaries
     All Rights Reserved
-----------------------------------------------------------------
License installed successfully.

Проверка файла лицензии на сервере:

mach@localhost:~$ machadmin -f
-----------------------------------------------------------------
     Machbase Administration Tool
     Release Version - 3.5.0.826b8f2.official
     Copyright 2014, Machbase Inc. or its subsidiaries
     All Rights Reserved
-----------------------------------------------------------------
                   INFORMATION
Install DATE                      : 2016.02.17 13:58:54
Company#ID-ProjectName            : machbase
License Policy                    : CORE
License Type(Version 2)           : OFFICIAL
Host ID                           : FFFFFFFFFFFFFFF
Issue DATE                        : 20130325
Expiry DATE                       : 25300318
Max Data Size For a Day(GB)       : 0
Percentage Of Data Addendum(%)    : 0
Overflow Action                   : 0
Overflow Count to Stop Per Month  : 0
Stop Action                       : 0
Reset Flag                        : 0
-----------------------------------------------------------------
                   STATUS
Usage Of Data(GB)                 : 0.000000
PreviousChecked DATE              : 20160216
Violation Count                   : 0
Stop Enabled                      : 0
-----------------------------------------------------------------
License information displayed successfully.

machsql

Инструмент для динамического выполнения SQL-запросов к серверу Machbase в консоли с возможностью ознакомления с результатами на экране. Ниже приведены примеры запуска.

Запуск machsql для экземпляра на локальном сервере от имени пользователя sys с паролем manager:

mach@localhost:~$ machsql -s localhost -u sys -p manager

Аналогичная команда:

mach@localhost:~$ machsql --server=localhost --user=sys --password=manager

То же самое, но вместо передачи управления потока ввода-вывода Machbase будет отработан скрипт script.sql:

mach@localhost:~$ machsql -s localhost -u sys -p manager -f script.sql

machloader

Инструмент, который импортирует данные в Machbase DB из текстового файла или экспортирует данные из Machbase DB в текстовый файл.

Запуск в общем случае:

mach@localhost:~$ machloader <options>

Импорт данных из текстового файла в таблицу базы данных:

-i,  --import: Import data from external csv file.
-d, --data=DATA_FILE: Set a name of data file.
-t, --table=TABLE_NAME: Set a table name.

Экспорт данных в текстовый файл из таблицы базы данных:

-o, --export: Export data.
-d, --data=DATA_FILE: Set a name of data file.
-t, --table=TABLE_NAME: Set a table name.

CSVIMPORT/CSVEXPORT

csvimport основан на machloader и представляет собой инструмент, который предлагает импортирование csv-файла.

csvexport основан на machloader и является инструментом, который экспортирует данные в csv-формат.

Сборщик Machbase Collector

Производит извлечение, преобразование и вставку данных из журнала в базу данных в режиме реального времени. Сборщик устанавливается на машине, которая физически отделена от сервера, и в реальном времени собирает различные типы данных журнала, которые были сгенерированы с компьютеров, а затем отправляет их через сеть.

Сборщик Machbase - это отдельный процесс, и несколько сборщиков могут работать одновременно, но один сборщик предназначен для сбора только одного типа источника данных. Он обрабатывает различные типы журналов в пределах допустимого диапазона системных ресурсов.

Machbase Web Analytics (MWA)

Machbase Web Analytics (MWA) - это веб-приложение, разработанное с использованием Python 2.7 Micro Framework Flask на основе Werkzeug и Jinja2. Состоит из вкладок Dashboard, Query, Collection, DB Admin и Preferences.

Machbase SDK

Machbase позволяет этим клиентским программам получать доступ к базе данных и взаимодействовать с сервером при помощи SDK.

  • Call Level Interface (CLI) определяется стандартами разработки программного обеспечения в ISO/IEC 9075-3:2003. Он определяет, как CLI обеспечит SQL доступ к базе данных, а также определяет функции и спецификации, как результаты должны быть получены и проанализированы. CLI был разработан в начале 1990-х годов и создан только для языков C и COBOL. Спецификации CLI все еще поддерживаются.
  • Java Database Connectivity (JDBC) − это интерфейс прикладного программирования (API) для языка программирования Java, который определяет, как клиент может получить доступ к базе данных.
  • Log4j − это утилита ведения журнала, разработанная на Java. Machbase предоставляет метод для ввода журналов событий в базу данных Machbase с приложением, которое использует Log4j, задаёт конфигурацию работы в файле «log4j.properties» и не изменяет существующий исходный код.
  • Модули в Python − позволяют использовать классы и методы при написании собственных утилит;
  • Representational State Transfer (REST) − это стиль архитектуры программного обеспечения, состоящий из рекомендаций и лучших методик создания масштабируемых веб-служб.

Установка

Ознакомиться со всеми способами установки можно в документации[Источник 5]

Установка из Docker-образ

Machbase предоставляет docker-образ. Для установки и запуска Machbase в docker-контейнере необходимо выполнить следующие шаги:

  1. Скачать образ Machbase из репозитория docker:
    docker pull machbase/machbase
  2. Запустить контейнер:
    docker run -it -p 5001:5001 machbase/machbase

Далее можно использовать утилиты администрирования Machbase и Web-панель для выполнения различных манипуляций с базой даннных.

При этом по умолчанию задействованы следующие порты:

  • 5656: порт взаимодействия Machbase с ODBC, JDBC API;
  • 5001: порт веб-интерфейса MWA(Machbase Web Analytics).

Доступ к Machbase Web Analytic:

Доступ к machsql:

  • Логин: SYS
  • Пароль: MANAGER

Установка на Linux (из deb-пакета)

Подготовка системы

Максимальное число файлов должно быть минимум 65535. Проверка:

ulimit -Sn

Для измения необходимо в файл /etc/security/limits.conf внести следующие настройки:

sudo vi /etc/security/limits.conf

Настройки:

*                      hard       nofile     65535
*                      soft       nofile     65535

Пути Machbase

vi ~/.bashrc

Прописываем в файле:

export MACHBASE_HOME=/opt/machbase/current 
export PATH=$MACHBASE_HOME/bin:$PATH 
export LD_LIBRARY_PATH=$MACHBASE_HOME/lib:$LD_LIBRARY_PATH

Применяем изменения:

source ~/.bashrc

Установка

Скачиваем dep-пакет:

wget  http://www.machbase.com/dist/machbase-std-5.1.9.community-LINUX-X86-64-release.deb

Устанавливаем:

sudo dpkg -i machbase-std-5.1.9.community-LINUX-X86-64-release.deb

Настройка и запуск Machbase

Необходимые параметры Machbase можно добавлять/изменять в $MACHBASE_HOME/conf/machbase.conf. Более подробно ознакомиться с параметрами можно в документации[Источник 6].

Для взаимодействия с Machbase использовать команду:

sudo service machbased {start | stop | kill | createdb | destorydb | status | web | console | port | exe | help} 

Для поверки статуса сервиса:

systemctl status machbased 

Источники

  1. Machbase documentation: Introduction // Официальный сайт Machbase. [2018]. Дата обновления: 23.02.2019. URL: https://doc.machbase.com (дата обращения: 23.02.2019).
  2. Machbase: Overview // Официальный сайт Machbase. [2016]. Дата обновления: 23.02.2019. URL: http://www.machbase.com/machbase#overview (дата обращения: 23.02.2019).
  3. Machbase Documentation: Operating // Официальный сайт Machbase. [2016]. Дата обновления: 23.02.2019 URL: https://doc.machbase.com/operating-machbase.html (дата обращения: 23.02.2019).
  4. Machbase documentation: Machbase Tools // Официальный сайт Machbase. [2018]. Дата обновления: 23.02.2019. URL: https://doc.machbase.com/machbase-tools.html (дата обращения: 23.02.2019).
  5. Machbase documentation: Installation Guide // Официальный сайт Machbase. [2018]. Дата обновления: 23.02.2019. URL: https://doc.machbase.com/installation-guide.html (дата обращения: 23.02.2019).
  6. Machbase documentation: Configure and Monitor. Property List // Официальный сайт Machbase. [2018]. Дата обновления: 23.02.2019. URL: https://doc.machbase.com/configure-and-monitor/property.html (дата обращения: 23.02.2019).