Datameer — различия между версиями

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 23:48, 30 июня 2020.
м (Поддерживаемые операционные системы)
 
(не показаны 2 промежуточные версии этого же участника)
Строка 97: Строка 97:
 
===Файловый менеджер===
 
===Файловый менеджер===
 
На вкладке "Файловый браузер" перечислены подключения, импорт, экспорт, загрузка файлов, книги, инфографика и приложения.  
 
На вкладке "Файловый браузер" перечислены подключения, импорт, экспорт, загрузка файлов, книги, инфографика и приложения.  
Используйте эту вкладку для ввода информации в Datameer и последующего анализа этих данных. Если вы нажмете кнопку "Добавление", то сможете открыть новую вкладку рабочей области. Браузер с левой стороны работает как файловое дерево. В центре экрана перечислены все артефакты внутри выбранного файла. В правой части экрана есть информационное поле, где вы можете найти информацию о файлах и артефактах.
 
 
[[Файл:Файловый_менеджер_Datameer.png|обрамить|центр|{{center|Рисунок 2 – Файловый менеджер в Datameer}}]]
 
[[Файл:Файловый_менеджер_Datameer.png|обрамить|центр|{{center|Рисунок 2 – Файловый менеджер в Datameer}}]]
 
* Вкладки навигации - Перемещает пользователя между различными страницами Datameer.
 
* Вкладки навигации - Перемещает пользователя между различными страницами Datameer.
Строка 104: Строка 103:
 
* Список артефактов - список имен и сведений о соединениях, данных, рабочих книгах, инфографике и файлах, которые пользователь может просматривать.
 
* Список артефактов - список имен и сведений о соединениях, данных, рабочих книгах, инфографике и файлах, которые пользователь может просматривать.
 
* Дерево файлов - иерархическая файловая система. Артефакты Datameer хранятся в каталогах и подкаталогах.
 
* Дерево файлов - иерархическая файловая система. Артефакты Datameer хранятся в каталогах и подкаталогах.
* Поиск - функция поиска для поиска артефактов в Datameer. (По состоянию на Datameer 7.4)
+
* Поиск - функция поиска для поиска артефактов в Datameer.
 
* Путь артефакта - отображает путь к файлу для выбранного артефакта.
 
* Путь артефакта - отображает путь к файлу для выбранного артефакта.
 +
 
==Поддержка версий Datameer==
 
==Поддержка версий Datameer==
 
===Поддерживаемые операционные системы===
 
===Поддерживаемые операционные системы===
Datameer, как Java-приложение, больше зависит от виртуальной машины Java (JVM), чем от базовой операционной системы (OS). Поэтому поддерживаемые операционные системы должны иметь Java Virtual Machine 1.8+ и MySQLdialect v5.5 или выше.<ref group="Источник"> Поддерживаемые операционные системы URL: https://documentation.datameer.com/documentation/display/DAS100/Supported+Operating+Systems (дата обращения: 24.06.2020).</ref>
+
Datameer, как Java-приложение, больше зависит от виртуальной машины Java, чем от базовой операционной системы.  
 +
Поддерживаемые операционные системы должны иметь Java Virtual Machine 1.8+ и MySQLdialect v5.5 или выше.<ref group="Источник"> Поддерживаемые операционные системы URL: https://documentation.datameer.com/documentation/display/DAS100/Supported+Operating+Systems (дата обращения: 24.06.2020).</ref>
 
{|
 
{|
 
  {| class="wikitable"
 
  {| class="wikitable"
Строка 128: Строка 129:
 
   |}
 
   |}
 
|}
 
|}
 +
 
===Поддерживаемые браузеры===
 
===Поддерживаемые браузеры===
 
Вход в Datameer происходит в браузере. Поддерживаемые для входа браузеры:<ref group="Источник"> Поддерживаемые браузеры URL: https://documentation.datameer.com/documentation/display/DAS100/Supported+Browsers (дата обращения: 24.06.2020).</ref>
 
Вход в Datameer происходит в браузере. Поддерживаемые для входа браузеры:<ref group="Источник"> Поддерживаемые браузеры URL: https://documentation.datameer.com/documentation/display/DAS100/Supported+Browsers (дата обращения: 24.06.2020).</ref>

Текущая версия на 23:48, 30 июня 2020

Datameer
Industry Data Science
Founded November 2009; 10 years ago (2009-11)
Headquarters Сан-Франциско, Соединенные Штаты Америки
Key people
Stefan Groschupf
Products Datameer Analytics Solution (DAS)
Number of employees
175
Website www.datameer.com

Datameer - компания по анализу и визуализации больших данных, базирующаяся в Сан-Франциско, штат Калифорния. Datameer специализируется на анализе больших объемов данных для бизнес-пользователей Apache Hadoop. Продукт компании, Datameer Analytics Solution (DAS), представляет собой платформу бизнес-интеграции для Hadoop и включает в себя интеграцию источников данных, механизм аналитики с интерфейсом электронных таблиц, предназначенный для бизнес-пользователей с более чем 200 аналитическими функциями и визуализацией, включая отчеты, диаграммы и информационные панели. DAS доступен для основных дистрибутивов Hadoop, включая Apache, Cloudera, EMC Greenplum HD, IBM BigInsights, MapR, Yahoo! и Amazon.[Источник 1]

История

Компания была основана небольшой командой из восьми человек в 2009 году. Ранее эта команда внедряла собственные решения Hadoop для анализа больших данных. Стефан Грошуп был одним из этих восьми сотрудников и одним из немногих первых участников проекта Nutch, который был проектом с открытым исходным кодом, который привел к появлению Hadoop. Fast Company назвал Datameer одной из самых инновационных компаний в мире в 2013 году. В 2015 году Datameer насчитывал 175 сотрудников по всему миру. Около 50 сотрудников находятся в Германии.

Продукты

Описание продукта

Datameer специализируется на Apache Hadoop и больших объемах данных для бизнес-пользователей Apache Hadoop.

Apache Hadoop - это программное обеспечение с открытым исходным кодом, которое обрабатывает большие объемы наборов данных и выдает аналитику. Продукт называется Datameer Analytics Solution (DAS). Он включает в себя механизм интеграции источников данных и аналитики. Большое преимущество для компаний, которые уже имеют большие объемы данных в Hadoop, Datameer дает возможность напрямую взаимодействовать с большими данными. Datameer Analytics Solution (DAS) берет дату, которая хранится в Hadoop. Пользователь может быстро загружать, преобразовывать, анализировать и визуализировать дату быстро. Дизайн использует знакомый интерфейс электронных таблиц. Данные могут быть извлечены в рабочие листы. Используя функции электронных таблиц, программа будет анализировать данные с помощью настраиваемых преобразований, агрегатов и объединений.

Datameer Analytics Solution содержит более ста функций работы с электронными таблицами, инструменты обработки естественного языка (NLP) для неструктурированных данных, базовые инструменты построения диаграмм и информационные панели. После создания этой аналитической модели результаты вычисляются с помощью технологии распределенной обработки Hadoop. DAS доступен для основных дистрибутивов Hadoop.

С DAS пользователи электронных таблиц смогут самостоятельно выполнять анализ больших данных без необходимости в ИТ-сотрудниках. В противном случае было бы сложно проанализировать данные Hadoop без технической подготовки. В целом, интерфейс электронных таблиц предлагает пользователю функциональность самообслуживания для обнаружения больших данных в механизмах выполнения Hadoop.

Установка Datameer

Предустановка

Перед установкой Datameer надо выполнить следующие действия:[Источник 2]

  • Установить клиент Hadoop
  • Проверить, что:
  1. Сервер приложений Datameer, а также все узлы данных правильно настроены с именами хостов, DNS, датой, временем, NTP и другими деталями
  2. Сервер приложений Datameer, как и все узлы данных, имеет Java 1.8 (рекомендуется Oracle)
  3. Установка работает, используя следующие команды: java -version и echo $JAVA_HOME
  4. На сервере приложений Datameer уже установлено расширение Oracle Java Cryptography Extension (JCE)
  5. Такие команды, как hadoop, yarn и mysql, могут быть выполнены
  • Установка клиента MySQL
  1. Для базы данных приложения Datameer сервер MySQL должен быть подготовлен с необходимым доступом
  • Предоставить административных прав или корневого доступа
  • Обеспечить доступ в Интернет для загрузки пакетов и плагинов или наличия необходимых ZIP файлов загруженных и доступных
  • Если вы используете Kerberos, то надо настроить протокол Kerberos для защищенного олицетворения

Создание пользователя Datameer

Для создания пользователя Datameer на компьютере, на котором устанавливается Datameer, требуются права администратора. Это можно сделать под учетной записью root. Эти команды также создают каталог /home/datameer :

./usr/sbin/groupadd --system datameer
./usr/sbin/useradd --system --create-home --gid datameer datameer

Создание каталогов для приложений, кэша, журналов и временных файлов

По соображениям производительности и для лучшего контроля над тем, где используется пространство в файловых системах и на дисках, создайте отдельные каталоги для приложений, кэша, журналов и временных файлов. Сделать это нужно в соответствии со стандартом иерархии файловой системы Linux (FHS). Для создания каталогов и изменения разрешений вам потребуются права администратора. Выполните эту задачу в корневой учетной записи пользователя:

mkdir -p /opt/datameer
chown -R datameer:datameer /opt/datameer
mkdir -p /var/cache/datameer
chown -R datameer:datameer /var/cache/datameer
mkdir -p /var/log/datameer
chown -R datameer:datameer /var/log/datameer
mkdir -p /tmp/datameer
chown -R datameer:datameer /tmp/datameer

Скачивание и распаковка Datameer

Загрузите соответствующий пакет Datameer для вашего дистрибутива кластера Hadoop. Если у вас уже есть установщик Datameer, то:

  • Скачать и распаковать файл
curl -s -k -o Datameer-<package>.zip "https://download.datameer.com.s3.amazonaws.com/releases/Datameer-<version>/<dist>/Datameer-<package>.zip?<AWSproperties>"

Вход в Datameer

Откройте браузер и введите URL-адрес Datameer, например https ://Host:Port. В вашем браузере появится страница входа в систему. Введите свое имя пользователя в поле "Имя пользователя" и пароль в поле "Пароль

Рисунок 1 – Вход в Datameer

Пользовательский интерфейс Datameer

Файловый менеджер

На вкладке "Файловый браузер" перечислены подключения, импорт, экспорт, загрузка файлов, книги, инфографика и приложения.

Рисунок 2 – Файловый менеджер в Datameer
  • Вкладки навигации - Перемещает пользователя между различными страницами Datameer.
  • Кнопка "Добавление" - быстрый способ добавления новых папок, подключений, загрузок файлов, ссылок на данные, импорта заданий, экспорта, книг и инфографики, которые отображаются в виде вкладки.
  • Фильтр - позволяет пользователю быстро находить артефакты с помощью набора фильтров. Поиск файлов, принадлежащих текущему пользователю, по статусу или по типу файла.
  • Список артефактов - список имен и сведений о соединениях, данных, рабочих книгах, инфографике и файлах, которые пользователь может просматривать.
  • Дерево файлов - иерархическая файловая система. Артефакты Datameer хранятся в каталогах и подкаталогах.
  • Поиск - функция поиска для поиска артефактов в Datameer.
  • Путь артефакта - отображает путь к файлу для выбранного артефакта.

Поддержка версий Datameer

Поддерживаемые операционные системы

Datameer, как Java-приложение, больше зависит от виртуальной машины Java, чем от базовой операционной системы. Поддерживаемые операционные системы должны иметь Java Virtual Machine 1.8+ и MySQLdialect v5.5 или выше.[Источник 3]

Операционная система Версия
CentOS 5.x, 6.x, 7.x
Debian 5+
Fedora Core 6+, 13+, 19+
Oracle Enterprise Linux 5.x, 6.x, 7.x
Scientific Linux 5.x, 6.x, 7.x
Solaris 10+
SUSE Linux Enterprise Server (SLES) 10.x, 11.x, 12.x

Поддерживаемые браузеры

Вход в Datameer происходит в браузере. Поддерживаемые для входа браузеры:[Источник 4]

Браузер Версия
Mozilla Firefox 42 и позднее
Apple Safari 9 и позднее
Microsoft Internet Explorer 11 и позднее
Google Chrome 46 и позднее
Microsoft Edge 12 и позднее

Системные требования для Datameer Application Server

Рекомендуемое оборудование для производственной среды с базой данных на том же сервере, что и Datameer: [Источник 5]

Минимум:

  • Сервер 1U
  • 2 четырехъядерных процессора
  • 16+ ГБ оперативной памяти
  • 2 x 1 ТБ жестких дисков (рекомендуемое доступное дисковое пространство: 250 ГБ)
  • Чередование RAID-0
  • Зеркальное отображение RAID-1
  • Двойные сетевые порты 1GbE
  • Резервная мощность
  • Для отработки отказа требуется резервный сервер с такой же конфигурацией

Рекомендуемое:

  • Сервер 1U
  • 2 восьмиядерных процессора
  • 16+ ГБ оперативной памяти
  • 2 x 1 ТБ жестких дисков (рекомендуемое доступное дисковое пространство: 250 ГБ)
  • Чередование RAID-0
  • Зеркальное отображение RAID-1
  • Двойные сетевые порты 10GbE
  • Резервная мощность
  • Для отработки отказа требуется резервный сервер с такой же конфигурацией

Необходимое программное обеспечение:

  • Операционная система на базе Unix
  • Oracle Java 1.8 или OpenJDK 8 (начиная с Datameer 7.2) или Amazon Corretto OpenJDK (начиная с Datameer 7.4)
  • Установленное программное обеспечение: SSH, VI, MySQL 5.5, 5.6, 5.7 (исполняемые файлы сервера и клиента должны быть доступны через путь поиска оболочки)
  • Дополнительно: SMTP-сервер (для уведомления по электронной почте)

Дополнительная информация

  • Комапнии, которые сотрудничают и используют продукты Datameer [1]

Источники

  1. Datameer. URL: https://www.datameer.com (дата обращения: 16.06.2020).
  2. Установка Datameer URL: https://documentation.datameer.com/documentation/display/DAS100/Installation+Guide (дата обращения: 24.06.2020).
  3. Поддерживаемые операционные системы URL: https://documentation.datameer.com/documentation/display/DAS100/Supported+Operating+Systems (дата обращения: 24.06.2020).
  4. Поддерживаемые браузеры URL: https://documentation.datameer.com/documentation/display/DAS100/Supported+Browsers (дата обращения: 24.06.2020).
  5. Системные требования для Datameer Application Server URL:https://documentation.datameer.com/documentation/display/DAS100/System+Requirements (дата обращения: 22.06.2020).

Примечания