LogiCH хрaнение и aнaлиз журнaлa регистрaции в сверхбыстрой СУБД ClickHouse [infostart.ru]

Складчина: LogiCH хрaнение и aнaлиз журнaлa регистрaции в сверхбыстрой СУБД ClickHouse [infostart.ru]

Конфигурация LogiCH эффективно решает проблему хранения и анализа записей журналов регистрации. Разработка использует столбцовую СУБД ClickHouse, одну из самых быстрых Big Data OLAP СУБД. Любой анализ журнала можно выполнить в одном отчете, в котором доступны все возможности СКД с учетом ограничений RLS. Количество подключаемых баз не ограничено и не влияет на скорость построения анализа.

Спойлер: Дополнительная информация

1. Срок действия конфигурации неограничен, предоставляется бессрочная лицензия при покупке

2. Ограничений на использование нет.

3. Для работы конфигурации требуется платформа 8.3.7 и выше, управляемые формы. Для связи между конфигурацией и СУБД ClickHouse используется протокол HTTP, поэтому соответствующий порт(зависит от настроек, по умолчанию 8124) должен быть открыт для сетевого взаимодействия. Для виртуальной машины с СУБД ClickHouse рекомендуется выделить достаточное количество оперативной памяти — 2Gb и выше. Для подключения к целевой базе с журналом регистрации необходим установленный типовой com-connector подходящей версии.

4. Код конфигурации полностью открыт Пользователю после приобретения прав на его использование. Доработки силами пользователя после приобретения возможны.

5. Дальнейшие обновления предоставляются бесплатно, без строгой периодичности, без автоматического обновления. При обнаружении ошибки в конфигурации, выпущу обновление в срок не более недели со дня подтверждения наличия ошибки.

Спойлер: Достоинства

1. Построение любых отчетов на базе гибкого СКД отчета анализа записей журнала регистрации. Результаты отчета учитывают настроенные ограничения пользователя Logich, например, можно дать доступ только к отдельным базам. Отчет использует ссылочные данные для вывода, поэтому отборы можно настроить выбрав объекты из списка.

2. Огромная скорость работы. Забудьте про 10 минутное ожидание типового журнала регистрации, чтобы посмотреть кто менял документ. Для примера, на среднем виртуальном сервере, отчет по данным 100 млн. записей выполняется в пределах 10 сек.

3. Автоматическая загрузка новых записей журнала по расписанию. Загрузку можно настроить на разбиение данных на порции по временным интервалам или количеству, для случаев если размера оперативной памяти недостаточно для обработки за один раз. При необходимости данные можно загрузить вручную через специальную обработку конфигурации.

4. Работа с сервером ClickHouse через http интерфейс. Не используется «капризное» ODBC подключение.

5. Настройка ограничений доступа к данным журналов в режиме предприятия. Для настройки RLS достаточно настроить ограничения в виде СКД отбора для группы пользователей. Вмешательство в конфигурацию при этом не требуется.

6. Небольшой размер файла базы данных, хранящей записи журнала. Так как ClickHouse использует столбцовое хранение в сочетании с сжатием данных, размер файла получается во много раз меньше стандартного .lgd файла. Для приведенного выше примера журнала в 100 млн. записей размер файла составляет около 15 Gb.