MetaForge

Интегрированное программное обеспечение для преобразования, интеграции и визуализации данных

Что такое MetaForge?

MetaForge — это интегрированное программное обеспечение для преобразования, интеграции и визуализации данных. Оно поддерживает самые разные источники данных — реляционные СУБД, NoSQL-базы данных, big data движки, очереди сообщений и файловые системы — и позволяет управлять множеством источников из единой консоли, запрашивать и преобразовывать данные, строить наборы данных, диаграммы и представления мониторинга.

Возможности

Управление источниками данных — подключение, проверка и управление 50+ источниками из единой консоли
SQL-консоль — редактор в стиле IDE с подсветкой синтаксиса, форматированием, историей выполнения и экспортом
Наборы данных — создание переиспользуемых наборов из таблиц или произвольных запросов, предпросмотр данных и метаданные столбцов
Визуализация — дашборды с перетаскиванием: таблицы, круговые диаграммы и другие типы графиков
Отчёты — планирование и совместный доступ к отчётам
Рабочие процессы — объединение задач обработки данных в повторяемые workflow
Файловое хранилище — чтение и запись файлов через Aliyun OSS, Amazon S3, HDFS, локальное хранилище и другие
Уведомления — DingTalk, электронная почта и другие каналы для событий задач и системы
AI-ассистент — общайтесь со своими данными через настроенных AI-провайдеров
Плагинная архитектура — каждый коннектор, конвертер и хранилище являются подключаемыми плагинами
Администрирование — пользователи, роли, меню и конфигурация среды выполнения с тонкой настройкой прав

Требования

Зависимость	Версия
JDK	21
Maven	3.9+ (в комплекте `./mvnw`)
Node.js	20
pnpm	9.13.2

Быстрый старт

Обязательно к прочтению: после клонирования кода обязательно выполните следующие команды

cp configure/git-hook/* .git/hooks
chmod 700 .git/hooks/*

Запуск бэкенда (разработка)

Запустите главный класс org.devlive.metaforge.server.MetaForge (модуль core/metaforge-server) в своей IDE. Сервер доступен на http://localhost:9096. При первом запуске мастер установки поможет выбрать базу метаданных (по умолчанию встроенная H2, также MySQL / PostgreSQL / SQL Server / Oracle) и создать учётную запись администратора.

Запуск фронтенда (разработка)

pnpm install
pnpm --filter metaforge-web dev

Веб-консоль доступна на http://localhost:3001 и проксирует API-запросы к бэкенду.

Сборка для продакшена

# Фронтенд
pnpm --filter metaforge-web build

# Бэкенд + дистрибутив (сервер отдаёт собранный фронтенд
# из core/metaforge-web/dist; архив попадает в dist/)
./mvnw -T1C clean package -DskipTests

Docker

docker pull devliveorg/metaforge:latest
docker run -d --name metaforge -p 9096:9096 devliveorg/metaforge:latest

Либо распакуйте собранный локально дистрибутив (dist/metaforge-server-2026.0.0-bin.tar.gz) и запустите bin/startup.sh.

Структура проекта

metaforge
├── client                        # Консольный клиент
├── configure                     # Конфигурация по умолчанию и манифесты плагинов
├── core
│   ├── metaforge-captcha         # Генерация капчи
│   ├── metaforge-common          # Общие утилиты и перечисления
│   ├── metaforge-condor          # Интеграция планировщика
│   ├── metaforge-server          # Сервер Spring Boot (точка входа REST API)
│   ├── metaforge-service         # Доменные сервисы и хранение данных
│   ├── metaforge-security        # Конфигурация безопасности
│   ├── metaforge-sql             # Конструкторы SQL-запросов
│   ├── metaforge-spi             # Контракты plugin SPI
│   ├── metaforge-web             # Веб-консоль Vue 3 + Tailwind
├── convert                       # Конвертеры данных (JSON, CSV, XML, ...)
├── driver                        # Драйверы баз данных (Redis, MongoDB, ...)
├── executor                      # Движки выполнения
├── fs                            # Плагины файловых хранилищ (OSS, S3, локальное, ...)
├── lib                           # Общие библиотеки (HTTP-клиент, логирование, shell)
├── notify                        # Каналы уведомлений (DingTalk, ...)
├── parser                        # SQL-парсеры (MySQL, Trino, ...)
├── plugin                        # Плагины источников данных (50+ коннекторов)
└── shaded                        # Shaded сторонние интеграции