DataFlow Operator

Kubernetes-оператор для потоковых и scheduled-конвейеров между Kafka, PostgreSQL, ClickHouse, Trino, Nessie и Iceberg.

Начало работы Архитектура

Текущие версии

Компонент	Версия
DataFlow Operator	—
Helm Charts	—
DataFlow MCP	—
DataFlow Web	—

Разделы документации

• Начало работы

  ---

  Установка через Helm и первый конвейер за минуты

  Начать

• DataFlow

  ---

  Непрерывные потоковые конвейеры (Deployment)

  Подробнее

• DataFlowCron

  ---

  Запуск по расписанию с опциональными триггерами

  Подробнее

• Типы нагрузки

  ---

  Выбор между DataFlow и DataFlowCron

  Сравнить

• Коннекторы

  ---

  Kafka, PostgreSQL, ClickHouse, Trino, Nessie, Iceberg

  Справочник

• Трансформации

  ---

  Filter, mask, route, flatten и др.

  Справочник

• Agent Skills

  ---

  Переносимые AI-инструкции для deploy, config и отказоустойчивости (любая IDE)

  Установка

Обзор

DataFlow Operator позволяет декларативно определять потоки данных через Kubernetes CRD. Поддерживаются непрерывные (DataFlow) и scheduled (DataFlowCron) нагрузки.

Быстрый старт

helm install dataflow-operator oci://ghcr.io/dataflow-operator/helm-charts/dataflow-operator
kubectl apply -f dataflow/config/samples/kafka-to-postgres.yaml
kubectl get dataflow kafka-to-postgres

Карта документации

Тема	Ссылка
Установка	Начало работы
DataFlow	Обзор · Spec · Жизненный цикл
DataFlowCron	Обзор · Триггеры · Примеры
Эксплуатация	Ошибки · Отказоустойчивость · Метрики
Инструменты	Web GUI · MCP · Agent Skills

Лицензия

Apache License 2.0