DataFlow Operator

Kubernetes-оператор для потоковых и scheduled-конвейеров между Kafka, PostgreSQL, ClickHouse, Trino, Nessie и Iceberg.

Начало работы Архитектура

Текущие версии

Компонент	Версия
DataFlow Operator	—
Helm Charts	—
DataFlow MCP	—
DataFlow Web	—

Разделы документации

• Начало работы

  ---

  Установка через Helm и первый конвейер за минуты

  Начать

• DataFlow

  ---

  Непрерывные потоковые конвейеры (Deployment)

  Подробнее

• DataFlowCron

  ---

  Запуск по расписанию с опциональными триггерами

  Подробнее

• Типы нагрузки

  ---

  Выбор между DataFlow и DataFlowCron

  Сравнить

• Коннекторы

  ---

  Kafka, PostgreSQL, ClickHouse, Trino, Nessie, Iceberg

  Справочник

• Трансформации

  ---

  Filter, mask, route, flatten и др.

  Справочник

• Agent Skills

  ---

  Переносимые AI-инструкции для deploy, config и отказоустойчивости (любая IDE)

  Установка

• FAQ и Best Practices

  ---

  Ответы на частые вопросы, troubleshooting и рекомендации по эксплуатации

  FAQ · Best Practices

Обзор

DataFlow Operator позволяет декларативно определять потоки данных через Kubernetes CRD. Поддерживаются непрерывные (DataFlow) и scheduled (DataFlowCron) нагрузки.

Ключевые возможности

Поддержка источников данных

• Kafka — TLS, SASL, Avro, Schema Registry
• PostgreSQL — custom SQL, batch inserts, UPSERT
• ClickHouse — polling, batch inserts, auto-create MergeTree
• Trino — SQL-запросы, Keycloak OAuth2
• Nessie — Apache Iceberg через каталог Nessie
• Iceberg — Apache Iceberg через REST Catalog API

Набор трансформаций

Timestamp, Flatten, Filter, Mask, Router, Select, Remove, SnakeCase, CamelCase, DebeziumUnwrap, ReplaceField, HeadersToPayload, StructFlatten, ExtractField, HoistField, Cast, Timezone, InsertField

Гибкая маршрутизация

Маршрутизация сообщений в разные sinks по условиям JSONPath.

Безопасная конфигурация

Конфигурация коннекторов из Kubernetes Secrets через SecretRef.

Быстрый старт

helm install dataflow-operator oci://ghcr.io/dataflow-operator/helm-charts/dataflow-operator
kubectl apply -f dataflow/config/samples/kafka-to-postgres-secrets.yaml
kubectl get dataflow kafka-to-postgres-secrets

Карта документации

Тема	Ссылка
Установка	Начало работы
DataFlow	Обзор · Spec · Жизненный цикл
DataFlowCron	Обзор · Триггеры · Примеры
Эксплуатация	Ошибки · Отказоустойчивость · Метрики
Инструменты	Web GUI · CLI · Helm Values · MCP · Agent Skills
Руководства	FAQ и Troubleshooting · Best Practices · Примеры

Лицензия

Apache License 2.0