DataFlowCron
DataFlowCron — namespaced CRD (dataflowcrons, kind DataFlowCron, group dataflow.dataflow.io) для запуска того же конвейера источник → трансформации → приёмник, что и у DataFlow, но по cron-расписанию через Kubernetes CronJob / Job.
Используйте для пакетных или периодических сценариев и когда после успешного прогона нужны триггеры.
Отличие от DataFlow
| DataFlow | DataFlowCron | |
|---|---|---|
| Оркестрация | Deployment (always on) | CronJob → Job на тик |
| Пост-шаги | — | Опциональные triggers |
| Лучшие источники | Kafka streaming | Polling / batch |
См. Типы нагрузки.
Ход выполнения
- CronJob создаёт Job с процессором до исчерпания источника или завершения процесса.
- После успеха Job — очередь Job триггеров.
- Status:
RunningTriggers,Completed,Failed.
Тип источника и завершение прогона
- Polling-источники обычно завершаются при исчерпании — триггеры могут стартовать.
- Kafka часто не останавливается сам — для cron с триггерами используйте polling.