hydra:实时数据复制平台可“解除捆绑”数据流的接收转换和传输 源码

九头蛇 Hydra是一个实时流传输和数据复制平台,可“解除捆绑”数据流的接收,转换和生产。 它通过相互独立地抽象这些阶段,同时在它们之间提供统一的API来实现。 为什么要复制? Hydra复制协议的目标是将事件的摄取与任何转换和存储分开。 这种复制范例允许单个事件被摄取,转换,然后实时复制到几个不同的数据系统(Kafka,Postgres等)。 复制阶段 接收 接收阶段接收“原始”数据,将其转换为包含有效负载和元数据的Hydra请求,并将该请求广播到底层的Hydra Ingestors。 摄取 此阶段涉及将请求与一个或多个摄取器进行匹配,执行任何数据转换并将请求发送到传输。 复杂的流操