流系统Spark/Flink/Kafka/DataFlow端到端一致性实现对比

图片来自unsplash 长文预警, 全文两万五千多字, 37页word文档的长度 (略有杂乱,有些非常复杂的地方可能需要更多的例子来说明,使得初学者也能很容易看懂,但是实在花的时间已经太多太多了,留待后边利用起碎片时间一点点修改吧。。。。毋怪。。) 分布式最难的2个问题 1. Exactly Once Message processing 2. 保证消息处理顺序. 我们今天着重来讨论一下 为什么很难 怎么解 前言 就作者学习流系统的感受来看, 流系统有2个难点, 第一是end to end consistency,或者说exactly once msg processing; 第二则是eve