慎用 kafka-python 客户端!!!存在双端丢数据的风险

生产者丢数据 https://github.com/dpkp/kafka...
根据 smalyshev 的描述,当生产者循环不停的提交 message ,如果 kafka 宕机了,提交不会报错,还是会一直不停的提交,但是 kafka 已经宕机了不会接受消息呀,但是此事 kafka-python 却不会报错,还是一直提交,没提交上的就丢弃了。。。连个错误提示都不会有,站在程序员的角度来看,这个消息到底是提交成功还是提交失败的我们也不知道
消费者丢数据 这里说的消费者丢数据不是那种,而是因为 kafka-python 的 bug 导致的丢数据。
https://www.infoq.cn/article/...
【慎用 kafka-python 客户端!!!存在双端丢数据的风险】大概的意思就是说 kafka-python 的迭代机制有问题,会导致取回来的数据在还没有消费之前就没了

    推荐阅读