Kafka 2.8.0发布,ZooKeeper正式离婚!
平时关注 Kafka 的小伙伴要注意了,2021年4月19日,Kafka 2.8.0正式发布!
这次升级包括了很多重要的改动,其中最引人瞩目的就是kafka通过自我管理的仲裁来替代ZooKeeper,通俗的说,Kafka将不再需要ZooKeeper,正式分手!
其实早在19年,就有人在社区中提出要移除Kafka对Zookeeper依赖的想法,当时被视为几乎不可能,但随着众人齐心协力踌躇满志,竟然真的一步一步逐渐实现了。
2.8.0版本将是第一个不需要ZooKeeper就可以运行Kafka的版本,而这也被称为Kafka Raft Metadata mode(Kafka Raft 元数据模式),或许就是一个会被后人铭记的版本。
可能有一些刚接触Kafka的小伙伴还不明白这到底代表着什么。
Kafka的一大优点就是能够提供高效率和吞吐量,对先前刚接触的小伙伴来说,提交日志的底层实现往往是需要学习的第一个任务。
Kafka 的代码库中还有很大一部分是负责在多个集群中安排日志、分配领导权、处理故障等。这使的 Kafka 成为一个可靠和可信的分布式系统。而ZooKeeper就是分布式代码工作的关键。在以往的版本中,ZooKeeper 提供了权威的元数据存储,这些元数据存储了系统中最重要的东西,例如分区可以存在哪里,哪个组件是主导等等等等。
但不管怎么样,ZooKeeper 是一个基于一致日志的特殊文件系统/触发器API。而Kafka 是一个建立在一致日志之上的发布/订阅系统。
这个无法改变的现实使得实际使用中,运维人员需要跨两个日志实现、两个网络层和两个安全实现(每个实现都有不同的工具和监视钩子)对通信和性能进行调优、配置、监视、保护和评估,这就使得系统变得相当复杂!
所以和ZooKeeper的友好分手 短期可能会有阵痛,但对于Kafka的长远发展利大于弊。
除了和ZooKeeper分开,本次更新还新增了三个功能:
[KAFKA-10500]-添加API以启动和停止流线程
[KAFKA-10700]-支持使用SASL_SSL侦听器实现相互TLS身份验证
[KAFKA-10749]-通过连接速率添加IP限制
而优化及修改bug更是多达百个。
一些重要的更新例如:
[KAFKA-5488]-KStream.branch不应返回必须通过已知索引访问的流数组
[KAFKA-6687]-允许多次阅读主题
[KAFKA-6943]-如果任何线程崩溃,或者如果所有线程崩溃,可以选择干净地关闭KS
[KAFKA-9023]-生产者网络异常响应应记录更多信息
[KAFKA-12327]-删除CompressionType中的MethodHandle用法
[KAFKA-12365]-kip-500代理/控制器不支持块API(目前)
[KAFKA-12394]-考虑主题id存在和授权错误
[KAFKA-4748]-需要一种方法同时关闭Streams应用程序中的所有工作进程
[KAFKA-10722]-即使不需要,也使用时间戳存储
[KAFKA-10723]-LogManager在关闭期间泄漏内部线程池活动
如果对具体的更新内容感兴趣,可以直接登陆官网进行查看
北京云中融信网络科技有限公司(简称融云),是安全、可靠的全球互联网通信云服务商,向开发者和企业提供即时通讯和实时音视频通信云服务。iResearch 艾瑞权威数据报告显示,融云即时通讯云市场份额连续多年稳居头位。
融云构建了一张覆盖全球所有国家及地区(共 233 个)的通信云网络,在全球各地设立多个数据中心及数千个加速节点。基于客户业务需求,融云可提供多种部署模式——公有云、私有云、混合云,为全球企业提供稳定的互联网通信云服务。针对企业级用户,融云将业务垂直到各个行业,为社交、直播、金融、交通运输、教育、电商、医疗等多个行业领域推出了针对性解决方案。
融云基于海量业务的技术锤炼,从基础架构到精细化运营,充分体现平台实力;凭借卓越的产品和优质的服务,在开发者规模、行业覆盖率、平台日活跃用户数、日均消息量等方面超越全行业。目前,已有数十万互联网用户及上千家企业级用户通过融云实现了场景化沟通,并从中获益,包括工商银行、中国移动、四川航空、CCTV 微视、中联重科、58 赶集、大河报业、新东方、陆金所、融创地产、IDG、华兴资本、易车网、猪八戒、得到 APP、荔枝、汽车之家、哈啰出行、百姓网、StarMaker、Opera、Elelive。