伊宁市住房与城乡建设局网站自己做视频网站

伊宁市住房与城乡建设局网站,自己做视频网站,做网站心得体会,济宁创企网络技术有限公司1 基于HW同步机制 在 0.11.0.0 版本之前#xff0c; Kafka使用的是基于HW的同步机制#xff0c;这种会在故障恢复时出现数据丢失和数据不一致的情况。 示例#xff1a; 请看Kafka可靠性之HW与Leader Epoch 中的 HW机制之丢失消息 和 HW机制之数据不一致 两部分。 补充: …1 基于HW同步机制在 0.11.0.0 版本之前 Kafka使用的是基于HW的同步机制这种会在故障恢复时出现数据丢失和数据不一致的情况。示例请看Kafka可靠性之HW与Leader Epoch 中的HW机制之丢失消息和HW机制之数据不一致两部分。补充:要想理解为什么会出现数据丢失和数据不一致对基于hw截断的理解 很重要主要要理解在出现故障恢复后是怎么截断的其实对于截断并没有什么特别的机制只是关键在于在故障恢复后继续 follower基于HW同步机制同步leader的消息follower发送fetch[包含leo]请求给leaderleader计算HWmin(leader_LEOfollower1_leader,…)此处假设只有一个follower然后leader响应给follower然后follower拿到leader响应的HW后基于此HW进行后边的消息同步即如果follower原来的LEOHW因为此时是从HW开始同步的对于follower的原始消息来说就相当于截断了HW后原来的消息。2 epoch机制为了解决故障恢复时基于 HW同步机制 出现的数据丢失和数据不一致的情况 0.11.0.0 版本加入了epoch机制。epoch机制请看Kafka可靠性之HW与Leader Epoch 中的leader epoch 方案部分。