解析MySQL8.x binlog错位了，差点裂开了！！
大家好，我是冰河~~
MySQL是互联网行业使用的最多的关系型数据库之一，而且MySQL又是开源的，对于MySQL的深入研究，能够加深我们对于数据库原理的理解。自从开源了mykit-data之后，不少小伙伴试用后，反馈mykit-data无法正确的解析MySQL8的binlog。于是我测试了下，mykit-data在解析MySQL5.x的binlog时，没有啥问题，能够正确的解析出结果数据。然而，在解析MySQL8.x的binlog时，总是与binlog日志位数相差12位而导致解析失败。
文章已收录到：
https://github.com/sunshinelyz/technology-binghe
https://gitee.com/binghe001/technology-binghe
问题修复
今天太晚了，我还在研究MySQL 8.0.20的源码，问题的修复过程后续再写一篇详细的文章来与小伙伴们分享下。这里，我就直接说我是如何解决这个问题的。
MySQL5.x binlog的解析结果与MySQL8.x binlog的解析结果总是存在位数偏差，框架原本的代码直接解析MySQL 5.x是没啥问题的，在解析MySQL 8.x的时候出现位数错误。
期间，我几乎翻阅了MySQL的所有官方文档，把mykit-data中关于解析binlog日志的功能重新写了一遍，解析MySQL5.x没问题，解析MySQL8.x还是错位。
到底哪里出了问题呢？就在对于问题的解决一筹莫展的时候，突然，想到一个思路：解决MySQL8.x binlog的时候不是总错位吗？那我就把多余位数的binlog数据读取出来，直接忽略掉，使后续binlog的解析操作对齐不就行了吗？
赶紧尝试一下，于是我在mykit-data框架的源码中，添加了如下代码。
上面代码是对解析MySQL binlog位数的校验和读取的封装，当读取的binlog位数未达到读取的限制位数时，一直读取binlog的数据，直到读取的binlog位数达到读取的限制位数位置。具体内部的逻辑，小伙伴们可以阅读mykit-data的源码。
加上这个逻辑后，进行测试验证，解析MySQL 8.x数据库的binlog竟然成功了！！困扰我几天的问题就这么在不经意间解决了！！
从解决这个问题的结果来看，MySQL8.x的binlog在本质上比MySQL5.x的binlog位数要长，中间会拼接用来分隔不同事件位的标识，我们在解析MySQL8.x的binlog日志时，可直接忽略掉这些分隔不同事件位的标识，目的就是让binlog的解析位对齐，从而能够正确的解析出下一个事件。而这样处理，也不会影响解析结果。
很多时候就是这样，当你苦于解决某个问题，迟迟找不到解决方案而一筹莫展时，在某个不经意的瞬间，就会无意中解决这个棘手的问题，但前提是你需要深刻理解它的原理并尝试各种方式和方法来解决它！
关于mykit-data
mykit-data是一款完全开源的数据异构中间件，支持插件化、可视化的数据异构框架，支持MySQL到MySQL、MySQL到Oracle、Oracle到MySQL、Oracle到Oracle的全量、实时/定时增量数据同步。完全的插件化、可视化操作。通过日志最大限度的避免同步过程中的数据丢失。支持失败重试，人工干预，支持查看同步的数据和详细的日志信息，目前已有30多家公司将mykit-data应用于生产环境，支撑着其核心业务数据的实时与定时同步，并经受住了高并发、大流量的考验。
mykit-data框架目前支持MySQL5.x、MySQL8.x，Oracle 11g及以上版本。后续会以插件的形式支持更多的异构数据源。
mykit-data的开源地址如下：
GitHub：https://github.com/sunshinelyz/mykit-data
Gitee：https://gitee.com/binghe001/mykit-data
最后，小伙伴们为这款开源项目点个Star呀！！
好了，今天就到这儿吧，我是冰河，大家有啥问题可以在下方留言，也可以加我微信：sun_shine_lyz，一起交流技术，一起进阶，一起进大厂~~
领取电子书
关注 冰河技术 微信公众号：
回复 “并发编程” 领取《深入理解高并发编程（第1版）》电子书。
回复 “并发源码” 领取《并发编程核心知识（源码分析篇 第1版）》电子书。
回复 ”限流“ 领取《亿级流量下的分布式解决方案》电子书。
回复 “设计模式” 领取《深入浅出Java23种设计模式》电子书。
回复 “Java8新特性” 领取 《Java8新特性教程》电子书。
回复 “分布式存储” 领取《跟冰河学习分布式存储技术》 电子书。
回复 “Nginx” 领取《跟冰河学习Nginx技术》电子书。
回复 “互联网工程” 领取《跟冰河学习互联网工程技术》电子书。