MySQL如何保证主备一致?_mysql是怎么保证主备一致的-程序员宅基地

技术标签: MySQL实战45讲笔记  mysql  数据库  

1. MySQL主备的基本原理

如下图展示的是基本的主备切换流程:
在这里插入图片描述

在状态1中,主库是A,备库是B,所以客户端的读写都直接方法节点A。由于节点B是节点A的备库,所以备库B只是将A的更新都同步过来,本地执行,这样可以保证节点B和节点A的数据一致性。

如果发生主备切换,就会从状态1变成状态2,节点A成为备库,节点B成为主库。

在状态1中,虽然节点B没有被客户端直接方法,但是还是建议将节点B(备库)设置成只读(readonly)模式,主要有以下几个理由:

  1. 避免某些服务访问了备库,造成误操作;
  2. 防止切换逻辑有bug,比如切换过程中出现双写,造成主备不一致;
  3. 可以用readonly状态,来判断节点的角色;

注意:readonly对于超级管理员是无效的,而用于同步更新的线程,就拥有超级权限,所以是可以修改备库的。

接下来我们看下节点A到节点B的流程图:
在这里插入图片描述

实际上备库B和主库A之间维持了个长连接,主库A中有一个线程(dump_thread),专门用于服务和备库B的长连接。日志同步的完整过程如下:

  1. 在备库B上通过change master命令,设置主库A的相关信息,以及要从哪个位置开始请求binlog;
  2. 在备库B上执行start slave命令,备库会启动两个线程,即io_thread和sql_thread,其中io_thread负责与主库通信;
  3. 主库A校验完信息后,根据备库B转过来的位置,本地读取binlog,传递给B;
  4. 备库拿到binlog后,写到本地文件,称为中转日志(relay log);
  5. sql_thread读取中转日志,解析出命令并执行;

2. binlog的三种格式

binlog的格式实际上由两种格式,一种是statement,一种是row。此外还有一种mixed格式,实际上是前两种的混合。

为了方便解释几种日志格式的区别,我们创建一个表并写入些数据。

mysql> create table t(
    id int(11) not null,
    a int(11) default null,
    t_modified timestamp not null default current_timestamp,
    primary key (id),
    key a(a),
    key t_modified (t_modified)
)ENGINE=InnoDB;

insert into t values(1,1,'2018-11-13')
insert into t values(2,2,'2018-11-12')
insert into t values(3,3,'2018-11-11')
insert into t values(4,4,'2018-11-10')
insert into t values(5,5,'2018-11-09')

然后,我们对于这个表执行delete语句:

mysql>delete from t /*comment*/ where a>=4 and t_modified <='2018-11-10' limit 1;

我们可以使用下面的命令来查看binlog中的内容:

mysql> show binlog events in 'master.000001'

可以看到,当binlog_format=statement时,binlog里面记录的就是sql原文
在这里插入图片描述

为了比较statment和row的区别,我们看下这条delete语句的执行图:
在这里插入图片描述

从图上可以看到,运行过程中产生了一个warnings,原因是binlog设置的格式时statement,并且语句中有limit,所以时unsafe的。那为什么说是unsafe呢?

  • 如果delete语句使用的是索引a,那么会根据索引a找到第一个满足条件的行,也就是a=4这一行。
  • 如何delete语句使用的是索引t_modified,那么删除的就是a=5这一行。

所以使用statement可能会造成主备不一致的情况。如果在主库和备库中执行这条SQL语句,走的索引不一样,就会出现数据不一致性。

我们接下来再看binlog_format=row的情况,下面是binlog中的内容:
在这里插入图片描述

从图上可以看到,row格式的binlog没有写SQL语句的原文,而是替换成了两个event

  • Table_map event:说明要操作的表是test库的表t;
  • Delete_rows event:定义删除哪一行

上面实际上是没有完全显示信息的,可以借助mysqlbinlog工具查看详细信息:
在这里插入图片描述

所以,当binlog_format=row时,binlog记录了真实删除行的主键id,这样即使在备库中,也是删除这一行,不会出现主备不一致的情况。

3. 为什么会有mixd格式的binlog?

从上面的描述中,我们可以很清楚地看到statement和row格式的优缺点:

  • statement:格式节省空间,只需要记录sql语句。但是可能会出现主备不一致的情况;
  • row:不会出现主备不一致的情况。但是格式十分消耗空间,需要记录所有修改的行。

mixed格式的意思是,MySQL会自己判断这条SQL语句是否可能引起主备不一致,如果有可能,就用row格式,否则就用statement格式

所以线上的场景,设置为statement格式肯定是不合理的,至少要设置成mixed格式。

实际上,现在越来越多都是使用row格式,其中一个好处就是恢复数据

  • 当执行delete语句后,发现误删了,直接将binlog中的信息,转换成insert语句插入即可
  • 当执行insert语句后,发现错误插入了,直接将binlog中的信息,转换成delete语句插入即可
  • 如果执行的是update语句,binlog会记录修改前后的信息,方面恢复

4. 循环复制问题

刚才介绍的是M-S结构,现在用的比较多的是双M结构,如下图:
在这里插入图片描述

这个和M-S结构的区别在于,节点A和节点B之间互为主备关系。这种架构有个问题:当节点A更新了数据,写入binlog_A,然后传给节点B,节点B也会执行更新,写入binlog_B。然后由于节点B更新了,节点A又会去执行节点B的更新,就造成一个死循环的情况。

为了避免这种情况,MySQL在binlog中记录了这个命令第一次执行时所在实例的server id

  1. 规定两个库的server id必须不同,如果相同,不能互为主备;
  2. 一个备库接到binlog进行重放的时候,生成与原binlog的server id相同的新binlog;
  3. 每个库在收到从自己的主库发过来的日志后,先判断server id,如果和自己相同,说明时自己第一次生成的,就直接丢弃这个日志。

来源:自己整理的MySQL实战45讲笔记

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_41799019/article/details/128039578

智能推荐

Kafka基础-原理、运维与开发_kafka、zookeeper运维-程序员宅基地

文章浏览阅读1k次。文章目录1.kafka基本原理1.1 消息系统的作用1.2 kafka核心概念1.3 kafka集群架构1.4 kafka高性能高可用原理2.kafka运维实战2.1 kafka生产集群部署方案2.2 kafka常用命2.3 kafka监控-Kafkamanager3.kafka开发实战3.1 kafka生产者3.1.1 生产者发消息原理3.1.2 生产者demo代码3.1.3 生产者核心参数3.2 kafka消费者3.2.1 消费者消费几个重要概念3.2.2 消费者demo代码3.2.3 消费者重要参数_kafka、zookeeper运维

Yii2.0框架学习笔记_yii后台 记录哪张表哪条数据-程序员宅基地

文章浏览阅读432次。1、Yii框架工作流程(MVC文件后缀都是php):models文件夹下建模型,写AR类、对应数据库相关表、定义属性标签、写验证规则、保存表之前调用的方式,用于保存非表单获取的默认数据(如添加数据的时间等,此步如不需要可省略)->controllers文件夹下建控制器、写保存表单的动作->views文件夹下建模板,动态显示视图。2、YII中各种类模型中添加:use yii\ba..._yii后台 记录哪张表哪条数据

NLP实战之BERTopic主题分析-程序员宅基地

文章浏览阅读9.3k次,点赞26次,收藏140次。BERTopic是一种结合了预训练模型BERT和主题建模的强大工具。它允许我们将大规模文本数据集中的文档映射到主题空间,并自动识别潜在的主题。它背后的核心思想是通过BERT模型来捕获文档的语义信息,并然后使用主题建模技术来对这些语义信息进行聚类,从而得出主题。对于大部分小伙伴而言,知道如何去使用BERTopic模型进行主题分析就足够了。所以BERTopic原理就不做过多解释了,感兴趣的小伙伴可以自己去了解一下。BERTopic是一种强大的主题分析工具,它能够自动识别文本数据中的主题,而无需预先定义主题数。_bertopic

idea运行tomcat过程中 中文变����_tomcat 运行-程序员宅基地

文章浏览阅读2.6k次。**需要配置一下tomcat编码**-Dfile.encoding=UTF-8_tomcat 运行

[TI TDA4 J721E]TIOVX OpenVX 框架下Kernel注册/Node使用_vxloadkernels-程序员宅基地

文章浏览阅读4k次,点赞11次,收藏27次。使用Python脚本生成步骤参照上一篇内容。[TI TDA4] TIOVX OpenVX框架下的Python脚本使用此处以TI 官方提供的Demo为例。~/vision_apps/apps/dl_demos/app_tidl_od一、host端注册调用链如下:main->app_tidl_od_main->app_init->tivxMytiovxLoadKernels tivxMytiovxLoadKernels函数位于~/vision_apps/k....._vxloadkernels

我的15年操作系统开源路——RT-Thread 创始人熊谱翔-程序员宅基地

文章浏览阅读401次。作者 | 熊谱翔出品 | 《程序员》编辑部放眼全球操作系统市场,从广泛角度来看,可以将其分为三大板块:其一,桌面/PC 端微软打造的 Windows(桌面数字化);其二,手机移动端的苹果..._rtthread 什么时候出来的

随便推点

外观模式实例-智能手机一键备份_某软件公司为新开发的智能手机控制与管理软件提供了一键备份功能,通过该功能可以-程序员宅基地

文章浏览阅读2.2k次,点赞7次,收藏40次。外观模式实例问题描述结构图编程实现需要交互的类Facade类客户端问题描述某软件公司为新开发的智能手机控制与管理软件提供一键备份功能,通过该功能可以将原本存储在手机中的通讯录、短信、照片、音乐等资料一次性拷贝到移动存储介质中(例如:SD卡)中。在实现过程中需要与多个已有的类进行交互,如通讯录管理类、短信管理类。结构图编程实现需要交互的类public class ContactsManager { private String contacts; public Contacts_某软件公司为新开发的智能手机控制与管理软件提供了一键备份功能,通过该功能可以

走出MFC子类化的迷宫_vs怎么用mfc画出迷宫-程序员宅基地

文章浏览阅读1k次。本文转自:http://www.99inf.net/SoftwareDev/VC/22322.htmWindows给我们或是说给它自己定义了许多丰富的通用控件,如:Edit、ComboBox 、ListBox……等,这些控件功能丰富,能为我们开发工作带来极大方面,试想:我们单单是自己实现一个EDIT控件是多么的艰难!但是,在实际开发中还是有些情况这些标准控件也无能为力,比如:在我们的应用中要求_vs怎么用mfc画出迷宫

【矩阵学习】Jacobian矩阵和Hessian矩阵_海森矩阵判断是否为驻点-程序员宅基地

文章浏览阅读6.4k次,点赞5次,收藏42次。【矩阵学习】Jacobian矩阵和Hessian矩阵Jacobian 矩阵Jacobian 行列式功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchar..._海森矩阵判断是否为驻点

回顾HTTP协议和报文_协议报文和数据报文的区别-程序员宅基地

文章浏览阅读487次。计算机网络这门课是在大二上的时候是作为主修课,当然上这门课的时候有点划水了。后来接触到校招这方面,下定决心恶补计算机网络这方面的知识,就买了一本《计算机网络:自顶向下的方法》研习。如果不想读谢希仁那版书(毕竟晦涩难懂),又想比较系统的了解计算机网络这方面知识,这本书真的非常推荐。划重点:简单回顾一下HTTP及其报文。1、什么是HTTP协议?HTTP 超文本传输协议 (HTTP-Hypertext transfer protocol),是一个属于应用层的面向对象的协议,由于其简捷、快速的方式,适用_协议报文和数据报文的区别

Flash / Flex Tutorial - How to Create a crossdomain.xml file-程序员宅基地

文章浏览阅读535次。Flash / Flex Tutorial - How to Create a crossdomain.xml file.This brief tutorial will teach you how to create a crossdomain.xml file so that you can access files and information from outside domains

Redis Sentinel机制与用法[转]_sentinel: redis://10.43.19.251:26379 频繁 added down-程序员宅基地

文章浏览阅读1.3k次。Redis Sentinel 机制与用法(一)概述Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端)都没有实现自动进行主备切换,而Redis-sentinel本身也是一个独立运行的进程,它能监控多个master-slave集群,发现master宕机后能进行自动_sentinel: redis://10.43.19.251:26379 频繁 added down

推荐文章

热门文章

相关标签