TiDB Binlog 组件用于收集 TiDB 的 binlog,并准实时同步给下游,如:TiDB/MySQL等。该组件在功能上类似于 MySQL 的主从复制,会收集各个 TiDB 实例产生的 binlog,并按事务提交的时间排序,全局有序的将数据同步至下游。利用 TiDB Binlog 可以实现数据准实时同步到其他数据库,以及 TiDB 数据准实时的备份与恢复。TiDB Binlog 作为 TiDB 的核心组件之一,已经在上百家用户的生产环境中长时间稳定运行。

为方便用户和开发者更加深入理解和使用 TiDB Binlog 组件,以及基于 TiDB Binlog 组件做二次开发用于更多的业务场景, TiDB 团队决定于 2019 年 5 月 6 日正式开源 TiDB Binlog 组件。

TiDB Binlog 适用的功能场景

准实时数据同步:同步 TiDB 数据到其他数据库或消息队列(如 TiDB/MySQL/MariaDB/Kafka)

准实时备份和恢复:增量备份 TiDB 集群数据到外部系统,利用备份的数据在系统故障或者其他场景时可将数据恢复到任意时间点

TiDB Binlog 架构

TiDB Binlog 核心特性

支持类似 MySQL ROW 复制模式 准实时并按事务提交的时间顺序将数据同步至下游 分布式架构设计,支持水平弹性扩容和服务高可用 数据高可靠,系统实时将数据持久化到本地磁盘 支持多种输出方式,如下:

文件:系统准实时将 binlog 写入文件系统作为增量备份,利用此增量备份文件可将数据恢复到任意时间点

消息队列:按照 binlog slave protocol 输出到 Kafka 下游目标数据库:TiDB/MySQL/MariaDB

相关阅读:

北京通信管理局将百度列入电信业务黑名单 并罚款两万元

将数据捕获功能移至云端的五个原因

Kafka作为大数据的核心技术,你了解多少?

凡本网注明来源非中国IDC圈的作品,均转载自其它媒体,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2019-04-30 18:55:45
云技术 Open Infrastructure Summit 2019:成功的开源范式如何炼就?
“开源不是营销手段,也不是某种商业模式,而是一种创新理念。”当OpenStack基金会创始人、执行董事Jonathan Bryce在Open Infrastructure Summit的舞台上,讲述OpenStack社 <详情>
2019-04-19 15:54:00
云技术 开源如何在云中生存
在过去的十年中,从Linux和MySQL到Kubernetes、Spark、Presto和MongoDB,开源一直是云计算技术创新的支柱。但最近的发展已经给开源背后的商业模式蒙上了一层阴影,业界现在 <详情>
2019-04-16 17:12:38
云技术 开源社区背后的故事 OpenStack在中国加速奔跑
61亿美元,这是2018年OpenStack的商业市场规模(IDC数据),增速喜人且足够亮眼。自2010年面世以来,OpenStack已成为最受关注的开源技术之一,在中国市场更是推动了云计算 <详情>
2019-04-16 16:05:44
云技术 从“吸血鬼”AWS说起,开源如何破局?
过去十年间,从Linux和MySQL到Kubernetes、Spark、PrestoMongoDB,开源一直是云创新的支柱。但从最近的发展来看,开源的商业模式似乎蒙上了一层阴影。 <详情>
2019-04-12 15:38:00
市场情报 本土开源的力量!OSCAR开源先锋日深圳圆满举办
聆听中国开源最强音,腾讯、华为、滴滴、蚂蚁金服、360、唯品会等国内名企齐聚深圳,万众期待的 OSCAR 开源先锋日终于到来啦! <详情>