使用shardingsphere实现mysql数据库分片

在大数据时代，随着业务数据量的不断增长，单一的数据库往往难以承载大规模的数据处理需求。数据库分片（Sharding）是一种有效的数据库扩展技术，通过将数据分布到多个数据库实例上，提高系统的性能和可扩展性。

ShardingSphere 是一款开源的分布式数据库中间件，可以帮助我们轻松实现数据库分片。

本文的目的是介绍如何快速上手使用 ShardingSphere 来实现 MySQL 数据库分片。

一、ShardingSphere 简介

ShardingSphere 是 Apache 基金会下的一个开源项目，提供分布式数据库中间件解决方案。ShardingSphere 已经在2020年4月16日从 Apache 孵化器毕业，成为 Apache 顶级项目。其主要功能包括数据分片（Sharding）、读写分离、分布式事务以及数据加密等。ShardingSphere 主要由三个核心组件组成：

  1. Sharding-JDBC：轻量级的 Java 框架，直接集成在应用程序中，提供数据库分片、读写分离等功能。需要在 spring boot 中集成，编写相关的配置。如果分片策略用默认的4种，那可以只改配置就好了。如果分片策略很特殊，可以通过实现抽象类，写自定义的方法进行分片分库。
  2. Sharding-Proxy：独立部署的数据库代理，支持所有兼容 MySQL、PostgreSQL 协议的客户端。原来程序连接到这个代理就可以实现分片和分库。程序不需要任何改变。
  3. Sharding-Sidecar（Plan）：云原生环境下的数据库代理，与 Kubernetes 等平台集成。

1.1 对比

Sharding-JDBCSharding-ProxySharding-Sidecar
数据库任意MySQL/PostgreSQLMySQL/PostgreSQL
连接消耗数高低高
异构语言仅Java任意任意
性能损耗低损耗略高损耗低
无中心化是否是
静态入口无有无

1.2 核心概念

分库分表中最重要的核心概念有两个，即路由键和分片算法，这两个将决定数据分片的位置，先稍微解释一下这两个概念：

  • 路由键：也被称为分片键，也就是作为数据分片的基准字段，可以是一个或多个字段组成。

  • 分片算法：基于路由键做一定逻辑处理，从而计算出一个最终节点位置的算法。

举个例子来感受一下，好比按 user_id 将用户表数据分片，每八百万条数据划分一张表，那在这里，user_id 就是路由键，而按user_id做范围判断则属于分片算法，一张表中的所有数据都会依据这两个基础，后续对所有的读写SQL进行改写，从而定位到具体的库、表位置。

在这里插入图片描述

在Sharding-Sphere这套技术中，无论是JDBC还是Proxy产品，工作的流程都遵循上述这个原则，里面除开上面介绍的路由键和分片算法的概念外，还有逻辑表、真实表、数据节点这三个概念：

  • 逻辑表：提供给应用程序操作的表名，程序可以像操作原本的单表一样，灵活的操作逻辑表。

  • 真实表：在各个数据库节点上真实存在的物理表，但表名一般都会和逻辑表存在偏差。

  • 数据节点：主要是用于定位具体真实表的库表名称，如DB1.tb_user1、DB2.tb_user2…

  • 均匀分布：指一张表的数量在每个数据源中都是一致的。

  • 自定义分布：指一张表在每个数据源中，具体的数量由自己来定义，上图就是一种自定义分布。

以 Java 程序为例，编写业务代码时写的 SQL 语句，会直接基于逻辑表进行操作，逻辑表并不是一种真实存在的表结构，而是提供给 Sharding-Sphere 使用的，当 Sharding-Sphere 接收到一条操作某张逻辑表的 SQL语句时，它会根据已配置好的路由键和分片算法，对相应的 SQL语句进行解析，然后计算出 SQL要落入的数据节点，最后再将语句发给具体的真实表上处理即可。

1.3 Sharding-Sphere中的表概念

除开上述的一些核心概念外，在Sharding-Sphere中为了解决某些问题，同时还有一些表概念，如广播表、绑定表、单表、动态表等，接着简单介绍一下这些概念。

1.3.1 绑定表

一般的项目基本上都会存在主外键，虽然不会在表上添加主外键约束，但也会从逻辑上保障主外键关系，但经过水平分库后，所有的读写操作会基于路由键去分片。

那此时以订单表、订单详情表为例，假设用户选择了三个购物车的商品提交订单，此时会产生

  • 一条订单记录
  • 以及对应的三条订单详情记录。

假设商品库有两个水平节点，两个商品库都具备订单表、订单详情表，而订单表的路由键是 order_id，订单详情表的路由键是 order_info_id ，数据分片的路由算法为取模，那此时数据的落库情况为：

  • 订单详情2数据落入 DB0 商品库中。
  • 订单详情1、详情3数据落入 DB1 商品库中。

但此时订单表和订单详情表的数据是存在外键关系的，如果按照上述的路由方式去对数据做分片，最终就会导致通过 order_id=1 的订单 ID 查询订单详情时，只能在 DB1 中查询到两条订单详情数据，这个问题显然是业务上无法接受的。通常我们会将这两张表配置为绑定表，以确保它们在同一个分片中，从而优化订单相关的联表查询操作。

1.3.2 广播表

广播表是指在所有分片数据源中都存在的一张表，且数据内容完全相同。这种表通常用于存储一些公共的、全局性的数据，比如系统配置、国家代码等。由于广播表的数据是全局一致的，当有更新操作时，需要将变更同步到所有的分片数据源中。

  1. 在不同的库需要数据的表中冗余字段，把常用的字段放到需要要数据的表中，避免跨库连表。
  2. 选择同步数据，通过广播表/网络表/全局表将对应的表数据直接完全同步一份到相应库中。
  3. 在设计库表拆分时创建 ER 绑定表，具备主外键的表放在一个库，保证数据落到同一数据库
  4. Java 系统中组装数据，通过调用对方服务接口的形式获取数据，然后在程序中组装后返回

这四种方案都能够解决需要跨库 Join 的问题，但第二种方案提到了广播表/网络表/全局表似乎之前没听说过对嘛，这其实是分库分表中的名词。场景：假设有一个 t_country 表，存储国家和地区的信息，这些信息在整个系统中是统一的，因此可以将 t_country 作为广播表，在所有数据库实例中都保存一份副本。

但往往垂直分库的场景中，第四种方案是最常用的，因为分库分表的项目中，Java 业务系统那边也绝对采用了分布式架构，因此通过调用对端 API 接口来获取数据，是分布式系统最为常见的一种现象。

1.3.3 单表

单表的含义比较简单，并非所有的表都需要做分库分表操作，所以当一张表的数据无需分片到多个数据源中时，就可将其配置为单表，这样所有的读写操作最终都会落入这一张单表中处理。

二、ShardingSphere-JDBC

Sharding-JDBC是 ShardingSphere 的第一个产品，也是 ShardingSphere 的前身。 它定位为轻量级 Java 框架，在 Java 的 JDBC层提供的额外服务。它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。

Apache ShardingSphere-JDBC 可以通过Java 和 YAML 这 2 种方式进行配置，开发者可根据场景选择适合的配置方式。

2.2 原理

Sharding-JDBC 中的路由结果是通过分片字段和分片方法来确定的,如果查询条件中有 id 字段的情况还好，查询将会落到某个具体的分片

如果查询没有分片的字段，会向所有的db或者是表都会查询一遍，让后封装结果集给客户端。

在这里插入图片描述

接下来会搭建一个简单的SpringBoot+MyBatis项目，结合Sharding-Sphere-JDBC实现水平分库~

spring boot整合

<!-- 分表分库依赖 -->
<dependency><groupId>org.apache.shardingsphere</groupId><artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId><version>5.2.1</version>
</dependency>

数据库

接着先在数据库中创建db_sharding_01、db_sharding_02两个库，我这里用伪集群的方式搭建水平库，毕竟线上只需要把数据库地址改为不同的机器IP即可

接着分别再在两个水平库中，创建用户表、订单表、订单详情表、商品表（两张），这四张表是接下来用于测试的表，SQL如下：

drop table if exists `user_info`;
create table `user_info`  (`user_id` bigint not null comment '用戶id',`user_name` varchar(255) comment '用戶姓名',`user_sex` varchar(255) comment '用戶性別',`user_age` int(8) not null comment '用戶年齡',primary key (`user_id`) using btree
)
engine = InnoDB
character set = utf8
collate = utf8_general_ci 
row_format = compact;drop table if exists `shoping_00`;
create table `shoping_00`  (`shoping_id` bigint not null comment '商品id',`shoping_name` varchar(255) comment '商品名称',`shoping_price` int(8) not null comment '商品价格',primary key (`shoping_id`) using btree
)
engine = InnoDB
character set = utf8
collate = utf8_general_ci 
row_format = compact;drop table if exists `shoping_01`;
create table `shoping_01`  (`shoping_id` bigint not null comment '商品id',`shoping_name` varchar(255) comment '商品名称',`shoping_price` int(8) not null comment '商品价格',primary key (`shoping_id`) using btree
)
engine = InnoDB
character set = utf8
collate = utf8_general_ci 
row_format = compact;drop table if exists `order`;
create table `order`  (`order_id` bigint not null comment  '订单号',`order_price` int(8) not null comment '订单总金额',`user_id` bigint not null comment '用戶id',primary key (`order_id`) using btree
) 
engine = InnoDB
character set = utf8
collate = utf8_general_ci 
row_format = compact;drop table if exists `order_info`;
create table `order_info`  (`order_info_id` bigint not null comment  '订单详情号',`order_id`  bigint not null comment '订单号',`shoping_name` varchar(255)  comment '商品名称',`shoping_price` int(8) not null comment '商品价格',primary key (`order_info_id`) using btree,index `key_order_id`(`order_id`) using btree
)
engine = InnoDB
character set = utf8
collate = utf8_general_ci 
row_format = compact;

分库分表的核心配置

Sharding-Sphere的所有产品对业务代码都是零侵入的，无论是Sharding-JDBC也好，Sharding-Proxy也罢，都不需要更改业务代码，这也就意味着大家在分库分表环境下做业务开发时，可以像传统的单库开发一样轻松，Sharding-Sphere中最主要的是对配置文件的更改，Sharding-JDBC主要修改application.properties/yml文件，Sharding-Proxy主要修改自身的配置文件。

多数据源配置

spring:shardingsphere:mode:type: Standalonerepository:type: JDBCdatasource:names: ds0,ds1ds0:type: com.alibaba.druid.pool.DruidDataSourcedriver-class-name: com.mysql.jdbc.Driverurl: 「数据库节点1的地址」username: 「数据库节点1的账号」password: 「数据库节点1的密码」ds1:type: com.alibaba.druid.pool.DruidDataSourcedriver-class-name: com.mysql.jdbc.Driverurl: 「数据库节点2的地址」username: 「数据库节点1的账号」password: 「数据库节点1的密码」

上述这组配置中，需要通过names配置多个数据源的别名，接着需要为每个别名配置对应的数据源信息，按照上述方式编写好配置文件后，则表示完成了多数据源的配置。

多数据源可用性测试

为了确保多数据源的可用性，接着先简单配置一张表：

spring:shardingsphere:props:sql-show: truerules:sharding:tables:shoping:actual-data-nodes: ds0.shoping_00

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/1547084.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

【JavaEE】数据链路层协议和DNS

【JavaEE】数据链路层协议和DNS

&#x1f525;个人主页&#xff1a; 中草药 &#x1f525;专栏&#xff1a;【Java】登神长阶 史诗般的Java成神之路 &#x1f45c;一.以太网 以太网&#xff08;Ethernet&#xff09;是一种局域网技术&#xff0c;它定义了开放系统互连&#xff08;OSI&#xff09;模型中的物理…
阅读更多...
基于AWR1642 讲解TI毫米波雷达开发环境搭建

基于AWR1642 讲解TI毫米波雷达开发环境搭建

文章内容同步发布在公众号&#xff08;雷达原理与系统&#xff09;,欢迎关注交流~ 这是第三篇文章&#xff0c;上一篇文章介绍了“TI官方资源介绍和使用”&#xff0c;感兴趣的可以去参考一下。本篇内容打算介绍基于AWR1642讲解TI毫米波雷达开发环境搭建&#xff0c;包括常用的…
阅读更多...
会员业务出口网关的设计与实现

会员业务出口网关的设计与实现

01# 背景介绍 1.1 出口网关是什么 出口网关&#xff08;Egress Gateway&#xff09;是一种部署在云或企业网络中的网络组件&#xff0c;它控制着从内部网络&#xff08;如企业内网、内部微服务网络&#xff09;流出到外部网络&#xff08;如公共互联网或其他外部服务&#xf…
阅读更多...
宠物浮毛难清理，希喂、小米、美的宠物空气净化器该选哪款？

宠物浮毛难清理，希喂、小米、美的宠物空气净化器该选哪款？

养猫养出病来说的就是我了。 养猫之前幻想的一人一猫幸福生活还没一个月&#xff0c;我就进了医院。我自认为是很爱干净的人&#xff0c;养猫后打扫得更勤快了&#xff0c;早晚都给猫咪梳毛。平时卫生也没少搞&#xff0c;家里也是很干净的&#xff0c;实在不明白为什么会过敏…
阅读更多...
点赞10万+，1分钟教会你，用AI生成的宠物带娃视频

点赞10万+，1分钟教会你，用AI生成的宠物带娃视频

今天刷到了这样的宠物带娃视频&#xff0c;最近这种视频爆火&#xff0c;出现了很多爆款&#xff0c;今天就拆解一下&#xff0c;教大家学会这种视频用AI如何生成。 我们先看一下这类视频的数据&#xff0c;很多账号都在做&#xff0c;对于不了解AI的人来说&#xff0c;会觉得…
阅读更多...
1小时极限速通MC局域网联机：PCL2 + Zerotier局域网联机方案

1小时极限速通MC局域网联机：PCL2 + Zerotier局域网联机方案

目录 前言 你需要在开始之前做什么&#xff1f; 你需要什么 你需要下载什么 谁&#xff0c;需要做什么&#xff1f; STEP I&#xff1a;创建/加入一个子网 创建一个子网&#xff08;子网的维护者做&#xff09; 加入一个子网&#xff08;其他人做&#xff09; 现在... …
阅读更多...
论文笔记：基于共注意网络的多模态假新闻检测

论文笔记：基于共注意网络的多模态假新闻检测

整理了AAAI2023 Multimodal Fusion with Co-Attention Networks for Fake News Detection&#xff09;论文的阅读笔记 背景模型MCAN框架特征提取特征融合 实验主实验消融实验可视化 背景 具有文字和视觉内容的假新闻具有更好的讲故事能力&#xff0c;人们很容易被这样的假新闻欺…
阅读更多...
python 图片加文字 文字自动上下左右居中 自动换行居中对齐

python 图片加文字 文字自动上下左右居中 自动换行居中对齐

一.实现效果展示 二.代码 # -*- coding: utf-8 -*- # Time : 2024/9/26 17:22 # Author : Cocktail_pyfrom PIL import Image, ImageFont, ImageDrawdef split_string(s, num_parts):length len(s)chunk_size length // num_partsremainder length % num_partsparts […
阅读更多...
新能源背景下，电瓶车充电现状的分析及管理方案

新能源背景下，电瓶车充电现状的分析及管理方案

【摘要】&#xff1a;在新能源日益普及的背景下&#xff0c;社会安全问题显得尤为突出。以电瓶车为例&#xff0c;其户外停放难、充电难的问题愈发凸显&#xff0c;成为社会各界关注的焦点。尤其是“飞线充电”和“楼道充电”等不规范行为&#xff0c;更是屡见不鲜&#xff0c;…
阅读更多...
脚手架是什么?详细版＋通俗易懂版!!!!!!

脚手架是什么?详细版＋通俗易懂版!!!!!!

脚手架&#xff08;Scaffolding&#xff09;在软件开发领域&#xff0c;特别是在前端开发和全栈开发环境中&#xff0c;是一个术语&#xff0c;用来描述一个辅助工具或框架&#xff0c;它旨在帮助开发者快速搭建项目的基础结构和开发环境。这些基础结构可能包括项目的目录结构、…
阅读更多...
Halcon基础系列1-基础算子

Halcon基础系列1-基础算子

1 窗口介绍 打开Halcon 的主界面主要有图形窗口、算子窗口、变量窗口和程序窗口&#xff0c;可拖动调整位置&#xff0c;关闭后可在窗口下拉选项中找到。 2 显示操作 关闭-dev_close_window() 打开-dev_open_window (0, 0, 712, 512, black, WindowHandle) 显示-dev_display(…
阅读更多...
图片转字符画

图片转字符画

在Github上看到的一个有趣的开源项目&#xff0c;实现将图片转换为字符画&#xff0c;这样&#xff0c;不能贴图片的场景下可以用字符画替代。 Github演示地址&#xff1a; https://505e06b2.github.io/Image-to-Braille/ Github源码下载地址&#xff1a; https://github.c…
阅读更多...
【C++与数据结构】搜索二叉树（BinarySearchTree）

【C++与数据结构】搜索二叉树（BinarySearchTree）

一、概念&#xff1a; 二叉搜索树又称为二叉排序树&#xff0c;因为它具有以下性质&#xff1a; 1、如果二叉树的左子树不为空&#xff0c;那么它左子树的任意一个节点的值都小于根节点。 2、如果二叉树的右子树不为空&#xff0c;那么它右子树的任意一个节点的值都大于根节点。…
阅读更多...
C++类和对象第一关

C++类和对象第一关

一&#xff1a;类的定义 &#xff08;一&#xff09;类的定义 &#xff08;1&#xff09;类的定义格式&#xff1a; class name{ // 类成员变量 // 类方法&#xff08;函数&#xff09; }; class是定义类的关键字&#xff0c;name为定义的类的名字&#xff0c;后面的花括号…
阅读更多...
助力降本增效，ByteHouse打造新一代云原生数据仓库

助力降本增效，ByteHouse打造新一代云原生数据仓库

随着数据量的爆炸式增长、企业上云速度加快以及数据实时性需求加强&#xff0c;云原生数仓市场迎来了快速发展机遇。 据 IDC、Gartner 研究机构数据显示&#xff0c;到 2025 年&#xff0c;企业 50% 数据预计为云存储&#xff0c;75% 数据库都将运行在云上&#xff0c;全球数据…
阅读更多...
DK5V100R10SL贴片TO252功率12V4.3A同步整流芯片

DK5V100R10SL贴片TO252功率12V4.3A同步整流芯片

概述DK5V100R10SL是一款简单高效率的同步整流芯片&#xff0c;只有A&#xff0c;K两个功能引脚&#xff0c;分别对应肖特基二极管PN管脚。芯片内部集成了100V功率NMOS管&#xff0c;可以大幅降低二极管导通损耗&#xff0c;提高整机效率&#xff0c;取代或替换目前市场上等规的…
阅读更多...
c++292模板

c++292模板

重载
阅读更多...
双十一数码产品有哪些? 2024年度双十一数码好物推荐

双十一数码产品有哪些? 2024年度双十一数码好物推荐

每年双十一来临都是更新手机、平板或者电脑、耳机的绝佳时机。年末也让一年来发布的新机器有了更大的优惠空间再加上平台补贴&#xff0c;绝对是实打实的划算。今天给大家总结了几款双十一价格刷新新低的数码好物&#xff0c;真的要看过再下单&#xff0c;不然买贵就吃亏了。 …
阅读更多...
UGUI动态元素大小的滑动无限列表

UGUI动态元素大小的滑动无限列表

效果与使用说明 效果 可以滑动无限列表&#xff08;严格来说也和常规的不太一样&#xff09;可以通过曲线调整元素大小 使用说明 列表元素位于脚本挂载处的直接子级最大的元素位于脚本挂载元素的pivot处水平列表的对齐依据是所有元素pivot都在一条线上默认在最左侧和最右侧元…
阅读更多...
kafka下载配置

kafka下载配置

下载安装 参开kafka社区 zookeeperkafka消息队列群集部署https://apache.csdn.net/66c958fb10164416336632c3.html 下载 kafka_2.12-3.2.0安装包快速下载地址分享 官网下载链接地址&#xff1a; 官网下载地址&#xff1a;https://kafka.apache.org/downloads 官网呢下载慢…
阅读更多...
最新文章

Copyright @ 2022~2023