当前位置： 首页 > news >正文

Sharding-Sphere学习专题（四）广播表和绑定表、分片审计

news 2025/7/15 7:30:41

目录

一、广播表与绑定表实战

1、广播表

2、绑定表

二、分片审计

一、广播表与绑定表实战

1、广播表

指所有的分片数据源中都存在的表，表结构及其数据在每个数据库中均完全一致。适用于数据量不大且需要与海量数据的表进行关联查询的场景，例如：字典表。

示例如下：

建表：

CREATE TABLE dict  (`dictId` bigint NOT NULL,`dictKey` varchar(32) NULL,`dictVal` varchar(32) NULL,PRIMARY KEY (`dictId`)
);

创建实体：

@TableName("dict")
public class Dict {private Long dictid;private String dictkey;private String dictval;// getter ... setter   
}

创建mapper

    public interface DictMapper extends BaseMapper<Dict> {}

配置广播规则： 配置方式很简单。 直接配置broadcast-tables就可以了。

    # 指定广播表。广播表会忽略分表的逻辑，只往多个库的同一个表中插入数据。
    spring.shardingsphere.rules.sharding.broadcast-tables=dict        （可以加，多个）

    # 打印SQLspring.shardingsphere.props.sql-show = truespring.main.allow-bean-definition-overriding = true​# ----------------数据源配置# 指定对应的库spring.shardingsphere.datasource.names=m0,m1​spring.shardingsphere.datasource.m0.type=com.alibaba.druid.pool.DruidDataSourcespring.shardingsphere.datasource.m0.driver-class-name=com.mysql.cj.jdbc.Driverspring.shardingsphere.datasource.m0.url=jdbc:mysql://localhost:3306/coursedb?serverTimezone=UTCspring.shardingsphere.datasource.m0.username=rootspring.shardingsphere.datasource.m0.password=root​spring.shardingsphere.datasource.m1.type=com.alibaba.druid.pool.DruidDataSourcespring.shardingsphere.datasource.m1.driver-class-name=com.mysql.cj.jdbc.Driverspring.shardingsphere.datasource.m1.url=jdbc:mysql://localhost:3306/coursedb2?serverTimezone=UTCspring.shardingsphere.datasource.m1.username=rootspring.shardingsphere.datasource.m1.password=root#------------------------分布式序列算法配置# 生成字符串类型分布式主键。spring.shardingsphere.rules.sharding.key-generators.dict_keygen.type=SNOWFLAKE# 指定分布式主键生成策略spring.shardingsphere.rules.sharding.tables.dict.key-generate-strategy.column=dictIdspring.shardingsphere.rules.sharding.tables.dict.key-generate-strategy.key-generator-name=dict_keygen#-----------------------配置读写分离# 要配置成读写分离的虚拟库#spring.shardingsphere.rules.sharding.tables.dict.actual-data-nodes=m$->{0..1}.dict_$->{1..2}spring.shardingsphere.rules.sharding.tables.dict.actual-data-nodes=m$->{0..1}.dict# 指定广播表。广播表会忽略分表的逻辑，只往多个库的同一个表中插入数据。spring.shardingsphere.rules.sharding.broadcast-tables=dict

测试示例

        @Testpublic void addDict() {Dict dict = new Dict();dict.setDictkey("F");dict.setDictval("女");dictMapper.insert(dict);​Dict dict2 = new Dict();dict2.setDictkey("M");dict2.setDictval("男");dictMapper.insert(dict2);}

这样，对于dict字段表的操作就会被同时插入到两个库当中。

2、绑定表

指分片规则一致的一组分片表。使用绑定表进行多表关联查询时，必须使用分片键进行关联，否则会出现笛卡尔积关联或跨库关联，从而影响查询效率。

比如我们另外创建一张用户信息表，与用户表一起来演示这种情况

建表语句：老规矩，自己进行分片

CREATE TABLE user_course_info  (`infoid` bigint NOT NULL,`userid` varchar(32) NULL,`courseid` bigint NULL,PRIMARY KEY (`infoid`)
);

接下来同样增加映射实体以及Mapper。这里就略过了。

然后配置分片规则：

  1. 数据源配置：指定对应的库
  2. 分布式序列算法配置：生成字符串类型分布式主键、指定分布式主键生成策略
  3. 配置真实表分布
  4. 配置分片（两个表通过相同分片键进行关联："select uci.* from user_course_info uci ,user u where uci.userid = u.userid"）
  5. 配置分表策略
  6. 指定绑定表
    # 打印SQLspring.shardingsphere.props.sql-show = truespring.main.allow-bean-definition-overriding = true​# ----------------数据源配置# 指定对应的库spring.shardingsphere.datasource.names=m0​spring.shardingsphere.datasource.m0.type=com.alibaba.druid.pool.DruidDataSourcespring.shardingsphere.datasource.m0.driver-class-name=com.mysql.cj.jdbc.Driverspring.shardingsphere.datasource.m0.url=jdbc:mysql://localhost:3306/coursedb?serverTimezone=UTCspring.shardingsphere.datasource.m0.username=rootspring.shardingsphere.datasource.m0.password=root#------------------------分布式序列算法配置# 生成字符串类型分布式主键。spring.shardingsphere.rules.sharding.key-generators.usercourse_keygen.type=SNOWFLAKE# 指定分布式主键生成策略spring.shardingsphere.rules.sharding.tables.user_course_info.key-generate-strategy.column=infoidspring.shardingsphere.rules.sharding.tables.user_course_info.key-generate-strategy.key-generator-name=usercourse_keygen# ----------------------配置真实表分布spring.shardingsphere.rules.sharding.tables.user.actual-data-nodes=m0.user_$->{1..2}spring.shardingsphere.rules.sharding.tables.user_course_info.actual-data-nodes=m0.user_course_info_$->{1..2}# ----------------------配置分片spring.shardingsphere.rules.sharding.tables.user.table-strategy.standard.sharding-column=useridspring.shardingsphere.rules.sharding.tables.user.table-strategy.standard.sharding-algorithm-name=user_tbl_alg​spring.shardingsphere.rules.sharding.tables.user_course_info.table-strategy.standard.sharding-column=useridspring.shardingsphere.rules.sharding.tables.user_course_info.table-strategy.standard.sharding-algorithm-name=usercourse_tbl_alg# ----------------------配置分表策略spring.shardingsphere.rules.sharding.sharding-algorithms.user_tbl_alg.type=INLINEspring.shardingsphere.rules.sharding.sharding-algorithms.user_tbl_alg.props.algorithm-expression=user_$->{Math.abs(userid.hashCode()%4).intdiv(2) +1}​spring.shardingsphere.rules.sharding.sharding-algorithms.usercourse_tbl_alg.type=INLINEspring.shardingsphere.rules.sharding.sharding-algorithms.usercourse_tbl_alg.props.algorithm-expression=user_course_info_$->{Math.abs(userid.hashCode()%4).intdiv(2) +1}# 指定绑定表spring.shardingsphere.rules.sharding.binding-tables[0]=user,user_course_info

然后把user表的数据都清空，重新插入一些有对应关系的用户和用户信息表。

    @Testpublic void addUserCourseInfo(){for (int i = 0; i < 10; i++) {String userId = NanoIdUtils.randomNanoId();User user = new User();user.setUserid(userId);user.setUsername("user"+i);user.setPassword("123qweasd");user.setUserstatus("NORMAL");user.setAge(30+i);user.setSex(i%2==0?"F":"M");​userMapper.insert(user);for (int j = 0; j < 5; j++) {UserCourseInfo userCourseInfo = new UserCourseInfo();userCourseInfo.setInfoid(System.currentTimeMillis()+j);userCourseInfo.setUserid(userId);userCourseInfo.setCourseid(10000+j);userCourseInfoMapper.insert(userCourseInfo);}}}

接下来按照用户ID进行一次关联查询。在UserCourseInfoMapper中配置SQL语句

    public interface UserCourseInfoMapper extends BaseMapper<UserCourseInfo> {@Select("select uci.* from user_course_info uci ,user u where uci.userid = u.userid")List<UserCourseInfo> queryUserCourse();}

查询案例：

        @Testpublic void queryUserCourseInfo(){List<UserCourseInfo> userCourseInfos = userCourseInfoMapper.queryUserCourse();for (UserCourseInfo userCourseInfo : userCourseInfos) {System.out.println(userCourseInfo);}}

注意：在进行查询时，可以先把application.properties文件中最后一行，绑定表的配置注释掉。此时两张表的关联查询将要进行笛卡尔查询。

 如果没有指定绑定表就会造成笛卡尔积关联（中间两条在当前场景下无效）

    Actual SQL: m0 ::: select uci.* from user_course_info_1 uci ,user_1 u where uci.userid = u.useridActual SQL: m0 ::: select uci.* from user_course_info_1 uci ,user_2 u where uci.userid = u.useridActual SQL: m0 ::: select uci.* from user_course_info_2 uci ,user_1 u where uci.userid = u.useridActual SQL: m0 ::: select uci.* from user_course_info_2 uci ,user_2 u where uci.userid = u.userid

这种查询明显性能是非常低的，如果两张表的分片数更多，执行的SQL也会更多。而实际上，用户表和用户信息表，他们都是按照userid进行分片的，他们的分片规则是一致的。

这样，再把绑定关系的注释加上，此时查询，就会按照相同的userid分片进行查询。

    Actual SQL: m0 ::: select uci.* from user_course_info_1 uci ,user_1 u where uci.userid = u.useridActual SQL: m0 ::: select uci.* from user_course_info_2 uci ,user_2 u where uci.userid = u.userid

在进行多表关联查询时，绑定表是一个非常重要的标准。

二、分片审计

针对数据库分片场景下对执行的 SQL 语句进行审计操作。分片审计既可以进行拦截操作，拦截系统配置的非法 SQL 语句，也可以是对 SQL 语句进行统计操作。

目前ShardingSphere内置的分片审计算法只有一个，DML_SHARDING_CONDITIONS。他的功能是要求对逻辑表查询时，必须带上分片键。

例如在之前的示例中，给course表配置一个分片审计策略

# 分片审计规则： SQL查询必须带上分片键
spring.shardingsphere.rules.sharding.tables.course.audit-strategy.auditor-names[0]=course_auditor
spring.shardingsphere.rules.sharding.tables.course.audit-strategy.allow-hint-disable=true
​
spring.shardingsphere.rules.sharding.auditors.course_auditor.type=DML_SHARDING_CONDITIONS

这样，再次执行之前HINT策略的示例，就会报错。

image.png

当前这个策略看起来好像用处不是很大。但是，别忘了ShardingSphere可插拔的设计。这是一个扩展点，可以自行扩展出很多有用的功能。

http://www.lryc.cn/news/587811.html

相关文章：

  • 胡志明证券交易所新一代交易系统解决方案——基于美联储利率决议背景下的越南跨境金融基础设施升
  • 学习C++、QT---25（QT中实现QCombobox库的介绍和用QCombobox设置编码和使用编码的讲解）
  • 2025js——面试题(8)-http
  • 第二章 基于新版Onenet搭建云服务（stm32物联网）
  • 【leetcode】326. 3的幂
  • 对偶原理与蕴含定理
  • SSE（Server-Sent Events）和 MQTT（Message Queuing Telemetry Transport）
  • 【工具】AndroidStudio修改中文语言汉化
  • 【2025/07/14】GitHub 今日热门项目
  • 直播推流技术底层逻辑详解与私有化实现方案-以rmtp rtc hls为例-优雅草卓伊凡
  • QML 常用控件（二）
  • vue中配置Eslint的步骤
  • Why C# and .NET are still relevant in 2025
  • lightgbm算法学习
  • Python----NLP自然语言处理（中文分词器--jieba分词器）
  • 《大数据技术原理与应用》实验报告一 熟悉常用的Linux操作和Hadoop操作
  • .NET控制台应用程序中防止程序立即退出
  • 2025年大数据、建模与智能计算国际会议（ICBDMIC 2025）
  • spring-ai-alibaba 接入Tushare查询股票行情
  • 【C++进阶】---- 多态
  • SpringBoot3整合“Spring Security+JWT”快速实现demo示例与Apifox测试
  • 鸿蒙开发NDK之---- 如何将ArkTs的类型转化成C++对应的类型（基础类型，包含部分代码解释）
  • 系统化构建产品开发体系
  • androidstudio 高低版本兼容
  • 机构参与度及其Python数据获取示例
  • 迁移学习：知识复用的智能迁移引擎 | 从理论到实践的跨域赋能范式
  • 【Canvas与五星】六种五星画法
  • MIPI DSI (一) MIPI DSI 联盟概述
  • 【leetcode】231. 2的幂
  • ASP.NET Core中数据绑定原理实现详解