当前位置: 首页 > news >正文

SQL分片工具类

SQL分片工具类(SqlShardingUtil)提供数据库查询的智能分片功能,支持数字和字符串两种字段类型的分片策略。对于数字字段,可以指定分片数量均匀划分数值区间;对于字符串字段,则按照ASCII字符范围自动划分。工具类确保分片后的SQL语句完整覆盖数据范围且不重复,同时支持附加WHERE条件。实现原理是通过计算分片边界值,构建区间查询条件,特别处理字符串类型的开放式结尾区间,保证数据完整性。该工具适用于大数据量查询的性能优化场景。

import java.util.ArrayList;
import java.util.List;/*** SQL分片工具类* 支持 minVal 和 maxVal 为空的处理* 确保分片数据不重复且完整覆盖*/
public class SqlShardingUtil {public enum FieldType {NUMBER, STRING}/*** 生成分片SQL列表** @param baseSql    基础SQL(不含WHERE)* @param where      额外过滤条件,如"status = 1",可传空或null* @param splitField 分片字段名* @param fieldType  分片字段类型* @param minVal     分片起始值,数字传Long,字符串传单字符字符串* @param maxVal     分片结束值,数字传Long,字符串传单字符字符串* @param shardCount 分片数量(数字分片生效,字符串分片忽略)* @return 分片SQL语句列表*/public static List<String> splitSQL(String baseSql, String where, String splitField, FieldType fieldType,Object minVal, Object maxVal, int shardCount) {List<String> result = new ArrayList<>();String baseWhere = (where == null || where.trim().isEmpty()) ? "WHERE 1=1" : (where.trim().toUpperCase().startsWith("WHERE") ? where.trim() : "WHERE " + where.trim());if (fieldType == FieldType.NUMBER) {if (!(minVal instanceof Number) || !(maxVal instanceof Number)) {throw new IllegalArgumentException("NUMBER类型分片,minVal和maxVal必须是数字");}long min = ((Number) minVal).longValue();long max = ((Number) maxVal).longValue();if (max < min) {throw new IllegalArgumentException("maxVal不能小于minVal");}if (shardCount <= 0) {shardCount = 1; // 至少一个分片}long total = max - min + 1;long step = (long) Math.ceil((double) total / shardCount);for (long start = min; start <= max; start += step) {long end = Math.min(start + step, max + 1);String condition = String.format("%s >= %d AND %s < %d", splitField, start, splitField, end);result.add(baseSql + " " + baseWhere + " AND " + condition);}} else if (fieldType == FieldType.STRING) {if (!(minVal instanceof String) || !(maxVal instanceof String)) {throw new IllegalArgumentException("STRING类型分片,minVal和maxVal必须是字符串");}if (((String) minVal).length() == 0 || ((String) maxVal).length() == 0) {throw new IllegalArgumentException("minVal和maxVal字符串不能为空");}char minChar = ((String) minVal).charAt(0);char maxChar = ((String) maxVal).charAt(0);if (maxChar < minChar) {throw new IllegalArgumentException("maxVal字符不能小于minVal字符");}// 忽略shardCount,按字符区间分片List<Character> asciiChars = getCharRange(minChar, maxChar);for (int i = 0; i < asciiChars.size() - 1; i++) {char start = asciiChars.get(i);char end = asciiChars.get(i + 1);String condition = String.format("%s >= '%c' AND %s < '%c'", splitField, start, splitField, end);result.add(baseSql + " " + baseWhere + " AND " + condition);}// 最后一段闭区间,确保不漏数据char last = asciiChars.get(asciiChars.size() - 1);String lastCondition = String.format("%s >= '%c'", splitField, last);result.add(baseSql + " " + baseWhere + " AND " + lastCondition);} else {throw new UnsupportedOperationException("不支持的FieldType:" + fieldType);}return result;}/*** 获取指定区间内的有效字符列表(包含数字、大小写字母及常用符号)** @param start 起始字符(包含)* @param end   结束字符(包含)* @return 字符列表*/private static List<Character> getCharRange(char start, char end) {List<Character> list = new ArrayList<>();for (char c = start; c <= end; c++) {if (Character.isDigit(c) || Character.isLetter(c) || isSymbol(c)) {list.add(c);}}return list;}/*** 判断是否为常用符号*/private static boolean isSymbol(char c) {return "!@#$%^&*()_+-=[]{}|;:',.<>?/`~\"\\ ".indexOf(c) >= 0;}// 示例 main 方法public static void main(String[] args) {String baseSql = "SELECT * FROM user_table";String where = "status = 1";String splitField = "user_id";// 数字分片示例List<String> numberShards = splitSQL(baseSql, where, splitField, FieldType.NUMBER, 1, 100, 5);System.out.println("数字分片:");numberShards.forEach(System.out::println);// 字符分片示例,覆盖0~Z(数字和大写字母)List<String> stringShards = splitSQL(baseSql, where, "username", FieldType.STRING, "0", "Z", 0);System.out.println("\n字符分片:");stringShards.forEach(System.out::println);}

http://www.lryc.cn/news/572455.html

相关文章:

  • C#上位机通过WebApi访问WinCC
  • 图像特征检测算法ORB
  • 目标检测之YOLOV11谈谈OBB
  • 基于Uniapp+PHP的教育培训系统开发指南:网校源码实战剖析
  • 【机械视觉】Halcon—【十五、一维码(条形码)和二维码识别】
  • SpringBoot扩展——发送邮件!
  • Java求职者面试指南:Spring, Spring Boot, Spring MVC, MyBatis技术点深度解析
  • Windows 10开始菜单优化方案,如何实现Win7风格开始菜单的还原
  • 火山引擎TTS使用体验
  • 类与对象(中)(详解)
  • 多卡解决报错torch.distributed.elastic.multiprocessing.errors.ChildFailedError的问题
  • API 接口:程序世界的通用语言与交互基因
  • 【音视频】PJSIP库——示例简介、C++类说明
  • 深度学习——激活函数
  • # python正则表达式——实战学习+理论
  • 跟踪大型语言模型的思想:对语言之间共享;提前规划;cot
  • RK3588调试之旅:adbd服务配置全攻略
  • stm32之使用中断控制led灯
  • 新生活的开启:从 Trae AI 离开后的三个月
  • linux操作命令(最常用)
  • 打破物理桎梏:CAN-ETH网关如何用UDP封装重构工业网络边界
  • 大模型更重要关注工艺
  • 目标检测之YOLOV11自定义数据使用OBB训练与验证
  • Neo4j常用语法-path
  • JS红宝书笔记 8.3 继承
  • 煤矿井下Modbus转Profibus网关的传感器与PLC互联解决方案
  • 机器学习×第十二卷:回归树与剪枝策略——她剪去多余的分支,只保留想靠近你的那一层
  • 运维人员常用网站列表
  • 【unitrix】 3.2 位取反运算(not.rs)
  • 【数字人开发】Unity+百度智能云平台实现长短文本个性化语音生成功能