1. ShardingSphere执行引擎概述ShardingSphere执行引擎是分片数据库中间件的核心组件之一负责将经过路由和改写后的真实SQL高效地发送到底层数据源执行。与传统的JDBC直接执行方式不同执行引擎需要解决分片环境下特有的资源控制和执行效率问题。在分片场景中一条逻辑SQL可能被拆分为多条真实SQL这些SQL需要分发到不同的数据节点执行。执行引擎的核心挑战在于如何平衡两个看似矛盾的目标资源控制避免单个查询占用过多数据库连接执行效率充分利用并行执行提升查询性能2. 分片SQL执行流程解析2.1 连接模式选择ShardingSphere提供了两种基础连接模式2.1.1 内存限制模式(MEMORY_STRICTLY)特点为每个分片创建独立连接并行执行优势最大化并行度提高执行效率适用场景OLAP查询、大数据量处理资源消耗连接数分片数2.1.2 连接限制模式(CONNECTION_STRICTLY)特点复用同一连接串行执行分片SQL优势严格限制连接数节省资源适用场景OLTP操作、高并发短查询资源消耗连接数数据源数2.2 自动化执行引擎实际生产环境中ShardingSphere采用了更智能的自动化执行引擎其核心创新点包括动态连接模式选择根据maxConnectionSizePerQuery参数实时计算最优执行策略混合模式支持部分分片并行部分串行死锁预防机制连接获取同步控制避免交叉等待优化OLTP场景连接获取3. 执行阶段详解3.1 准备阶段3.1.1 结果集分组// 示例分组逻辑 MapString, ListSQLExecutionUnit executionGroups new HashMap(); for (SQLExecutionUnit each : executionUnits) { String dataSourceName each.getDataSourceName(); if (!executionGroups.containsKey(dataSourceName)) { executionGroups.put(dataSourceName, new ArrayList()); } executionGroups.get(dataSourceName).add(each); }3.1.2 执行单元创建根据分组结果创建执行单元计算每个数据源需要的连接数确定各分片的执行模式并行/串行3.2 执行阶段3.2.1 并行执行控制ExecutorService executorService Executors.newFixedThreadPool( Runtime.getRuntime().availableProcessors() * 2); ListFutureQueryResult futures new ArrayList(); for (ListSQLExecutionUnit group : executionGroups.values()) { futures.add(executorService.submit(() - executeGroup(group))); }3.2.2 执行事件流执行开始事件执行成功/失败事件结果集获取事件4. 结果归并处理4.1 流式归并适用场景大数据量查询特点无需全量加载结果到内存实现方式基于游标逐条处理4.2 内存归并适用场景小结果集特点全量加载后处理排序归并示例SELECT * FROM t_order ORDER BY order_id DESC分片执行后需要在内存中进行全局排序5. 性能优化实践5.1 参数调优建议参数名默认值建议值说明maxConnectionSizePerQuery15-10每个查询最大连接数executor.sizeCPU核数CPU核数*2执行线程池大小fetch.size-11000结果集获取批次大小5.2 常见问题排查连接泄漏检查是否正确关闭ResultSet/Statement监控连接池使用情况内存溢出避免大结果集内存归并使用流式归并替代执行超时调整executor.timeout参数优化分片策略减少分片数6. 最佳实践案例6.1 电商订单查询优化原始方案每月订单分片全量查询导致内存归并压力优化方案// 添加create_time条件缩小查询范围 shardingConfig.getShardingRuleConfig().getTableRuleConfigs() .forEach(table - table.setActualDataNodes(ds_${2020..2023}.order_${1..12}));6.2 分页查询陷阱错误写法SELECT * FROM t_order LIMIT 1000000, 10正确写法SELECT * FROM t_order WHERE id 1000000 LIMIT 107. 执行引擎演进方向智能连接池预测自适应归并策略分布式执行计划缓存基于机器学习的参数调优执行引擎的实际表现往往取决于具体业务场景建议在测试环境进行充分验证后再上线生产。我们团队在使用过程中发现对于TP类业务连接限制模式配合适当的分片策略往往能取得最佳效果而对于AP类查询则需要根据数据量大小谨慎选择归并方式。 
长河君 · 2026/10/31 15:21:26 · 阅读 1.2k ShardingSphere执行引擎原理与分片SQL优化实践
1. ShardingSphere执行引擎概述ShardingSphere执行引擎是分片数据库中间件的核心组件之一负责将经过路由和改写后的真实SQL高效地发送到底层数据源执行。与传统的JDBC直接执行方式不同执行引擎需要解决分片环境下特有的资源控制和执行效率问题。在分片场景中一条逻辑SQL可能被拆分为多条真实SQL这些SQL需要分发到不同的数据节点执行。执行引擎的核心挑战在于如何平衡两个看似矛盾的目标资源控制避免单个查询占用过多数据库连接执行效率充分利用并行执行提升查询性能2. 分片SQL执行流程解析2.1 连接模式选择ShardingSphere提供了两种基础连接模式2.1.1 内存限制模式(MEMORY_STRICTLY)特点为每个分片创建独立连接并行执行优势最大化并行度提高执行效率适用场景OLAP查询、大数据量处理资源消耗连接数分片数2.1.2 连接限制模式(CONNECTION_STRICTLY)特点复用同一连接串行执行分片SQL优势严格限制连接数节省资源适用场景OLTP操作、高并发短查询资源消耗连接数数据源数2.2 自动化执行引擎实际生产环境中ShardingSphere采用了更智能的自动化执行引擎其核心创新点包括动态连接模式选择根据maxConnectionSizePerQuery参数实时计算最优执行策略混合模式支持部分分片并行部分串行死锁预防机制连接获取同步控制避免交叉等待优化OLTP场景连接获取3. 执行阶段详解3.1 准备阶段3.1.1 结果集分组// 示例分组逻辑 MapString, ListSQLExecutionUnit executionGroups new HashMap(); for (SQLExecutionUnit each : executionUnits) { String dataSourceName each.getDataSourceName(); if (!executionGroups.containsKey(dataSourceName)) { executionGroups.put(dataSourceName, new ArrayList()); } executionGroups.get(dataSourceName).add(each); }3.1.2 执行单元创建根据分组结果创建执行单元计算每个数据源需要的连接数确定各分片的执行模式并行/串行3.2 执行阶段3.2.1 并行执行控制ExecutorService executorService Executors.newFixedThreadPool( Runtime.getRuntime().availableProcessors() * 2); ListFutureQueryResult futures new ArrayList(); for (ListSQLExecutionUnit group : executionGroups.values()) { futures.add(executorService.submit(() - executeGroup(group))); }3.2.2 执行事件流执行开始事件执行成功/失败事件结果集获取事件4. 结果归并处理4.1 流式归并适用场景大数据量查询特点无需全量加载结果到内存实现方式基于游标逐条处理4.2 内存归并适用场景小结果集特点全量加载后处理排序归并示例SELECT * FROM t_order ORDER BY order_id DESC分片执行后需要在内存中进行全局排序5. 性能优化实践5.1 参数调优建议参数名默认值建议值说明maxConnectionSizePerQuery15-10每个查询最大连接数executor.sizeCPU核数CPU核数*2执行线程池大小fetch.size-11000结果集获取批次大小5.2 常见问题排查连接泄漏检查是否正确关闭ResultSet/Statement监控连接池使用情况内存溢出避免大结果集内存归并使用流式归并替代执行超时调整executor.timeout参数优化分片策略减少分片数6. 最佳实践案例6.1 电商订单查询优化原始方案每月订单分片全量查询导致内存归并压力优化方案// 添加create_time条件缩小查询范围 shardingConfig.getShardingRuleConfig().getTableRuleConfigs() .forEach(table - table.setActualDataNodes(ds_${2020..2023}.order_${1..12}));6.2 分页查询陷阱错误写法SELECT * FROM t_order LIMIT 1000000, 10正确写法SELECT * FROM t_order WHERE id 1000000 LIMIT 107. 执行引擎演进方向智能连接池预测自适应归并策略分布式执行计划缓存基于机器学习的参数调优执行引擎的实际表现往往取决于具体业务场景建议在测试环境进行充分验证后再上线生产。我们团队在使用过程中发现对于TP类业务连接限制模式配合适当的分片策略往往能取得最佳效果而对于AP类查询则需要根据数据量大小谨慎选择归并方式。