nacos多数据源插件介绍以及使用

概述

在微服务架构中，服务配置的集中管理和动态调整是至关重要的。Nacos 提供了配置管理和服务发现的功能，其中配置管理支持动态数据源的切换，增强了其在复杂环境中的适用性。默认情况下，Nacos 支持 MySQL 和Derby，但通过使用 Nacos 数据源插件，可以扩展其支持更多类型的数据源，如 dameng、kingbase、SqlServer、Oracle等。

支持数据源扩展的必要性

多数据源支持

不同的服务可能需要连接到不同的数据库，或者需要同时连接到多种类型的数据库。

环境差异

开发、测试以及生产环境可能使用不同的数据库，通过使用数据源扩展插件，可以达到自由切换的目标。

高可用性

通过在 Nacos 中配置多个数据源，可以实现数据源的负载均衡和故障转移。

Nacos 多数据源插件介绍

Nacos从2.2.0版本开始,可通过SPI机制注入多数据源实现插件,并在引入对应数据源实现后,便可在Nacos启动时通过读取application.properties配置文件中spring.datasource.platform配置项选择加载对应多数据源插件.本文档详细介绍一个多数据源插件如何实现以及如何使其生效。

注意: 目前多数据源插件处于Beta测试阶段,其API及接口方法定义可能会在后续版本升级而有较大修改，请注意您的插件适用版本。

原理简介

主要通过插件化来实现多数据源

在原来的Config模块中，所有的SQL操作的执行是通过直接使用JdbcTemplate执行固定SQL语句的形式，使得SQL语句与业务逻辑高度耦合，并且只支持Derby与MySQL两种数据源，原有Config模块架构如下。

在这里插入图片描述

现在的多数据源插件通过SPI机制，将SQL操作按照数据表进行抽象出多个Mapper接口，Mapper接口的实现类需要按照不同的数据源编写对应的SQL方言实现; 现在插件默认提供Derby以及MySQL的Mapper实现，可直接使用；而其他的数据源则需要用户使用数据源插件进行加载，其改造后架构图如下。
在这里插入图片描述

多数据源插件使用

多数据源插件的使用分为两个场景第一个是插件仓库已经对数据源进行了实现第二需要自行实现这里我们先讨论第一种场景
例如说我们nacos的数据库需要使用达梦数据库

前置条件

对应的数据库的环境

下载编译插件仓库

git clone git@github.com:nacos-group/nacos-plugin.git
mvn -U clean intall -DskipTests=true

在这里插入图片描述

寻找对应的数据源插件并install到本地

在这里插入图片描述
第一个nacos数据源扩展插件的主module
第二个是 dm 数据源的扩展插件
将 dm 数据源的扩展插件 install到本地即可

install过程中如果遇到 oracle数据源模块报错直接在父 pom中注释掉即可

下载编译 nacos源码

git clone git@github.com:alibaba/nacos.git
mvn -U clean intall -DskipTests=true

源码改造

在nacos的nacos-datasource-plugin module中添加依赖

<dependency><groupId>com.alibaba.nacos</groupId><artifactId>nacos-dm-datasource-plugin-ext</artifactId><version>1.0.0-SNAPSHOT</version>
</dependency>

配置修改

修改数据库连接以及数据库相关配置

在nacos-console module 的application.properties配置文件中，修改数据库配置：


spring.sql.init.platform=dm
### Count of DB:
db.num=1### Connect URL of DB:
# db.url.0=jdbc:mysql://127.0.0.1:3306/nacos?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useUnicode=true&useSSL=false&serverTimezone=UTC
# db.user=nacos
# db.password=nacosdb.url.0=jdbc:dm://dm服务地址:5236/nacos?characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai
db.user.0=
db.password.0=xx
db.pool.config.driverClassName=dm.jdbc.driver.DmDriver

在 nacos-console module中修改主启动类Nacos 增加启动为单体模式方便我们本地调试

@SpringBootApplication
@ComponentScan(basePackages = "com.alibaba.nacos", excludeFilters = {@Filter(type = FilterType.CUSTOM, classes = {NacosTypeExcludeFilter.class}),@Filter(type = FilterType.CUSTOM, classes = {TypeExcludeFilter.class}),@Filter(type = FilterType.CUSTOM, classes = {AutoConfigurationExcludeFilter.class})})
@ServletComponentScan
public class Nacos {public static void main(String[] args) {//新增配置  启动为单体模式System.setProperty(Constants.STANDALONE_MODE_PROPERTY_NAME, "true");SpringApplication.run(Nacos.class, args);}
}

启动Nacos

启动Nacos服务，检查是否能够成功连接到达梦数据库，并正常工作。

测试验证

通过Nacos控制台进行服务注册、配置管理等操作，验证适配是否成功。

构建使用

测试验证没问题后即可打成jar 发到指定环境中了

mvn clean package -DskipTests=true
# nacos文件
cd distribution/target/nacos-server-{version}/

至此第一种场景已经改造完成了接下来讨论第二种场景

自行扩展数据源插件

自行扩展数据源插件也不是很复杂，这里举例kingbase（人大金仓）的扩展

前置准备

准备对应的数据库环境，最好使用数据库自带的传输工具（例如kingbase dts ，dm的dem ），这样可以避免大多数问题。

下载编译插件仓库（已下载跳过）

git clone git@github.com:nacos-group/nacos-plugin.git
mvn -U clean intall -DskipTests=true

在数据源插件扩展module下创建对应的项目

例如 nacos-kingbase-datasource-plugin-ext 如果没有问题的话，将会创建nacos-kingbase-datasource-plugin-ext 并且parent为 nacos-datasource-plugin-ext
在这里插入图片描述

在项目module中引入对应的数据库驱动以及数据源插件基础依赖

<dependency><groupId>cn.com.kingbase</groupId><artifactId>kingbase8</artifactId><version>8.6.0</version>
</dependency><dependency><groupId>com.alibaba.nacos</groupId><artifactId>nacos-datasource-plugin-ext-base</artifactId><version>${revision}</version><scope>compile</scope>
</dependency>

创建包以及对应的项目结构可从其他的数据源插件复制（最好目录结构命名规范与其他的项目一致）

在这里插入图片描述

新增或者修改数据库方言

在 com.alibaba.nacos.plugin.datasource.constants.DatabaseTypeConstant 类中新增数据库常量

public static final String KINGBASE = "kingbase";

/*** kingbase database dialect.** @author leon* &#064;date  2024-09-09 15:37:28*/
public class KingbaseDatabaseDialect extends AbstractDatabaseDialect {@Overridepublic String getType() {return DatabaseTypeConstant.KINGBASE;}
}

接下来实现每个表的对应的数据库方言的 mapper

在这里插入图片描述
这里mapper改造由于人大金仓数据对mysql的支持较高，所以并不是很复杂。只用重写getDataSource方法即可这里举两个例子

public class ConfigInfoAggrMapperByKingbase extends BaseConfigInfoAggrMapper {@Overridepublic String getDataSource() {return DatabaseTypeConstant.KINGBASE;}
}

public class ConfigInfoBetaMapperByKingbase extends BaseConfigInfoBetaMapper {@Overridepublic String getDataSource() {return DatabaseTypeConstant.KINGBASE;}}

其他的也类似改造即可
另外需要说明的是，为了保证sql的兼容性最好可以每个sql都自行执行下

修改 DatabaseDialect SPI

修改 com.alibaba.nacos.plugin.datasource.dialect.DatabaseDialect
将内容修改为对应的数据库方言类

com.alibaba.nacos.plugin.datasource.dialect.KingbaseDatabaseDialect

修改 Mapper 的SPI

修改 com.alibaba.nacos.plugin.datasource.mapper.Mapper
将内容修改为对应的数据库方言Mapper类

com.alibaba.nacos.plugin.datasource.impl.kingbase.ConfigInfoAggrMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.ConfigInfoBetaMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.ConfigInfoMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.ConfigInfoTagMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.ConfigTagsRelationMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.HistoryConfigInfoMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.TenantInfoMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.TenantCapacityMapperByKingbase
com.alibaba.nacos.plugin.datasource.impl.kingbase.GroupCapacityMapperByKingbase