1. 项目背景与升级必要性最近在DataSophon平台上管理DolphinScheduler时遇到了TGT票据续期问题这个问题在3.1.8版本中尤为明显。经过调研发现社区在3.4.0版本中已经修复了相关缺陷于是决定进行手动升级。对于使用DataSophon管理大数据组件的团队来说掌握独立升级组件的技能非常必要因为平台自身的版本更新节奏可能无法满足特定组件的需求。DolphinScheduler作为核心调度组件其稳定性直接影响整个数据平台的运行。3.4.0版本不仅修复了安全认证问题还带来了任务实例重跑优化、工作流定义导出增强等实用功能。这些改进对于日常运维效率提升明显特别是在需要频繁调整调度策略的场景下。2. 升级前准备工作2.1 环境检查清单在开始升级前必须完成以下检查确认当前DataSophon版本为1.2.1兼容性已验证备份DolphinScheduler数据库至少包含t_ds_process_definition等核心表记录现有服务的所有自定义配置特别是alert.properties等配置文件检查各节点磁盘空间建议预留至少5GB临时空间规划维护窗口建议选择业务低峰期重要提示务必验证备份的完整性和可恢复性。我曾遇到过因备份不完整导致回滚失败的情况最终不得不手动重建工作流定义。2.2 资源准备需要下载以下文件包apache-dolphinscheduler-3.4.0-bin.tar.gz官方二进制包mysql-connector-java-8.0.xx.jar匹配现有MySQL版本datasophon-dolphinscheduler-adapter-1.2.1.jar如有自定义适配器建议通过校验SHA512确保包完整性sha512sum apache-dolphinscheduler-3.4.0-bin.tar.gz3. 详细升级步骤3.1 服务停止与文件替换通过DataSophon界面停止DolphinScheduler服务备份原安装目录建议重命名为dolphinscheduler_3.1.8_bak解压新版本到同级目录tar -zxvf apache-dolphinscheduler-3.4.0-bin.tar.gz -C /opt/datasophon/ mv /opt/datasophon/apache-dolphinscheduler-3.4.0-bin /opt/datasophon/dolphinscheduler-3.4.0迁移关键配置cp dolphinscheduler_3.1.8_bak/conf/application*.yaml dolphinscheduler-3.4.0/conf/ cp dolphinscheduler_3.1.8_bak/conf/common.properties dolphinscheduler-3.4.0/conf/3.2 数据库升级执行官方提供的升级脚本mysql -h[host] -u[user] -p[password] dolphinscheduler dolphinscheduler-3.4.0/script/upgrade/3.1.8_to_3.4.0/mysql/dolphinscheduler_dml.sql特别注意如果使用分库分表需要手动调整脚本大型实例建议在低峰期执行schema变更可能锁表3.3 配置文件调整对比新旧版本的conf目录重点关注application-api.properties新增security.authentication.cas.enable配置项common.properties检查resource.storage.type等关键参数将原lib目录下的自定义jar包如数据源插件复制到新版本4. 升级后验证4.1 基础功能测试通过DataSophon重新注册服务并启动验证各组件日志无异常tail -f dolphinscheduler-3.4.0/logs/api-server.log tail -f dolphinscheduler-3.4.0/logs/master-server.log基础场景验证创建工作流并执行测试告警触发验证补数功能特别关注时间参数传递4.2 性能与稳定性检查使用JConsole监控GC情况新版优化了内存管理压力测试模拟100并发任务调度长期运行观察持续监控24小时检查是否有内存泄漏5. 常见问题解决方案5.1 启动时报错排查问题现象API服务启动失败报错Table dolphinscheduler.t_ds_plugin_define doesnt exist解决方案检查升级脚本是否完整执行手动执行缺少的DDL语句CREATE TABLE IF NOT EXISTS t_ds_plugin_define ( id int NOT NULL AUTO_INCREMENT, plugin_name varchar(100) NOT NULL, plugin_type varchar(100) NOT NULL, plugin_params text, create_time datetime NOT NULL, update_time datetime NOT NULL, PRIMARY KEY (id), UNIQUE KEY (plugin_name, plugin_type) );5.2 兼容性问题处理旧版工作流无法运行导出工作流定义JSON格式新建工作流并导入重新配置依赖资源邮件告警失效 检查并更新alert.properties中的SMTP配置新版加强了参数校验mail.smtp.starttls.enabletrue mail.smtp.ssl.protocolsTLSv1.26. 升级后优化建议JVM调优根据节点配置调整master/worker的JVM参数建议export MASTER_JAVA_OPTS-Xmx4g -Xms4g -XX:UseG1GC export WORKER_JAVA_OPTS-Xmx8g -Xms8g -XX:MaxGCPauseMillis100存储策略优化新版支持S3协议建议将资源中心迁移到对象存储resource.storage.typeS3 resource.aws.s3.bucket.nameyour-bucket resource.aws.s3.access.key.idyour-access-key监控集成配置Prometheus监控指标采集metrics: enabled: true exporter: port: 9091升级过程中最大的教训是一定要做分阶段验证。我建议先在一个非关键环境完整演练整个流程特别是数据库变更部分。曾经因为直接在生产环境执行升级脚本导致半小时的服务不可用。现在我们的标准做法是先在测试环境验证→灰度部分节点→全量升级每个阶段至少观察24小时。 
长河君 · 2026/11/2 2:45:25 · 阅读 1.2k DolphinScheduler 3.4.0升级指南与TGT票据问题解决
1. 项目背景与升级必要性最近在DataSophon平台上管理DolphinScheduler时遇到了TGT票据续期问题这个问题在3.1.8版本中尤为明显。经过调研发现社区在3.4.0版本中已经修复了相关缺陷于是决定进行手动升级。对于使用DataSophon管理大数据组件的团队来说掌握独立升级组件的技能非常必要因为平台自身的版本更新节奏可能无法满足特定组件的需求。DolphinScheduler作为核心调度组件其稳定性直接影响整个数据平台的运行。3.4.0版本不仅修复了安全认证问题还带来了任务实例重跑优化、工作流定义导出增强等实用功能。这些改进对于日常运维效率提升明显特别是在需要频繁调整调度策略的场景下。2. 升级前准备工作2.1 环境检查清单在开始升级前必须完成以下检查确认当前DataSophon版本为1.2.1兼容性已验证备份DolphinScheduler数据库至少包含t_ds_process_definition等核心表记录现有服务的所有自定义配置特别是alert.properties等配置文件检查各节点磁盘空间建议预留至少5GB临时空间规划维护窗口建议选择业务低峰期重要提示务必验证备份的完整性和可恢复性。我曾遇到过因备份不完整导致回滚失败的情况最终不得不手动重建工作流定义。2.2 资源准备需要下载以下文件包apache-dolphinscheduler-3.4.0-bin.tar.gz官方二进制包mysql-connector-java-8.0.xx.jar匹配现有MySQL版本datasophon-dolphinscheduler-adapter-1.2.1.jar如有自定义适配器建议通过校验SHA512确保包完整性sha512sum apache-dolphinscheduler-3.4.0-bin.tar.gz3. 详细升级步骤3.1 服务停止与文件替换通过DataSophon界面停止DolphinScheduler服务备份原安装目录建议重命名为dolphinscheduler_3.1.8_bak解压新版本到同级目录tar -zxvf apache-dolphinscheduler-3.4.0-bin.tar.gz -C /opt/datasophon/ mv /opt/datasophon/apache-dolphinscheduler-3.4.0-bin /opt/datasophon/dolphinscheduler-3.4.0迁移关键配置cp dolphinscheduler_3.1.8_bak/conf/application*.yaml dolphinscheduler-3.4.0/conf/ cp dolphinscheduler_3.1.8_bak/conf/common.properties dolphinscheduler-3.4.0/conf/3.2 数据库升级执行官方提供的升级脚本mysql -h[host] -u[user] -p[password] dolphinscheduler dolphinscheduler-3.4.0/script/upgrade/3.1.8_to_3.4.0/mysql/dolphinscheduler_dml.sql特别注意如果使用分库分表需要手动调整脚本大型实例建议在低峰期执行schema变更可能锁表3.3 配置文件调整对比新旧版本的conf目录重点关注application-api.properties新增security.authentication.cas.enable配置项common.properties检查resource.storage.type等关键参数将原lib目录下的自定义jar包如数据源插件复制到新版本4. 升级后验证4.1 基础功能测试通过DataSophon重新注册服务并启动验证各组件日志无异常tail -f dolphinscheduler-3.4.0/logs/api-server.log tail -f dolphinscheduler-3.4.0/logs/master-server.log基础场景验证创建工作流并执行测试告警触发验证补数功能特别关注时间参数传递4.2 性能与稳定性检查使用JConsole监控GC情况新版优化了内存管理压力测试模拟100并发任务调度长期运行观察持续监控24小时检查是否有内存泄漏5. 常见问题解决方案5.1 启动时报错排查问题现象API服务启动失败报错Table dolphinscheduler.t_ds_plugin_define doesnt exist解决方案检查升级脚本是否完整执行手动执行缺少的DDL语句CREATE TABLE IF NOT EXISTS t_ds_plugin_define ( id int NOT NULL AUTO_INCREMENT, plugin_name varchar(100) NOT NULL, plugin_type varchar(100) NOT NULL, plugin_params text, create_time datetime NOT NULL, update_time datetime NOT NULL, PRIMARY KEY (id), UNIQUE KEY (plugin_name, plugin_type) );5.2 兼容性问题处理旧版工作流无法运行导出工作流定义JSON格式新建工作流并导入重新配置依赖资源邮件告警失效 检查并更新alert.properties中的SMTP配置新版加强了参数校验mail.smtp.starttls.enabletrue mail.smtp.ssl.protocolsTLSv1.26. 升级后优化建议JVM调优根据节点配置调整master/worker的JVM参数建议export MASTER_JAVA_OPTS-Xmx4g -Xms4g -XX:UseG1GC export WORKER_JAVA_OPTS-Xmx8g -Xms8g -XX:MaxGCPauseMillis100存储策略优化新版支持S3协议建议将资源中心迁移到对象存储resource.storage.typeS3 resource.aws.s3.bucket.nameyour-bucket resource.aws.s3.access.key.idyour-access-key监控集成配置Prometheus监控指标采集metrics: enabled: true exporter: port: 9091升级过程中最大的教训是一定要做分阶段验证。我建议先在一个非关键环境完整演练整个流程特别是数据库变更部分。曾经因为直接在生产环境执行升级脚本导致半小时的服务不可用。现在我们的标准做法是先在测试环境验证→灰度部分节点→全量升级每个阶段至少观察24小时。