【免费下载链接】sparkDashsparkDash ⚡ — Multi-DGX Spark Monitoring Dashboard项目地址https://gitcode.com/gh_mirrors/spa/sparkDash点击查看免费下载sparkDash 是一款面向多 DGX Spark 设备的 GPU 监控面板Dashboard它实时展示 VRAM、温度、使用率和功耗。但默认情况下它只在内存里保留有限的历史图表。想长期保存数据本文带你用Prometheus 抓取 Grafana 可视化把 sparkDash 的 GPU 指标永久落盘彻底告别指标丢失。为什么需要 Prometheus 保存 GPU 历史sparkDash 自带两类历史始终开启的 GPU 历史约 8 小时的 ~2 秒分辨率序列以及 7 天的分钟级序列用于 Overview 图表和 Temps 页面。可选的 Metrics historySettings → Metrics history48 小时 1 分钟 30 天 15 分钟粒度。这些历史存在服务器本地文件里重启、改配置或换机器后就没了。对于要长期归档、跨设备对比、做告警的场景最稳妥的方案是让 Prometheus 定期来刮一次数据把时间序列交给它持久化再用 Grafana 出图。 sparkDash 内置了标准 Prometheus 导出无需在 GPU 上额外装任何 exporter直接复用面板已有的快照即可。第一步在 sparkDash 中开启 Prometheus 导出这个能力默认是关闭的。打开设置对话框即可进入Settings设置面板。找到Prometheus metrics对应settings.prometheusExport见 server/settings.js打开开关。保存后服务器就会在GET /metrics提供 Prometheus 文本格式0.0.4的全部指标。关闭时该路径返回404。核心渲染逻辑在 server/prometheus.js路由注册在 server/index.js。第二步配置 Prometheus 抓取任务在 Prometheus 的prometheus.yml里加一段scrape_configs。因为/metrics读取的是 sparkDash 已持有的快照抓取不会触发额外的 SSH 或 nvidia-smi 调用数据新鲜度和轮询间隔一致。scrape_configs: - job_name: sparkdash scrape_interval: 15s static_configs: - targets: [sparkdash.lan:5555] # 仅当远程绑定设置了 SPARKDASH_TOKEN 时才需要下面这段 authorization: type: Bearer credentials_file: /etc/prometheus/sparkdash.token关于鉴权/metrics走和 REST API 相同的安全策略——本地回环安装默认开放如果以远程地址绑定并设置了SPARKDASH_TOKEN则必须携带该 token 作为 Bearer 头。第三步读懂 GPU 指标命名sparkDash 遵循node_exporter/DCGM-exporter惯例基础单位bytes、秒、°C、瓦、0–1 比例只有计数器带_total后缀。每个序列都带有unit设备 id、unit_name、kindspark/host和rolehead/worker/standalone标签多显卡主机则用gpu标签区分每张卡。常用 GPU 系列完整清单见 README 的 Prometheus 小节指标说明sparkdash_gpu_utilization_ratioGPU 利用率0–1sparkdash_gpu_temperature_celsiusGPU 结温°Csparkdash_gpu_power_watts板卡功耗瓦sparkdash_gpu_memory_used_bytes显存占用GB10 上是统一内存池中 GPU 的份额sparkdash_gpu_memory_total_bytes显存总量sparkdash_gpu_throttled降频状态按reasonthermal / power / hw区分sparkdash_gpu_info恒为 1name与uuid标签标识具体卡sparkdash_up设备在线状态离线时为 0 且不再导出其它系列 单位细节显存与磁盘大小以 MiB 采集后换算成 bytes未知不等于零某次采集失败时对应系列直接不输出避免图表里出现假数据。第四步在 Grafana 中建立长期看板Prometheus 保存好时间序列后在 Grafana 中新增Prometheus数据源再建面板即可。几个高价值查询思路GPU 利用率趋势sparkdash_gpu_utilization_ratio{unit_nameSpark 1}多设备温度对比sparkdash_gpu_temperature_celsius{kindspark}显存水位sparkdash_gpu_memory_used_bytes / sparkdash_gpu_memory_total_bytes降频告警sparkdash_gpu_throttled{reasonthermal} 1离线检测sparkdash_up 0Grafana 支持按unit、gpu、role等标签分组轻松把整支 Spark 集群的 GPU 状态画到一张大屏上。进阶让卡住的采集器也能告警sparkDash 还提供sparkdash_collector_last_success_timestamp_seconds带collector标签。当某个采集器如gpu卡住、sparkdash_up仍是 1 时可以用 Prometheus 告警time() - sparkdash_collector_last_success_timestamp_seconds{collectorgpu} 60这样即使 SSH 存活检查通过GPU 轮询卡死也能被及时发现进一步降低指标悄悄丢失的风险。小结步骤动作效果1Settings → Prometheus metrics开暴露GET /metrics2Prometheus 添加 scrape 任务按 15s 间隔持久化时间序列3按sparkdash_gpu_*建 Grafana 面板跨设备长期可视化4基于sparkdash_up/ 采集器时间戳做告警及时发现离线与卡死通过这一套组合sparkDash 从实时面板升级为可长期归档的 GPU 历史监控系统。数据交给 Prometheus 保存图表交给 Grafana 呈现指标丢失的问题就此迎刃而解。更多字段与部署细节可参考 README.md 的Prometheus与Metrics history章节以及 server/prometheus.js 中的指标定义。赞分享【免费下载链接】sparkDashsparkDash ⚡ — Multi-DGX Spark Monitoring Dashboard项目地址https://gitcode.com/gh_mirrors/spa/sparkDash点击查看免费下载相关推荐OpenStatus数据归档策略历史监控数据的长期存储方案OpenStatus数据归档策略历史监控数据的长期存储方案 在现代监控系统中历史数据不仅是系统运行状态的记录更是问题排查、性能优化和业务决策的重要依据。O可观测性运维后端告警4G显存畅玩AI视频创作WanVideo_comfy轻量化方案完全指南4G显存畅玩AI视频创作WanVideo_comfy轻量化方案完全指南 在AI视频生成技术快速发展的今天硬件门槛成为许多创作者面临的主要障碍。传统的视频生成人工智能大模型基础模型媒体生成视频多模态本地部署Anteon监控数据备份方案确保历史指标安全存储Anteon监控数据备份方案确保历史指标安全存储 你是否曾经因为服务器故障丢失了关键的监控数据或者因为磁盘空间不足导致历史性能指标无法追溯作为Anteon性能测试可观测性云原生上一篇一次搞定 ComfyUI 高效采样器efficiency-nodes 实时预览与 XY Plot 网格对比实操下一篇告别手写序列化reflect-cpp C反射三分钟上手指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/29 1:49:33 · 阅读 1.2k 告别指标数据丢失：Prometheus + Grafana 如何保存 sparkDash 的长期 GPU 历史监控
【免费下载链接】sparkDashsparkDash ⚡ — Multi-DGX Spark Monitoring Dashboard项目地址https://gitcode.com/gh_mirrors/spa/sparkDash点击查看免费下载sparkDash 是一款面向多 DGX Spark 设备的 GPU 监控面板Dashboard它实时展示 VRAM、温度、使用率和功耗。但默认情况下它只在内存里保留有限的历史图表。想长期保存数据本文带你用Prometheus 抓取 Grafana 可视化把 sparkDash 的 GPU 指标永久落盘彻底告别指标丢失。为什么需要 Prometheus 保存 GPU 历史sparkDash 自带两类历史始终开启的 GPU 历史约 8 小时的 ~2 秒分辨率序列以及 7 天的分钟级序列用于 Overview 图表和 Temps 页面。可选的 Metrics historySettings → Metrics history48 小时 1 分钟 30 天 15 分钟粒度。这些历史存在服务器本地文件里重启、改配置或换机器后就没了。对于要长期归档、跨设备对比、做告警的场景最稳妥的方案是让 Prometheus 定期来刮一次数据把时间序列交给它持久化再用 Grafana 出图。 sparkDash 内置了标准 Prometheus 导出无需在 GPU 上额外装任何 exporter直接复用面板已有的快照即可。第一步在 sparkDash 中开启 Prometheus 导出这个能力默认是关闭的。打开设置对话框即可进入Settings设置面板。找到Prometheus metrics对应settings.prometheusExport见 server/settings.js打开开关。保存后服务器就会在GET /metrics提供 Prometheus 文本格式0.0.4的全部指标。关闭时该路径返回404。核心渲染逻辑在 server/prometheus.js路由注册在 server/index.js。第二步配置 Prometheus 抓取任务在 Prometheus 的prometheus.yml里加一段scrape_configs。因为/metrics读取的是 sparkDash 已持有的快照抓取不会触发额外的 SSH 或 nvidia-smi 调用数据新鲜度和轮询间隔一致。scrape_configs: - job_name: sparkdash scrape_interval: 15s static_configs: - targets: [sparkdash.lan:5555] # 仅当远程绑定设置了 SPARKDASH_TOKEN 时才需要下面这段 authorization: type: Bearer credentials_file: /etc/prometheus/sparkdash.token关于鉴权/metrics走和 REST API 相同的安全策略——本地回环安装默认开放如果以远程地址绑定并设置了SPARKDASH_TOKEN则必须携带该 token 作为 Bearer 头。第三步读懂 GPU 指标命名sparkDash 遵循node_exporter/DCGM-exporter惯例基础单位bytes、秒、°C、瓦、0–1 比例只有计数器带_total后缀。每个序列都带有unit设备 id、unit_name、kindspark/host和rolehead/worker/standalone标签多显卡主机则用gpu标签区分每张卡。常用 GPU 系列完整清单见 README 的 Prometheus 小节指标说明sparkdash_gpu_utilization_ratioGPU 利用率0–1sparkdash_gpu_temperature_celsiusGPU 结温°Csparkdash_gpu_power_watts板卡功耗瓦sparkdash_gpu_memory_used_bytes显存占用GB10 上是统一内存池中 GPU 的份额sparkdash_gpu_memory_total_bytes显存总量sparkdash_gpu_throttled降频状态按reasonthermal / power / hw区分sparkdash_gpu_info恒为 1name与uuid标签标识具体卡sparkdash_up设备在线状态离线时为 0 且不再导出其它系列 单位细节显存与磁盘大小以 MiB 采集后换算成 bytes未知不等于零某次采集失败时对应系列直接不输出避免图表里出现假数据。第四步在 Grafana 中建立长期看板Prometheus 保存好时间序列后在 Grafana 中新增Prometheus数据源再建面板即可。几个高价值查询思路GPU 利用率趋势sparkdash_gpu_utilization_ratio{unit_nameSpark 1}多设备温度对比sparkdash_gpu_temperature_celsius{kindspark}显存水位sparkdash_gpu_memory_used_bytes / sparkdash_gpu_memory_total_bytes降频告警sparkdash_gpu_throttled{reasonthermal} 1离线检测sparkdash_up 0Grafana 支持按unit、gpu、role等标签分组轻松把整支 Spark 集群的 GPU 状态画到一张大屏上。进阶让卡住的采集器也能告警sparkDash 还提供sparkdash_collector_last_success_timestamp_seconds带collector标签。当某个采集器如gpu卡住、sparkdash_up仍是 1 时可以用 Prometheus 告警time() - sparkdash_collector_last_success_timestamp_seconds{collectorgpu} 60这样即使 SSH 存活检查通过GPU 轮询卡死也能被及时发现进一步降低指标悄悄丢失的风险。小结步骤动作效果1Settings → Prometheus metrics开暴露GET /metrics2Prometheus 添加 scrape 任务按 15s 间隔持久化时间序列3按sparkdash_gpu_*建 Grafana 面板跨设备长期可视化4基于sparkdash_up/ 采集器时间戳做告警及时发现离线与卡死通过这一套组合sparkDash 从实时面板升级为可长期归档的 GPU 历史监控系统。数据交给 Prometheus 保存图表交给 Grafana 呈现指标丢失的问题就此迎刃而解。更多字段与部署细节可参考 README.md 的Prometheus与Metrics history章节以及 server/prometheus.js 中的指标定义。赞分享【免费下载链接】sparkDashsparkDash ⚡ — Multi-DGX Spark Monitoring Dashboard项目地址https://gitcode.com/gh_mirrors/spa/sparkDash点击查看免费下载相关推荐OpenStatus数据归档策略历史监控数据的长期存储方案OpenStatus数据归档策略历史监控数据的长期存储方案 在现代监控系统中历史数据不仅是系统运行状态的记录更是问题排查、性能优化和业务决策的重要依据。O可观测性运维后端告警4G显存畅玩AI视频创作WanVideo_comfy轻量化方案完全指南4G显存畅玩AI视频创作WanVideo_comfy轻量化方案完全指南 在AI视频生成技术快速发展的今天硬件门槛成为许多创作者面临的主要障碍。传统的视频生成人工智能大模型基础模型媒体生成视频多模态本地部署Anteon监控数据备份方案确保历史指标安全存储Anteon监控数据备份方案确保历史指标安全存储 你是否曾经因为服务器故障丢失了关键的监控数据或者因为磁盘空间不足导致历史性能指标无法追溯作为Anteon性能测试可观测性云原生上一篇一次搞定 ComfyUI 高效采样器efficiency-nodes 实时预览与 XY Plot 网格对比实操下一篇告别手写序列化reflect-cpp C反射三分钟上手指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考