优之良衫选型指南：5个维度拆解最佳实践
凌晨两点，线上服务挂了，你盯着控制台里那一片红色的 StackTrace，满屏的 NullPointerException 和 IndexOutOfBoundsException 像天书一样堆叠。你甚至不知道是哪个微服务先炸的，更别提定位到具体哪一行代码出了问题。这种“报错一堆看不懂”的绝望感，是每个后端老鸟都经历过的至暗时刻。
别慌。今天咱们不聊虚的，直接聊怎么从这堆烂摊子里爬出来。在排查这类复杂故障时，优之良衫 并不是一个具体的产品，而是我们在工程实践中沉淀出的一套最佳实践体系——它关乎你如何组织代码、如何设计日志、以及如何构建可观测性。很多团队以为买了昂贵的监控平台就能高枕无忧，结果发现，如果代码层面的埋点和数据治理没做好，监控数据再多也只是“数字垃圾”。
作为在一线摸爬滚打十年的老兵，我见过太多因为技术选型随意、架构设计草率，导致后期维护成本呈指数级上升的案例。今天，我们就以“优之良衫”所代表的高可观测性与故障快速定位为核心诉求，对比三种主流的技术方案：ELK Stack (Elasticsearch + Logstash + Kibana)、Grafana + Loki、以及 Prometheus + OpenTelemetry。
这三种方案，哪种才是你的“救命稻草”？哪种能真正让你的团队从“救火队员”变成“架构大师”？咱们掰开了揉碎了讲。
1. 各自定位：谁在解决什么根本问题？
在深入代码之前，先搞清楚这三个家伙的“人设”。很多团队选错工具，不是因为工具不好，而是因为用错了场景。
ELK Stack 是日志领域的“老大哥”。它的核心定位是全文搜索与日志分析。当你需要在一个亿条日志里，通过关键字“OrderID: 12345”精准找到那一条报错日志，并且需要关联分析上下游服务时，ELK 是最强的。它的优势在于强大的 Lucene 索引能力，但代价是极高的存储成本和复杂的集群维护。
Grafana + Loki 是近年来的“新宠”。Loki 的核心理念是轻量级日志聚合。它不索引日志内容，只索引标签（Labels）。这意味着它的存储成本极低，查询速度快。它的定位是快速过滤与可视化。如果你的团队规模中等，主要需求是看 Trace ID 对应的日志流，而不是做复杂的日志挖掘，Loki 是性价比之王。
Prometheus + OpenTelemetry 则是指标（Metrics）与追踪（Traces）的标准制定者。Prometheus 负责采集 CPU、内存、QPS 等时序数据，OpenTelemetry (OTel) 负责标准化 Trace 数据。它们的定位不是“看日志”，而是系统健康度的实时监控与分布式追踪。当你需要回答“为什么 P99 延迟突然飙升”时，Prometheus 的告警和 OTel 的链路追踪比单纯看日志更高效。
2. 核心差异：一张表看懂选型关键
为了让你一眼看清区别，我整理了一张对比表。请注意，这里的“复杂度”不仅指部署难度，更指日常运维的认知负荷。
维度
ELK Stack
Grafana + Loki
Prometheus + OTel
核心数据类型
结构化/非结构化日志
日志（基于标签索引）
指标 (Metrics) + 追踪 (Traces)
索引策略
全文倒排索引（重）
标签索引（轻）
时序数据库索引
存储成本
高（需 SSD，扩展贵）
低（普通 HDD 即可）
中（时序数据压缩率高）
查询灵活性
极高（支持复杂 DSL）
中（LogQL 强大但受限）
低（针对指标，非日志）
部署复杂度
高（Java 堆调优难）
低（Go 编写，轻量）
中（需配置采集器）
适用团队规模
大型/超大型
中小型/敏捷团队
全规模（微服务标配）
学习曲线
陡峭（需懂 Elasticsearch）
平缓
中等（需懂监控指标）
关键点解析：
ELK 就像一台重型挖掘机，力量大但油耗高，适合挖深坑（深度日志分析）。
Loki 像一台电动螺丝刀，轻便灵活，适合快速拧螺丝（快速定位 Trace 日志）。
Prometheus 像汽车仪表盘，不告诉你发动机内部哪个螺丝松了，但告诉你转速、油量、水温是否正常。
3. 代码写法对比：从“能跑”到“好查”
光有工具不够，代码怎么写决定了你能不能查到东西。很多团队的痛点是：工具都装了，但日志打得乱七八糟，导致查询时像大海捞针。
下面我们以“用户下单接口”为例，对比三种方案下的日志埋点与追踪代码写法。假设我们使用 Java Spring Boot 作为示例语言。
方案一：ELK Stack 最佳实践
ELK 依赖结构化的 JSON 日志。最佳实践是不要打字符串拼接日志，而是打结构化字段，并强制关联 Trace ID。
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.slf4j.MDC;
import org.springframework.stereotype.Service;
import com.fasterxml.jackson.databind.ObjectMapper;
import java.util.HashMap;
import java.util.Map;
@Service
public class OrderServiceELK {
private static final Logger log = LoggerFactory.getLogger(OrderServiceELK.class);
private final ObjectMapper objectMapper = new ObjectMapper();
public void placeOrder(Long userId, String itemId) {
// 1. 设置 MDC 上下文，ELK 会自动采集这些字段
MDC.put(traceId, TR-10086);
MDC.put(userId, userId.toString());
MDC.put(service, order-service);
try {
// 2. 关键：使用结构化日志，避免字符串拼接
// 这样 ELK 可以直接对字段进行聚合和筛选
MapString, Object logContext = new HashMap();
logContext.put(eventType, ORDER_PLACED);
logContext.put(itemId, itemId);
logContext.put(timestamp, System.currentTimeMillis());
log.info(Order placed successfully: {}, objectMapper.writeValueAsString(logContext));
} catch (Exception e) {
// 3. 异常处理：必须包含完整堆栈，但要把业务参数结构化
MapString, Object errorContext = new HashMap();
errorContext.put(errorType, e.getClass().getSimpleName());
errorContext.put(message, e.getMessage());
errorContext.put(userId, userId);
log.error(Order placement failed: {}, objectMapper.writeValueAsString(errorContext), e);
} finally {
// 4. 清理 MDC，防止线程池复用导致数据污染
MDC.clear();
}
}
}
逐行讲解：
MDC (Mapped Diagnostic Context)：这是 ELK 能自动关联上下文的灵魂。如果不设 MDC，你的 Trace ID 就得硬编码在日志字符串里，查询时全靠正则，痛苦不堪。
ObjectMapper 序列化：确保日志输出是合法的 JSON。Kibana 的 Discover 页面可以直接展开 JSON 字段，点击 userId 就能过滤所有该用户的操作。
MDC.clear()：在 finally 块中清理是最佳实践中的易错点。在线程池环境下，如果不清理，下一个请求会带上上一个请求的 Trace ID，导致日志错乱。
方案二：Grafana + Loki 最佳实践
Loki 不索引内容，只索引标签。因此，代码层面的最佳实践是将关键标识符（如 Trace ID、用户 ID）暴露为 Label，而不是埋在日志内容里。
import io.micrometer.core.instrument.Counter;
import io.micrometer.core.instrument.Timer;
import io.micrometer.core.instrument.Metrics;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.slf4j.MDC;
import org.springframework.stereotype.Service;
@Service
public class OrderServiceLoki {
private static final Logger log = LoggerFactory.getLogger(OrderServiceLoki.class);
// 使用 Micrometer 暴露指标，Prometheus/Loki 可抓取
private final Counter orderCounter = Metrics.counter(order.placement.total, service, order-service);
private final Timer orderTimer = Metrics.timer(order.placement.duration);
public void placeOrder(Long userId, String itemId) {
String traceId = TR-10086;
// 1. Loki 最佳实践：Label 必须稳定且基数低
// 注意：不要将 userId 或 traceId 作为 Label 直接暴露给 Prometheus 指标
// 因为 Loki 的 Label 基数爆炸会导致性能灾难
// 但 MDC 依然用于日志内容的上下文关联
MDC.put(traceId, traceId);
MDC.put(userId, userId.toString());
// 2. 使用 Timer 记录耗时，Grafana 可直接绘制 P99 延迟
orderTimer.record(() - {
try {
// 3. 日志内容保持简洁，依靠 MDC 注入的标签进行查询
// Loki 查询语法: {service=order-service, traceId=TR-10086}
log.info(Order placed);
orderCounter.increment();
} catch (Exception e) {
// 4. 异常日志同样依靠标签关联
log.error(Order failed, e);
// 可以在这里增加一个 error 计数器
Metrics.counter(order.placement.errors, exception, e.getClass().getSimpleName()).increment();
}
});
}
}
逐行讲解：
Label 基数陷阱：这是 Loki 用户最大的坑。绝对不要把 userId、orderId 这种高基数变量作为 Prometheus 指标的 Label。这会导致时间序列数量爆炸，内存溢出。Loki 通过 MDC 标签在日志文件中匹配，而不需要预索引内容，所以相对安全，但也要避免在日志格式中硬编码过多的动态字段。
Micrometer 集成：Loki 通常与 Grafana 一起使用，而 Grafana 强项是可视化指标。通过 Micrometer 暴露 Timer 和 Counter，你可以在 Grafana 面板上直接看到“下单失败率”和“平均耗时”，点击图表可以直接跳转到对应的 Loki 日志（通过 Trace ID 关联）。
方案三：Prometheus + OpenTelemetry 最佳实践
OTel 的目标是统一 Traces、Metrics 和 Logs。最佳实践是使用 OTel SDK 自动注入上下文，手动埋点仅用于业务关键路径。
import io.opentelemetry.api.trace.Span;
import io.opentelemetry.api.trace.StatusCode;
import io.opentelemetry.context.Scope;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Service;
@Service
public class OrderServiceOTel {
private static final Logger log = LoggerFactory.getLogger(OrderServiceOTel.class);
private final Tracer tracer = GlobalOpenTelemetry.getTracer(order-service);
public void placeOrder(Long userId, String itemId) {
// 1. 手动创建 Span（如果框架未自动拦截 HTTP 入口）
Span span = tracer.spanBuilder(PlaceOrder).startSpan();
try (Scope scope = span.makeCurrent()) {
// 2. 在 Span 上添加属性，这些属性会出现在 Trace 可视化中
span.setAttribute(order.user_id, userId);
span.setAttribute(order.item_id, itemId);
// 3. 日志关联：OTel 会自动将 Trace ID 和 Span ID 注入日志上下文
// 你只需要正常打日志，OTel Agent 会帮你把日志里的 traceId 关联起来
log.info(Processing order for user {}, userId);
// 模拟业务逻辑
if (itemId.equals(invalid)) {
throw new IllegalArgumentException(Invalid item);
}
log.info(Order processed successfully);
} catch (Exception e) {
// 4. 记录异常，Span 状态会自动变为 ERROR
span.recordException(e);
span.setStatus(StatusCode.ERROR, e.getMessage());
log.error(Order processing failed, e);
throw e;
} finally {
// 5. 结束 Span，数据会被发送到 OTel Collector
span.end();
}
}
}
逐行讲解：
自动关联：这是 OTel 的核心价值。你不需要在日志里手动打印 traceId。OTel Java Agent 会自动拦截 log.info 调用，并将当前的 Trace ID 注入到 MDC 或日志结构中。
Span 属性：span.setAttribute 允许你在 Jaeger/Zipkin 等 Trace 可视化平台上，直接看到“这是用户 1001 买的商品 A”。这比在日志里搜索高效得多。
StatusCode：显式设置 Span 状态，使得在 Trace 列表中，失败的请求会以红色高亮显示，一目了然。
4. 适用场景：别为了技术而技术
没有银弹，只有最适合你当前阶段的锤子。
选 ELK Stack，如果：
你的日志量在每天 100GB 以上。
你需要进行复杂的日志挖掘，比如统计过去一个月内，所有包含“Timeout”且用户等级为“VIP”的请求分布。
你有专门的 SRE 团队维护 Elasticsearch 集群。
痛点解决：当你面对海量非结构化数据，需要像查数据库一样查日志时。
选 Grafana + Loki，如果：
你的团队规模在 10-50 人 的中型初创或成长期公司。
你的主要需求是快速定位问题，而不是做日志报表。
你希望降低基础设施成本，不想维护复杂的 ES 集群。
痛点解决：当你需要快速根据 Trace ID 找到整条链路的日志，且预算有限时。
选 Prometheus + OTel，如果：
你采用微服务架构，服务数量超过 10 个。
你关注系统性能指标（QPS、延迟、错误率）多于日志内容。
你希望统一监控栈，避免“监控孤岛”。
痛点解决：当你需要回答“哪个服务拖慢了整体响应速度”时。
实战建议：
大多数中大型互联网公司的最佳实践是组合拳：
Prometheus + OTel 作为核心，监控指标和分布式追踪。
Loki 作为日志层，存储短期（7-14天）的热日志，用于快速排障。
S3/MinIO + ELK（可选）作为冷存储，将过期的日志归档，仅在对历史数据进行深度分析时启用。
5. 选型建议与避坑指南
在落地过程中，我见过太多团队踩坑。这里给出三条血泪教训级别的建议：
1. 日志规范先行，工具后置
不要一上来就纠结选哪个监控平台。先定义日志规范。
统一格式：强制 JSON 格式。
必备字段：timestamp, level, service, traceId, spanId, message。
敏感信息脱敏：手机号、身份证、密码严禁明文落盘。这不仅是安全合规要求，也是数据治理的基础。
2. 警惕 Label 基数爆炸
无论是 Prometheus 还是 Loki，高基数 Label 都是性能杀手。
错误示例：{status=200, user_id=1001} - 用户量百万，序列量百万。
正确示例：{status=200} - 序列量恒定。用户 ID 放在日志内容或 Trace 属性中，而不是指标标签中。
3. 可观测性 ≠ 监控
监控是看“系统是否健康”，可观测性是看“系统为什么健康/不健康”。
只有 Dashboard 和 Alert 是监控。
拥有 Metrics + Traces + Logs 三支柱，并能通过 Trace ID 从指标跳转到日志，再到具体代码行，这才是可观测性。
在引入工具前，问自己：如果线上出现一个从未见过的 Bug，我能用现有的工具在 5 分钟内定位到代码行吗？如果不能，你的可观测性体系就是残缺的。
关于 RFC 与标准化的补充
在构建这套体系时，强烈建议遵循 RFC 6455 (WebSocket) 和 HTTP/2 规范进行网络层优化，因为很多“性能问题”其实出在网络层而非代码层。同时，OpenTelemetry 规范正在成为行业标准，尽早对齐 OTel 的语义约定（Semantic Conventions），可以确保你的 Trace 数据在未来被任何厂商的工具兼容。
技术选型的本质，不是选最贵的，也不是选最新的，而是选与你团队认知水平、业务复杂度、预算相匹配的。
优之良衫不是一句口号，而是你在每一次 Stacktrace 面前，都能从容应对的底气。
还有什么不懂的？评论区留言挨个回。 特别是关于 Loki 的 Label 配置，或者 ELK 的索引生命周期管理（ILM），有很多细节坑，欢迎抛出你的具体场景，咱们一起拆解。 
长河君 · 2026/9/21 17:42:21 · 阅读 1.2k 优之良衫选型指南：5个维度拆解最佳实践
优之良衫选型指南：5个维度拆解最佳实践
凌晨两点，线上服务挂了，你盯着控制台里那一片红色的 StackTrace，满屏的 NullPointerException 和 IndexOutOfBoundsException 像天书一样堆叠。你甚至不知道是哪个微服务先炸的，更别提定位到具体哪一行代码出了问题。这种“报错一堆看不懂”的绝望感，是每个后端老鸟都经历过的至暗时刻。
别慌。今天咱们不聊虚的，直接聊怎么从这堆烂摊子里爬出来。在排查这类复杂故障时，优之良衫 并不是一个具体的产品，而是我们在工程实践中沉淀出的一套最佳实践体系——它关乎你如何组织代码、如何设计日志、以及如何构建可观测性。很多团队以为买了昂贵的监控平台就能高枕无忧，结果发现，如果代码层面的埋点和数据治理没做好，监控数据再多也只是“数字垃圾”。
作为在一线摸爬滚打十年的老兵，我见过太多因为技术选型随意、架构设计草率，导致后期维护成本呈指数级上升的案例。今天，我们就以“优之良衫”所代表的高可观测性与故障快速定位为核心诉求，对比三种主流的技术方案：ELK Stack (Elasticsearch + Logstash + Kibana)、Grafana + Loki、以及 Prometheus + OpenTelemetry。
这三种方案，哪种才是你的“救命稻草”？哪种能真正让你的团队从“救火队员”变成“架构大师”？咱们掰开了揉碎了讲。
1. 各自定位：谁在解决什么根本问题？
在深入代码之前，先搞清楚这三个家伙的“人设”。很多团队选错工具，不是因为工具不好，而是因为用错了场景。
ELK Stack 是日志领域的“老大哥”。它的核心定位是全文搜索与日志分析。当你需要在一个亿条日志里，通过关键字“OrderID: 12345”精准找到那一条报错日志，并且需要关联分析上下游服务时，ELK 是最强的。它的优势在于强大的 Lucene 索引能力，但代价是极高的存储成本和复杂的集群维护。
Grafana + Loki 是近年来的“新宠”。Loki 的核心理念是轻量级日志聚合。它不索引日志内容，只索引标签（Labels）。这意味着它的存储成本极低，查询速度快。它的定位是快速过滤与可视化。如果你的团队规模中等，主要需求是看 Trace ID 对应的日志流，而不是做复杂的日志挖掘，Loki 是性价比之王。
Prometheus + OpenTelemetry 则是指标（Metrics）与追踪（Traces）的标准制定者。Prometheus 负责采集 CPU、内存、QPS 等时序数据，OpenTelemetry (OTel) 负责标准化 Trace 数据。它们的定位不是“看日志”，而是系统健康度的实时监控与分布式追踪。当你需要回答“为什么 P99 延迟突然飙升”时，Prometheus 的告警和 OTel 的链路追踪比单纯看日志更高效。
2. 核心差异：一张表看懂选型关键
为了让你一眼看清区别，我整理了一张对比表。请注意，这里的“复杂度”不仅指部署难度，更指日常运维的认知负荷。
维度
ELK Stack
Grafana + Loki
Prometheus + OTel
核心数据类型
结构化/非结构化日志
日志（基于标签索引）
指标 (Metrics) + 追踪 (Traces)
索引策略
全文倒排索引（重）
标签索引（轻）
时序数据库索引
存储成本
高（需 SSD，扩展贵）
低（普通 HDD 即可）
中（时序数据压缩率高）
查询灵活性
极高（支持复杂 DSL）
中（LogQL 强大但受限）
低（针对指标，非日志）
部署复杂度
高（Java 堆调优难）
低（Go 编写，轻量）
中（需配置采集器）
适用团队规模
大型/超大型
中小型/敏捷团队
全规模（微服务标配）
学习曲线
陡峭（需懂 Elasticsearch）
平缓
中等（需懂监控指标）
关键点解析：
ELK 就像一台重型挖掘机，力量大但油耗高，适合挖深坑（深度日志分析）。
Loki 像一台电动螺丝刀，轻便灵活，适合快速拧螺丝（快速定位 Trace 日志）。
Prometheus 像汽车仪表盘，不告诉你发动机内部哪个螺丝松了，但告诉你转速、油量、水温是否正常。
3. 代码写法对比：从“能跑”到“好查”
光有工具不够，代码怎么写决定了你能不能查到东西。很多团队的痛点是：工具都装了，但日志打得乱七八糟，导致查询时像大海捞针。
下面我们以“用户下单接口”为例，对比三种方案下的日志埋点与追踪代码写法。假设我们使用 Java Spring Boot 作为示例语言。
方案一：ELK Stack 最佳实践
ELK 依赖结构化的 JSON 日志。最佳实践是不要打字符串拼接日志，而是打结构化字段，并强制关联 Trace ID。
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.slf4j.MDC;
import org.springframework.stereotype.Service;
import com.fasterxml.jackson.databind.ObjectMapper;
import java.util.HashMap;
import java.util.Map;
@Service
public class OrderServiceELK {
private static final Logger log = LoggerFactory.getLogger(OrderServiceELK.class);
private final ObjectMapper objectMapper = new ObjectMapper();
public void placeOrder(Long userId, String itemId) {
// 1. 设置 MDC 上下文，ELK 会自动采集这些字段
MDC.put(traceId, TR-10086);
MDC.put(userId, userId.toString());
MDC.put(service, order-service);
try {
// 2. 关键：使用结构化日志，避免字符串拼接
// 这样 ELK 可以直接对字段进行聚合和筛选
MapString, Object logContext = new HashMap();
logContext.put(eventType, ORDER_PLACED);
logContext.put(itemId, itemId);
logContext.put(timestamp, System.currentTimeMillis());
log.info(Order placed successfully: {}, objectMapper.writeValueAsString(logContext));
} catch (Exception e) {
// 3. 异常处理：必须包含完整堆栈，但要把业务参数结构化
MapString, Object errorContext = new HashMap();
errorContext.put(errorType, e.getClass().getSimpleName());
errorContext.put(message, e.getMessage());
errorContext.put(userId, userId);
log.error(Order placement failed: {}, objectMapper.writeValueAsString(errorContext), e);
} finally {
// 4. 清理 MDC，防止线程池复用导致数据污染
MDC.clear();
}
}
}
逐行讲解：
MDC (Mapped Diagnostic Context)：这是 ELK 能自动关联上下文的灵魂。如果不设 MDC，你的 Trace ID 就得硬编码在日志字符串里，查询时全靠正则，痛苦不堪。
ObjectMapper 序列化：确保日志输出是合法的 JSON。Kibana 的 Discover 页面可以直接展开 JSON 字段，点击 userId 就能过滤所有该用户的操作。
MDC.clear()：在 finally 块中清理是最佳实践中的易错点。在线程池环境下，如果不清理，下一个请求会带上上一个请求的 Trace ID，导致日志错乱。
方案二：Grafana + Loki 最佳实践
Loki 不索引内容，只索引标签。因此，代码层面的最佳实践是将关键标识符（如 Trace ID、用户 ID）暴露为 Label，而不是埋在日志内容里。
import io.micrometer.core.instrument.Counter;
import io.micrometer.core.instrument.Timer;
import io.micrometer.core.instrument.Metrics;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.slf4j.MDC;
import org.springframework.stereotype.Service;
@Service
public class OrderServiceLoki {
private static final Logger log = LoggerFactory.getLogger(OrderServiceLoki.class);
// 使用 Micrometer 暴露指标，Prometheus/Loki 可抓取
private final Counter orderCounter = Metrics.counter(order.placement.total, service, order-service);
private final Timer orderTimer = Metrics.timer(order.placement.duration);
public void placeOrder(Long userId, String itemId) {
String traceId = TR-10086;
// 1. Loki 最佳实践：Label 必须稳定且基数低
// 注意：不要将 userId 或 traceId 作为 Label 直接暴露给 Prometheus 指标
// 因为 Loki 的 Label 基数爆炸会导致性能灾难
// 但 MDC 依然用于日志内容的上下文关联
MDC.put(traceId, traceId);
MDC.put(userId, userId.toString());
// 2. 使用 Timer 记录耗时，Grafana 可直接绘制 P99 延迟
orderTimer.record(() - {
try {
// 3. 日志内容保持简洁，依靠 MDC 注入的标签进行查询
// Loki 查询语法: {service=order-service, traceId=TR-10086}
log.info(Order placed);
orderCounter.increment();
} catch (Exception e) {
// 4. 异常日志同样依靠标签关联
log.error(Order failed, e);
// 可以在这里增加一个 error 计数器
Metrics.counter(order.placement.errors, exception, e.getClass().getSimpleName()).increment();
}
});
}
}
逐行讲解：
Label 基数陷阱：这是 Loki 用户最大的坑。绝对不要把 userId、orderId 这种高基数变量作为 Prometheus 指标的 Label。这会导致时间序列数量爆炸，内存溢出。Loki 通过 MDC 标签在日志文件中匹配，而不需要预索引内容，所以相对安全，但也要避免在日志格式中硬编码过多的动态字段。
Micrometer 集成：Loki 通常与 Grafana 一起使用，而 Grafana 强项是可视化指标。通过 Micrometer 暴露 Timer 和 Counter，你可以在 Grafana 面板上直接看到“下单失败率”和“平均耗时”，点击图表可以直接跳转到对应的 Loki 日志（通过 Trace ID 关联）。
方案三：Prometheus + OpenTelemetry 最佳实践
OTel 的目标是统一 Traces、Metrics 和 Logs。最佳实践是使用 OTel SDK 自动注入上下文，手动埋点仅用于业务关键路径。
import io.opentelemetry.api.trace.Span;
import io.opentelemetry.api.trace.StatusCode;
import io.opentelemetry.context.Scope;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Service;
@Service
public class OrderServiceOTel {
private static final Logger log = LoggerFactory.getLogger(OrderServiceOTel.class);
private final Tracer tracer = GlobalOpenTelemetry.getTracer(order-service);
public void placeOrder(Long userId, String itemId) {
// 1. 手动创建 Span（如果框架未自动拦截 HTTP 入口）
Span span = tracer.spanBuilder(PlaceOrder).startSpan();
try (Scope scope = span.makeCurrent()) {
// 2. 在 Span 上添加属性，这些属性会出现在 Trace 可视化中
span.setAttribute(order.user_id, userId);
span.setAttribute(order.item_id, itemId);
// 3. 日志关联：OTel 会自动将 Trace ID 和 Span ID 注入日志上下文
// 你只需要正常打日志，OTel Agent 会帮你把日志里的 traceId 关联起来
log.info(Processing order for user {}, userId);
// 模拟业务逻辑
if (itemId.equals(invalid)) {
throw new IllegalArgumentException(Invalid item);
}
log.info(Order processed successfully);
} catch (Exception e) {
// 4. 记录异常，Span 状态会自动变为 ERROR
span.recordException(e);
span.setStatus(StatusCode.ERROR, e.getMessage());
log.error(Order processing failed, e);
throw e;
} finally {
// 5. 结束 Span，数据会被发送到 OTel Collector
span.end();
}
}
}
逐行讲解：
自动关联：这是 OTel 的核心价值。你不需要在日志里手动打印 traceId。OTel Java Agent 会自动拦截 log.info 调用，并将当前的 Trace ID 注入到 MDC 或日志结构中。
Span 属性：span.setAttribute 允许你在 Jaeger/Zipkin 等 Trace 可视化平台上，直接看到“这是用户 1001 买的商品 A”。这比在日志里搜索高效得多。
StatusCode：显式设置 Span 状态，使得在 Trace 列表中，失败的请求会以红色高亮显示，一目了然。
4. 适用场景：别为了技术而技术
没有银弹，只有最适合你当前阶段的锤子。
选 ELK Stack，如果：
你的日志量在每天 100GB 以上。
你需要进行复杂的日志挖掘，比如统计过去一个月内，所有包含“Timeout”且用户等级为“VIP”的请求分布。
你有专门的 SRE 团队维护 Elasticsearch 集群。
痛点解决：当你面对海量非结构化数据，需要像查数据库一样查日志时。
选 Grafana + Loki，如果：
你的团队规模在 10-50 人 的中型初创或成长期公司。
你的主要需求是快速定位问题，而不是做日志报表。
你希望降低基础设施成本，不想维护复杂的 ES 集群。
痛点解决：当你需要快速根据 Trace ID 找到整条链路的日志，且预算有限时。
选 Prometheus + OTel，如果：
你采用微服务架构，服务数量超过 10 个。
你关注系统性能指标（QPS、延迟、错误率）多于日志内容。
你希望统一监控栈，避免“监控孤岛”。
痛点解决：当你需要回答“哪个服务拖慢了整体响应速度”时。
实战建议：
大多数中大型互联网公司的最佳实践是组合拳：
Prometheus + OTel 作为核心，监控指标和分布式追踪。
Loki 作为日志层，存储短期（7-14天）的热日志，用于快速排障。
S3/MinIO + ELK（可选）作为冷存储，将过期的日志归档，仅在对历史数据进行深度分析时启用。
5. 选型建议与避坑指南
在落地过程中，我见过太多团队踩坑。这里给出三条血泪教训级别的建议：
1. 日志规范先行，工具后置
不要一上来就纠结选哪个监控平台。先定义日志规范。
统一格式：强制 JSON 格式。
必备字段：timestamp, level, service, traceId, spanId, message。
敏感信息脱敏：手机号、身份证、密码严禁明文落盘。这不仅是安全合规要求，也是数据治理的基础。
2. 警惕 Label 基数爆炸
无论是 Prometheus 还是 Loki，高基数 Label 都是性能杀手。
错误示例：{status=200, user_id=1001} - 用户量百万，序列量百万。
正确示例：{status=200} - 序列量恒定。用户 ID 放在日志内容或 Trace 属性中，而不是指标标签中。
3. 可观测性 ≠ 监控
监控是看“系统是否健康”，可观测性是看“系统为什么健康/不健康”。
只有 Dashboard 和 Alert 是监控。
拥有 Metrics + Traces + Logs 三支柱，并能通过 Trace ID 从指标跳转到日志，再到具体代码行，这才是可观测性。
在引入工具前，问自己：如果线上出现一个从未见过的 Bug，我能用现有的工具在 5 分钟内定位到代码行吗？如果不能，你的可观测性体系就是残缺的。
关于 RFC 与标准化的补充
在构建这套体系时，强烈建议遵循 RFC 6455 (WebSocket) 和 HTTP/2 规范进行网络层优化，因为很多“性能问题”其实出在网络层而非代码层。同时，OpenTelemetry 规范正在成为行业标准，尽早对齐 OTel 的语义约定（Semantic Conventions），可以确保你的 Trace 数据在未来被任何厂商的工具兼容。
技术选型的本质，不是选最贵的，也不是选最新的，而是选与你团队认知水平、业务复杂度、预算相匹配的。
优之良衫不是一句口号，而是你在每一次 Stacktrace 面前，都能从容应对的底气。
还有什么不懂的？评论区留言挨个回。 特别是关于 Loki 的 Label 配置，或者 ELK 的索引生命周期管理（ILM），有很多细节坑，欢迎抛出你的具体场景，咱们一起拆解。