Observability：日志管理的最佳实践 - 利用日志更快地解决问题

作者：来自 Elastic Luca Wintergerst•David Hope•Bahubali Shetti

在当今快速发展的软件开发环境中，高效的日志管理对于维护系统可靠性和性能至关重要。随着基础架构和应用程序组件的不断扩展和复杂化，运营和开发团队的职责也不断增加且越来越复杂。这篇博文概述了有效日志管理的最佳实践，以应对数据量不断增长、基础架构复杂以及快速解决问题的需求等挑战。

了解日志及其重要性

日志是基础设施内发生的事件的记录，通常包括时间戳、详细说明事件的消息以及标识来源的元数据。它们对于诊断问题、提供早期警告和加快问题解决速度非常有用。日志通常是开发人员启用的主要信号，为调试、性能分析、安全性和合规性管理提供重要详细信息。

日志记录之旅

日志记录之旅涉及三个基本步骤：收集和提取、处理和丰富以及分析和合理化。让我们详细探讨每个步骤，并介绍每个部分的一些最佳实践。

1. 日志收集和提取

收集所有相关且可操作的信息

第一步是将所有日志收集到一个中心位置。这涉及识别所有应用程序和系统并收集其日志。全面的数据收集可确保不会遗漏任何关键信息，从而提供系统行为的完整画面。如果发生事故，将所有日志集中在一个地方可以大大缩短解决问题的时间。通常，收集比所需更多的数据会更好，因为你以后总是可以过滤掉不相关的信息，以及更快地删除不再需要的日志。

利用集成

Elastic 提供 300 多个集成，可简化数据导入。这些集成不仅可以收集数据，还附带仪表板、已保存的搜索和用于解析数据的管道。利用这些集成可以显著减少人工工作并确保数据一致性。

考虑提取容量和成本

日志收集的一个重要方面是确保你拥有足够的提取容量和可控的成本。在评估解决方案时，请谨慎选择那些对高基数（high cardinality）数据收费更高的解决方案，因为这可能会导致可观察性解决方案的成本出乎意料地高。我们将在本文后面详细讨论具有成本效益的日志管理。

将 Kafka 用于大型项目

对于较大的组织，实施 Kafka 可以改善日志数据管理。Kafka 充当缓冲区，使系统更可靠、更易于管理。它允许不同的团队将数据发送到集中位置，然后可以将其提取到 Elastic 中。

2. 处理和丰富

采用 Elastic Common Schema (ECS)

日志收集的一个关键方面是在所有应用程序和基础架构中进行最大程度的规范化。拥有通用的语义模式至关重要。Elastic 向 OpenTelemetry (OTel) 贡献了 Elastic Common Schema (ECS)，帮助加速采用基于 OTel 的可观察性和安全性。这种朝着更规范化的方式定义和提取日志（包括指标和跟踪）的举措对行业有益。

使用 ECS 有助于标准化字段名称和数据结构，使数据分析和关联更容易。这种通用模式可确保你的数据以可预测的方式组织，从而促进更高效的查询和报告。在此处了解有关 ECS 的更多信息。

优化大容量数据的映射

对于高基数字段或很少使用的字段，请考虑优化或从索引中删除它们。这可以通过减少需要索引和搜索的数据量来提高性能。我们的文档中有部分内容可帮助你调整磁盘使用率、搜索速度和索引速度的设置。

管理结构化日志与非结构化日志

结构化日志通常更受欢迎，因为它们提供更多价值并且更易于使用。它们具有预定义的格式和字段，简化了信息提取和分析。对于没有预构建集成的自定义日志，你可能需要定义自己的解析规则。

对于非结构化日志，全文搜索功能可以帮助缓解限制。通过索引日志，全文搜索允许用户高效地搜索特定关键字或短语，即使在大量非结构化数据中也是如此。这是 Elastic 可观察性解决方案的主要区别之一。你可以简单地搜索任何关键字或短语并实时获得结果，而无需在查询时编写复杂的正则表达式或解析规则。

读取时模式与写入时模式

处理日志数据有两种主要方法：

读取时模式（schema-on-read）：一些可观察性仪表板功能可以执行运行时转换，以动态从未解析的源中提取字段。这在处理可能不以标准格式记录数据的旧系统或自定义应用程序时非常有用。但是，运行时解析可能非常耗时且耗资源，尤其是对于大量数据。
写入时模式（schema-on-write）：这种方法提供更好的性能和对数据的更多控制。模式是预先定义的，数据在写入时进行结构化和验证。这允许更快地处理和分析数据，这对丰富数据大有裨益。

3. 分析和合理化

全文搜索

Elastic 的全文搜索功能由 Elasticsearch 提供支持，可让你快速找到相关日志。Kibana 查询语言 (Kibana Query Language - KQL) 可提高搜索效率，使你能够筛选和深入研究数据以快速识别问题。

以下是一些 KQL 查询示例：

// Filter documents where a field exists
http.request.method: *// Filter documents that match a specific value
http.request.method: GET// Search all fields for a specific value
Hello// Filter documents where a text field contains specific terms
http.request.body.content: "null pointer"// Filter documents within a range
http.response.bytes < 10000// Combine range queries
http.response.bytes > 10000 and http.response.bytes <= 20000// Use wildcards to match patterns
http.response.status_code: 4*// Negate a query
not http.request.method: GET// Combine multiple queries with AND/OR
http.request.method: GET and http.response.status_code: 400

机器学习集成

机器学习可以自动检测日志数据中的异常和模式。Elastic 提供日志速率分析等功能，可自动识别与正常行为的偏差。通过利用机器学习，你可以在潜在问题升级之前主动解决它们。

建议组织利用各种机器学习算法和技术来有效地发现日志文件中的未知因素。应采用无监督机器学习算法来对实时数据进行异常检测，并根据严重程度进行速率控制警报。

通过自动识别影响因素，用户可以获得有价值的背景信息，以进行自动根本原因分析 (root cause analysis - RCA)。日志模式分析为非结构化日志带来分类，而日志速率分析和变化点检测有助于识别日志数据激增的根本原因。

查看文档以开始使用 Elastic 中的机器学习。

仪表板和警报

构建仪表板和设置警报可帮助你实时监控日志。仪表板以可视化方式呈现你的日志，让你更轻松地识别模式和异常。警报可在特定事件发生时通知你，让你快速采取行动。

经济高效的日志管理

使用数据层

实施索引生命周期管理以在热层、温层、冷层和冻结层之间移动数据可以显著降低存储成本。这种方法可确保只有最常访问的数据才存储在昂贵的高性能存储中，而较旧的数据则移动到更具成本效益的存储解决方案中。

我们的文档解释了如何设置索引生命周期管理。

压缩和索引排序

应用最佳压缩设置并使用索引排序可以进一步减少数据占用空间。优化数据存储在磁盘上的方式可以大幅节省存储成本并提高检索性能。从 8.15 开始，Elasticsearch 提供了一种称为 “logsdb” 的索引模式。这是一种高度优化的存储日志数据的方式。这种新的索引数据方式比默认模式占用的磁盘空间少 2.5 倍。你可以在此处相关信息。此模式会自动应用压缩、索引排序和其他优化的最佳设置组合，而这些优化以前是用户无法访问的。

有关 logsdb 的更多说明，请阅读文章 “Elasticsearch 新的索引 mode: Logsdb 初体验”。