1. Loki 日志系统架构解析在生产环境中搭建日志系统时资源消耗和运维复杂度往往是最大的痛点。Loki 采用了一种独特的设计思路只对日志标签建立索引而不对日志内容建立索引。这种设计带来了几个显著优势资源消耗低相比传统 ELK 方案Loki 的内存和 CPU 使用量可降低 50-70%存储效率高日志内容采用压缩存储相同数据量下存储空间需求减少 60% 以上查询性能好通过标签快速定位日志范围再在限定范围内进行内容过滤典型的数据处理流程如下Promtail 采集节点日志附加标签日志通过 HTTP 推送到 Loki 服务端Grafana 通过 LogQL 查询语言检索日志重要提示标签设计是 Loki 使用的关键不当的标签策略会导致性能急剧下降2. 生产环境部署方案2.1 基础环境准备在开始部署前需要确保以下条件Kubernetes 集群版本 1.16Helm 3.0 已安装并配置可用的存储类StorageClass至少 100GB 的持久化存储空间节点间网络通畅2.2 Helm 部署 Loki推荐使用官方 Helm Chart 进行部署helm repo add grafana https://grafana.github.io/helm-charts helm repo update # 查看可用版本 helm search repo grafana/loki-stack --versions # 下载特定版本 helm pull grafana/loki-stack --version 2.10.2 --untar国内环境建议修改 values.yaml 中的镜像地址image: repository: swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/grafana/loki tag: 2.6.1完整部署命令示例helm upgrade --install loki ./loki-stack -n logging \ --set loki.persistence.enabledtrue \ --set loki.persistence.storageClassNamenfs-client \ --set loki.persistence.size100Gi \ --set loki.service.typeNodePort \ --set loki.service.nodePort310002.3 配置检查部署完成后验证各组件状态kubectl -n logging get pods kubectl -n logging get svc通过端口转发测试 Loki APIkubectl -n logging port-forward svc/loki 3100:3100 curl http://localhost:3100/ready3. Promtail 日志采集配置3.1 Kubernetes 节点采集对于 Kubernetes 环境推荐使用 DaemonSet 方式部署 Promtail# promtail-daemonset.yaml apiVersion: apps/v1 kind: DaemonSet metadata: name: promtail namespace: logging spec: selector: matchLabels: app: promtail template: metadata: labels: app: promtail spec: containers: - name: promtail image: grafana/promtail:2.9.3 volumeMounts: - name: logs mountPath: /var/log - name: config mountPath: /etc/promtail volumes: - name: logs hostPath: path: /var/log - name: config configMap: name: promtail-config对应的 ConfigMap 配置# promtail-configmap.yaml apiVersion: v1 kind: ConfigMap metadata: name: promtail-config namespace: logging data: promtail.yaml: | server: http_listen_port: 9080 grpc_listen_port: 0 clients: - url: http://loki:3100/loki/api/v1/push scrape_configs: - job_name: kubernetes-pods kubernetes_sd_configs: - role: pod pipeline_stages: - cri: {} relabel_configs: - source_labels: [__meta_kubernetes_pod_node_name] target_label: node - source_labels: [__meta_kubernetes_namespace] target_label: namespace - source_labels: [__meta_kubernetes_pod_name] target_label: pod - source_labels: [__meta_kubernetes_pod_container_name] target_label: container - action: replace replacement: $1 separator: / source_labels: - namespace - pod target_label: job - action: replace source_labels: [__meta_kubernetes_pod_uid] target_label: pod_uid - action: replace replacement: /var/log/pods/*$1/*.log separator: / source_labels: - __meta_kubernetes_pod_uid - __meta_kubernetes_pod_container_name target_label: __path__3.2 虚拟机日志采集对于非 Kubernetes 环境的虚拟机可以采用二进制方式部署 Promtail下载 Promtail 二进制wget https://github.com/grafana/loki/releases/download/v2.9.3/promtail-linux-amd64.zip unzip promtail-linux-amd64.zip chmod x promtail-linux-amd64 mv promtail-linux-amd64 /usr/local/bin/promtail创建配置文件/etc/promtail/config.yamlserver: http_listen_port: 9080 grpc_listen_port: 0 positions: filename: /var/log/promtail/positions.yaml clients: - url: http://loki-service:3100/loki/api/v1/push scrape_configs: - job_name: system static_configs: - targets: - localhost labels: job: system-logs host: ${HOSTNAME} __path__: /var/log/*.log创建 Systemd 服务cat /etc/systemd/system/promtail.service EOF [Unit] DescriptionPromtail service Afternetwork.target [Service] Typesimple Userpromtail ExecStart/usr/local/bin/promtail -config.file/etc/promtail/config.yaml Restartalways [Install] WantedBymulti-user.target EOF useradd --system promtail mkdir -p /var/log/promtail chown promtail:promtail /var/log/promtail systemctl daemon-reload systemctl enable --now promtail4. Grafana 集成与查询4.1 数据源配置在 Grafana 中添加 Loki 数据源导航到 Configuration → Data Sources选择 Add data source选择 Loki配置 URL 为http://loki-service:3100点击 Save Test4.2 LogQL 查询语法Loki 使用 LogQL 进行日志查询基本语法结构{label1value1, label2~regex} | filter text | logfmt | line_format {{.field}}常用查询示例查询特定命名空间的日志{namespaceproduction}过滤错误日志{namespaceproduction} | error使用正则表达式匹配{namespaceproduction} |~ timeout|deadline解析 JSON 日志{namespaceproduction} | json | status 5004.3 查询优化技巧时间范围选择对于大量日志建议先选择较小时间范围标签过滤优先先用标签缩小范围再使用内容过滤使用解析器对于结构化日志使用json或logfmt解析器限制返回行数在查询结尾添加limit 1000避免返回过多数据5. 生产环境最佳实践5.1 标签设计规范良好的标签设计是 Loki 高效运行的关键推荐标签cluster: 集群标识namespace: Kubernetes 命名空间app: 应用名称pod: Pod 名称container: 容器名称node: 节点名称job: 日志任务分类避免使用的标签高基数标签如 trace_id, user_id频繁变化的标签值长文本内容作为标签5.2 资源配额与限制建议为 Loki 设置资源限制# values.yaml 配置示例 loki: resources: limits: cpu: 2 memory: 4Gi requests: cpu: 1 memory: 2Gi同时配置 Loki 的限流参数limits_config: ingestion_rate_mb: 10 ingestion_burst_size_mb: 20 max_streams_per_user: 100005.3 日志保留策略根据业务需求配置日志保留loki: schema_config: configs: - from: 2023-01-01 store: boltdb-shipper object_store: s3 schema: v11 index: prefix: index_ period: 24h storage_config: boltdb_shipper: active_index_directory: /var/loki/index cache_location: /var/loki/cache shared_store: s35.4 监控与告警建议监控以下指标Loki 日志摄入速率查询延迟存储使用量Promtail 采集延迟示例 Prometheus 告警规则groups: - name: loki-alerts rules: - alert: HighLogIngestionRate expr: rate(loki_distributor_bytes_received_total[1m]) 10000000 for: 5m labels: severity: warning annotations: summary: High log ingestion rate description: Loki is receiving logs at {{ $value }} bytes/sec6. 常见问题排查6.1 日志采集问题症状Grafana 中查不到日志排查步骤检查 Promtail 日志kubectl logs -n logging -l apppromtail验证 Promtail 配置kubectl exec -n logging -it promtail-pod -- cat /etc/promtail/promtail.yaml检查文件权限kubectl exec -n logging -it promtail-pod -- ls -l /var/log/pods6.2 查询性能问题症状查询响应慢或超时解决方案优化查询语句先使用标签过滤缩小时间范围检查 Loki 资源使用情况考虑增加查询前端Query Frontend组件6.3 存储问题症状Loki 存储空间增长过快处理方法调整日志保留策略检查是否有异常的高日志量应用考虑使用 S3 等对象存储作为后端7. 进阶配置7.1 多租户支持Loki 支持多租户隔离需要在配置中启用auth_enabled: true客户端需要在请求头中添加租户信息X-Scope-OrgID: tenant17.2 日志采样对于高流量应用可以配置采样pipeline_stages: - match: selector: {apphigh-volume} stages: - drop: percentage: 50 source: message7.3 敏感信息过滤在 Promtail 中配置敏感信息过滤pipeline_stages: - regex: expression: (?Ppassword\bpassword\s*\s*)\S replace: ${password}******这套 Loki 日志解决方案经过多个生产环境验证在保证查询效率的同时显著降低了资源消耗。关键在于合理的标签设计和资源配置避免将 Loki 当作传统全文检索引擎使用。 
长河君 · 2026/11/3 16:26:20 · 阅读 1.2k Loki日志系统架构解析与生产环境部署指南
1. Loki 日志系统架构解析在生产环境中搭建日志系统时资源消耗和运维复杂度往往是最大的痛点。Loki 采用了一种独特的设计思路只对日志标签建立索引而不对日志内容建立索引。这种设计带来了几个显著优势资源消耗低相比传统 ELK 方案Loki 的内存和 CPU 使用量可降低 50-70%存储效率高日志内容采用压缩存储相同数据量下存储空间需求减少 60% 以上查询性能好通过标签快速定位日志范围再在限定范围内进行内容过滤典型的数据处理流程如下Promtail 采集节点日志附加标签日志通过 HTTP 推送到 Loki 服务端Grafana 通过 LogQL 查询语言检索日志重要提示标签设计是 Loki 使用的关键不当的标签策略会导致性能急剧下降2. 生产环境部署方案2.1 基础环境准备在开始部署前需要确保以下条件Kubernetes 集群版本 1.16Helm 3.0 已安装并配置可用的存储类StorageClass至少 100GB 的持久化存储空间节点间网络通畅2.2 Helm 部署 Loki推荐使用官方 Helm Chart 进行部署helm repo add grafana https://grafana.github.io/helm-charts helm repo update # 查看可用版本 helm search repo grafana/loki-stack --versions # 下载特定版本 helm pull grafana/loki-stack --version 2.10.2 --untar国内环境建议修改 values.yaml 中的镜像地址image: repository: swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/grafana/loki tag: 2.6.1完整部署命令示例helm upgrade --install loki ./loki-stack -n logging \ --set loki.persistence.enabledtrue \ --set loki.persistence.storageClassNamenfs-client \ --set loki.persistence.size100Gi \ --set loki.service.typeNodePort \ --set loki.service.nodePort310002.3 配置检查部署完成后验证各组件状态kubectl -n logging get pods kubectl -n logging get svc通过端口转发测试 Loki APIkubectl -n logging port-forward svc/loki 3100:3100 curl http://localhost:3100/ready3. Promtail 日志采集配置3.1 Kubernetes 节点采集对于 Kubernetes 环境推荐使用 DaemonSet 方式部署 Promtail# promtail-daemonset.yaml apiVersion: apps/v1 kind: DaemonSet metadata: name: promtail namespace: logging spec: selector: matchLabels: app: promtail template: metadata: labels: app: promtail spec: containers: - name: promtail image: grafana/promtail:2.9.3 volumeMounts: - name: logs mountPath: /var/log - name: config mountPath: /etc/promtail volumes: - name: logs hostPath: path: /var/log - name: config configMap: name: promtail-config对应的 ConfigMap 配置# promtail-configmap.yaml apiVersion: v1 kind: ConfigMap metadata: name: promtail-config namespace: logging data: promtail.yaml: | server: http_listen_port: 9080 grpc_listen_port: 0 clients: - url: http://loki:3100/loki/api/v1/push scrape_configs: - job_name: kubernetes-pods kubernetes_sd_configs: - role: pod pipeline_stages: - cri: {} relabel_configs: - source_labels: [__meta_kubernetes_pod_node_name] target_label: node - source_labels: [__meta_kubernetes_namespace] target_label: namespace - source_labels: [__meta_kubernetes_pod_name] target_label: pod - source_labels: [__meta_kubernetes_pod_container_name] target_label: container - action: replace replacement: $1 separator: / source_labels: - namespace - pod target_label: job - action: replace source_labels: [__meta_kubernetes_pod_uid] target_label: pod_uid - action: replace replacement: /var/log/pods/*$1/*.log separator: / source_labels: - __meta_kubernetes_pod_uid - __meta_kubernetes_pod_container_name target_label: __path__3.2 虚拟机日志采集对于非 Kubernetes 环境的虚拟机可以采用二进制方式部署 Promtail下载 Promtail 二进制wget https://github.com/grafana/loki/releases/download/v2.9.3/promtail-linux-amd64.zip unzip promtail-linux-amd64.zip chmod x promtail-linux-amd64 mv promtail-linux-amd64 /usr/local/bin/promtail创建配置文件/etc/promtail/config.yamlserver: http_listen_port: 9080 grpc_listen_port: 0 positions: filename: /var/log/promtail/positions.yaml clients: - url: http://loki-service:3100/loki/api/v1/push scrape_configs: - job_name: system static_configs: - targets: - localhost labels: job: system-logs host: ${HOSTNAME} __path__: /var/log/*.log创建 Systemd 服务cat /etc/systemd/system/promtail.service EOF [Unit] DescriptionPromtail service Afternetwork.target [Service] Typesimple Userpromtail ExecStart/usr/local/bin/promtail -config.file/etc/promtail/config.yaml Restartalways [Install] WantedBymulti-user.target EOF useradd --system promtail mkdir -p /var/log/promtail chown promtail:promtail /var/log/promtail systemctl daemon-reload systemctl enable --now promtail4. Grafana 集成与查询4.1 数据源配置在 Grafana 中添加 Loki 数据源导航到 Configuration → Data Sources选择 Add data source选择 Loki配置 URL 为http://loki-service:3100点击 Save Test4.2 LogQL 查询语法Loki 使用 LogQL 进行日志查询基本语法结构{label1value1, label2~regex} | filter text | logfmt | line_format {{.field}}常用查询示例查询特定命名空间的日志{namespaceproduction}过滤错误日志{namespaceproduction} | error使用正则表达式匹配{namespaceproduction} |~ timeout|deadline解析 JSON 日志{namespaceproduction} | json | status 5004.3 查询优化技巧时间范围选择对于大量日志建议先选择较小时间范围标签过滤优先先用标签缩小范围再使用内容过滤使用解析器对于结构化日志使用json或logfmt解析器限制返回行数在查询结尾添加limit 1000避免返回过多数据5. 生产环境最佳实践5.1 标签设计规范良好的标签设计是 Loki 高效运行的关键推荐标签cluster: 集群标识namespace: Kubernetes 命名空间app: 应用名称pod: Pod 名称container: 容器名称node: 节点名称job: 日志任务分类避免使用的标签高基数标签如 trace_id, user_id频繁变化的标签值长文本内容作为标签5.2 资源配额与限制建议为 Loki 设置资源限制# values.yaml 配置示例 loki: resources: limits: cpu: 2 memory: 4Gi requests: cpu: 1 memory: 2Gi同时配置 Loki 的限流参数limits_config: ingestion_rate_mb: 10 ingestion_burst_size_mb: 20 max_streams_per_user: 100005.3 日志保留策略根据业务需求配置日志保留loki: schema_config: configs: - from: 2023-01-01 store: boltdb-shipper object_store: s3 schema: v11 index: prefix: index_ period: 24h storage_config: boltdb_shipper: active_index_directory: /var/loki/index cache_location: /var/loki/cache shared_store: s35.4 监控与告警建议监控以下指标Loki 日志摄入速率查询延迟存储使用量Promtail 采集延迟示例 Prometheus 告警规则groups: - name: loki-alerts rules: - alert: HighLogIngestionRate expr: rate(loki_distributor_bytes_received_total[1m]) 10000000 for: 5m labels: severity: warning annotations: summary: High log ingestion rate description: Loki is receiving logs at {{ $value }} bytes/sec6. 常见问题排查6.1 日志采集问题症状Grafana 中查不到日志排查步骤检查 Promtail 日志kubectl logs -n logging -l apppromtail验证 Promtail 配置kubectl exec -n logging -it promtail-pod -- cat /etc/promtail/promtail.yaml检查文件权限kubectl exec -n logging -it promtail-pod -- ls -l /var/log/pods6.2 查询性能问题症状查询响应慢或超时解决方案优化查询语句先使用标签过滤缩小时间范围检查 Loki 资源使用情况考虑增加查询前端Query Frontend组件6.3 存储问题症状Loki 存储空间增长过快处理方法调整日志保留策略检查是否有异常的高日志量应用考虑使用 S3 等对象存储作为后端7. 进阶配置7.1 多租户支持Loki 支持多租户隔离需要在配置中启用auth_enabled: true客户端需要在请求头中添加租户信息X-Scope-OrgID: tenant17.2 日志采样对于高流量应用可以配置采样pipeline_stages: - match: selector: {apphigh-volume} stages: - drop: percentage: 50 source: message7.3 敏感信息过滤在 Promtail 中配置敏感信息过滤pipeline_stages: - regex: expression: (?Ppassword\bpassword\s*\s*)\S replace: ${password}******这套 Loki 日志解决方案经过多个生产环境验证在保证查询效率的同时显著降低了资源消耗。关键在于合理的标签设计和资源配置避免将 Loki 当作传统全文检索引擎使用。