1、Overview
Apache Flink Web Dashboard
http://110.40.130.231:8081/#/overview
这张图片显示的是Apache Flink的Web UI界面，其中包含了以下几个部分：
- Available Task Slots: 显示当前可用的任务槽位数量。任务槽位是指Flink集群中可用于运行任务的资源单元。每个任务槽位代表一个并行度，可以运行一个任务实例。
- Running Jobs: 显示正在运行的作业数量。在这个例子中，没有正在运行的作业。
- Finished/Canceled/Failed Jobs: 显示已完成、取消和失败的作业数量。在这个例子中，所有这些类型的作业数量均为零。
- Running Job List: 列出了正在运行的作业列表。由于没有正在运行的作业，所以这部分为空。
- Completed Job List: 列出了已完成的作业列表。由于没有完成的作业，所以这部分也为空。
2、Task Managers
这张图片显示的是Apache Flink的Web UI中的“Task Managers”页面，它提供了关于Flink集群中Task Manager的信息。以下是各个列的含义：
- Path, ID: Task Manager的路径和ID。这是Task Manager的Akka URL，用于与其他节点通信。
- Data Port: Task Manager的数据端口。这是Task Manager用来接收数据传输的端口。
- Last Heartbeat: 最近一次心跳时间。这是Task Manager发送给Job Manager的时间戳，表示其状态更新的时间。
- All Slots: 所有的任务槽位数。每个Task Manager都有一定数量的任务槽位，用于运行任务。
- Free Slots: 当前空闲的任务槽位数。这些是可以分配给新任务的未使用的任务槽位。
- CPU Cores: Task Manager所使用的CPU核心数。
- Physical MEM: Task Manager使用的物理内存大小。
- JVM Heap Size: Task Manager Java虚拟机堆内存大小。
- Flink Managed MEM: Flink管理的内存大小。这是Flink专门用于数据处理的内存区域。
在这个例子中，只有一个Task Manager，它的相关信息如下：
- Path, ID:
akka.tcp://flink@172.21.0.2:43451/user/rpc/taskmanager_0 - Data Port:
33100 - Last Heartbeat:
2024-10-09 23:44:56 - All Slots:
1 - Free Slots:
1 - CPU Cores:
2 - Physical MEM:
3.61 GB - JVM Heap Size:
512 MB - Flink Managed MEM:
512 MB
这个页面可以帮助您监控Flink集群的状态，查看Task Manager的数量、资源使用情况以及它们的心跳时间。如果您发现某个Task Manager长时间没有心跳或者资源使用异常，可能需要进一步调查原因。
3、Job Manager
这张图片显示的是Apache Flink的Web UI中的"Job Manager"页面，具体是"Metrics"选项卡。这个页面提供了有关Flink Job Manager的详细信息，包括内存使用情况和垃圾收集器统计信息。以下是各个部分的解释：
-
Flink Memory Model: 这里展示了Flink内存模型的可视化图解，显示了总过程内存是如何划分为不同的内存池的，如Java堆内存、非堆内存、元空间和Java Overhead。
-
Effective Configuration: 这一栏显示了实际配置的内存参数值。在这个例子中：
- JVM Heap: 1.00 GB (1024 MB)
- Off-Heap Memory: 128 MB
- JVM Metaspace: 256 MB
- JVM Overhead: 192 MB
-
Metric: 这一栏显示了当前内存使用情况的百分比。在这个例子中：
- JVM Heap: 使用了201 MB (20.31% of 1024 MB)
- JVM Metaspace: 使用了49.2 MB (19.23% of 256 MB)
-
Advanced: 这一部分提供了更详细的内存使用情况，包括Java堆和非堆内存的使用情况，以及外部JVM内存的计数和容量。在这个例子中：
- JVM (Heap/Non-Heap) Memory:
- Heap: 已承诺991 MB，使用201 MB，最大991 MB
- Non-Heap: 已承诺76.9 MB，使用73.0 MB，最大744 MB
- Outside JVM Memory:
- Direct: 17个对象，使用565 KB，容量565 KB
- Mapped: 0个对象，使用0 B，容量0 B
- JVM (Heap/Non-Heap) Memory:
-
Garbage Collection: 这一部分显示了垃圾回收器的统计信息。在这个例子中：
- PS_MarkSweep: 发生了2次，耗时77毫秒
- PS_Scavenge: 发生了7次，耗时96毫秒
这个页面有助于监控Job Manager的性能和内存使用情况，以便了解系统的工作负载和优化配置。您可以根据这些指标调整Flink的配置，以提高性能或避免内存溢出错误。
