强大的自愈能力是Kubernetes这类容器编排引擎的一个重要特性，自愈的默认实现方式是自动重启发生故障的容器，除此之外，用户还可以利用Liveness和Readiness探测机制设置更精细的健康检查，进而实现如下需求：

1. 零停机部署
2. 避免部署无效的镜像
3. 更加安全的滚动升级

默认的健康检查

1. kubernetes默认的健康检查机制：每个容器启动时都会执行一个进程，此进程由Dockerfile的CMD或者entrypoint指定，如果进程退出时返回码非零，则认为容器发生故障，kubernetes就会根据restartPolicy重启容器

2. 模拟一个容器发生故障的场景

   1. Pod的restartPolicy设置为OnFailure，默认是Always，sleep 10: exit 1，模拟容器启动10s后发生故障，执行kubectl apply创建pod，命名为healthcheck

   2. 过几分钟查看pod的状态

   3. 可以看到容器当前已经重启3次了，容器进程返回值非零，kubernetes则认为容器发生故障，需要重启

Liveness探测

1. Liveness探测让用户可以自定义判断容器是否健康的条件，如果探测失败，Kubernetes就会重启容器

2. 启动进程首先创建文件/tmp/healthy，30s后删除，在此设定中，如果tmp/healthy文件存在，则认为容器处于正常状态，反之则发生故障

3. livenessProbe部分定义如何执行Liveness探测

   1. 探测的方法是：通过cat命令检查/tmp/healthy文件是否存在，如果命令执行成功，返回值为零，kubernetes则认为本次Liveness探测成功，如果命令返回值非零，本次Liveness探测失败

   2. initialDelaySeconds：10指定容器启动10s之后开始执行Liveness探测，我们一般会根据应用启动的准备时间来设置，比如某个应用正常启动要花30s，那么initialDelaySeconds的值就应该大于30

   3. periodSeconds：5指定每5s执行一次Liveness探测，Kubernetes如果连续执行3次Liveness探测均失败，则会杀掉并重启容器

   4. 创建Pod liveness

   5. 从配置文件可知，最开始的30s，/tmp/healthy存在，cat命令返回0，Liveness探测成功，这段时间kubectl describe pod liveness的Events部分会显示正常的日志，

   6. 35秒之后，日志会显示/tmp/healthy已经不存在，Liveness探测失败，再过几十秒，几次探测都失败之后，容器会被重启
      

Readiness探测

1. 除了Liveness探测，Kubernetes Health Check机制还包括Readiness探测，用户通过Liveness探测可以告诉Kubernetes什么时候通过重启容器实现自愈，Readiness探测则是告诉Kubernetes什么时候可以将容器加入到Service负载均衡池中，对外提供服务

2. Readiness探测的配置语法与Liveness探测完全一样

3. 创建Pod，查看pod状态

4. Pod readiness的ready状态经历了如下变化：

   1. 刚被创建时，ready状态为不可用
   2. 15s后(initialDelaySeconds+periodSeconds)，第一次进行Readiness探测并成功返回，设置ready为可用
   3. 30s秒，/tmp/healthy被删除，连续3次Readiness探测均失败后，ready被设置为不可用
   4. 通过kubectl describe pod readiness也可以看到Readiness探测失败的日志

Liveness探测和Readiness探测比较：

1. Liveness探测和Readiness探测是两种Health Check机制，如果不特意配置，Kubernetes将对两种探测采取相同的默认行为，即通过判断容器启动进程的返回值是否为零来判断探测是否成功
2. 两种探测的配置方法完全一样，支持的配置参数也一样，不同之处在于探测失败后的行为：Liveness探测是重启容器，Readiness探测则是将容器设置为不可用，不接收Service转发的请求
3. Liveness探测和Readiness探测是独立执行的，二者之间没有依赖，所以可以单独使用，也可以同时使用，用Liveness探测判断容器是否需要重启以实现自愈，用Readiness探测判断容器是否已经准备好对外提供服务

Health Check 在 Scale up中的应用

1. 对于多副本应用，当执行Scale Up操作时，新副本会作为backend被添加到Service的负载均衡中，与已有副本一起处理客户的请求，考虑到应用启动通常都需要一个准备阶段，比如加载缓存数据，连接数据库等，从容器启动到真正能够提供服务是需要一段时间的，我们可以通过Readiness探测判断容器是否准备就绪，避免将请求发送到还没有准备好的backend

2. 

3. 这次使用了不同于exec的另一种探测方法httpGet，kubernetes对于该方法探测成功的判断条件是http请求的返回代码在200-400之间

   1. schema指定协议，支持HTTP(默认)和HTTPS
   2. path指定访问路径
   3. port指定端口

4. 配置解析：

   1. 容器启动10s之后开始探测
   2. 如果http://[container_ip]:8080/healthy返回代码不是200-400，表示容器没有就绪，不接收Service web-svc的请求
   3. 每隔5秒探测一次
   4. 直到返回代码为200-400，表明容器已经就绪，然后将其加入到web-svc的负载均衡中，开始处理客户请求
   5. 探测会继续以5秒的间隔执行，如果连续发生3次失败，容器又会从负载均衡中移除，直到下次探测成功重新加入

5. 对于http://[container_ip]:8080/healthy，应用则可以实现自己的判断逻辑，比如检查所依赖的数据库是否就绪

   1. 定义/healthy的处理函数
   2. 连接数据库并执行测试SQL
   3. 测试成功，正常返回，代码200
   4. 测试失败，返回错误代码503
   5. 在8080端口监听

6. 对于生产环境中重要的应用，都建议配置Health Check，保证处理客户请求的容器都是准备就绪的Service backend

Health Check在滚动更新中的应用

1. Health Check另一个重要作用的应用场景是Rolling Update，如果有一个正常运行的多副本应用，接下来对应用进行更新(比如使用更高版本的image)，Kubernetes会启动新副本，会发生如下事件：

   1. 正常情况下新副本需要10秒钟完成准备工作，在此之前无法响应业务请求
   2. 由于人为配置错误，副本始终无法完成准备工作(比如无法连接后端数据库)

2. 如果没有配置Health Check会出现怎么样的情况？

   1. 因为新副本本身没有异常退出，默认的Health Check机制会认为容器已经就绪，进而会逐步用新副本替换现有的副本，其结果就是：当所有旧副本都被替换后，整个应用将无法处理请求，无法对外提供服务，如果这是发生在重要的生产西永，后果会非常严重
   2. 如果正确配置了Health Check，新副本只有通过了Readiness探测才会被添加到Service，如果没有通过探测，现有副本不会被全部替换，业务仍然正常运行

3. 使用如下配置文件app.v1.yml模拟一个10副本的应用

4. 创建Pod，并且10秒后副本能够通过Readiness探测

5. 然后滚动更新应用，配置文件app.v2.yml

6. 由于新副本中不存在/tmp/healthy，因此无法通过Readiness探测

7. 详细解析

   1. 从kubectl get pod输出看：
      1. 从Pod的AGE栏可判断，最后5个Pod是新的副本，目前正处于Not ready状态
      2. 旧副本从最初的10个副本减少到8个
   2. 从kubectl get deployment app的输出看：
      1. desired 10表明期望的状态是10个ready的副本
      2. current 13表示当前副本的总数，即8个旧副本+5个新副本
      3. up-to-date 5表示当前已经完成更新的副本数，即5个新副本
      4. available 8 表示当前处于ready状态的副本数，即8个旧副本

8. 在设定中，新副本始终无法通过Readiness探测，所以这个状态会一直保持下去，Health Check帮我们屏蔽了有缺陷的副本，同时保留了大部分旧副本，业务没有因为更新失败受到影响

9. 为什么新创建的副本数是5个，同时只销毁了2个旧副本？

   1. 原因是滚动更新通过参数maxSurge和maxUnavailable来控制副本替换的数量

   2. maxSurge：

      1. 此参数控制滚动更新过程中副本总数超过desired的上限，maxSurge可以是具体的整数，比如3，也可以是百分比，向上取整，maxSurge默认值为25%
      2. 在上面的例子中，desired为10，那么副本总数的最大值为rpundUp(10 + 10 * 25%) = 13,所以我们看到current就是13

   3. maxUnavailable：

      1. 此参数控制滚动更新过程中，不可用的副本数占desired的最大比例，maxUnavailable可以是具体的整数，比如3，也可以是百分比，向下取整，maxUnavailable默认值为25%
      2. 上面的例子中，desired为10，那么可用的副本数至少为10 - roundDown(10*25%) = 8，所以我们看到的available是8

   4. maxSurge值越大，初始创建的新副本数量就越多，maxUnavailable值越大，初始销毁的旧副本数量就越多

   5. 理想情况下，该案例是这样的：

      1. 创建3个新副本使副本总数达到13个，
      2. 销毁2个旧副本可用的副本数降到8个，
      3. 当2个旧副本成功销毁后，在创建2个新副本，使副本总数保持为13个
      4. 当新副本通过Readiness探测后，会使可用副本数增加，超过8个
      5. 进而可以继续销毁更多的旧副本，使可用副本数回到8个
      6. 旧副本的销毁使副本总数低于13，这样就允许创建更多的新副本
      7. 这个过程会持续进行，最终所有的旧副本都会被新副本替换，滚动更新完成
      8. 而我们的实际情况是在第4步卡住，新副本无法通过Readiness探测，这个过程在kubectl describe deployment app的日志部分查看

   6. 如果滚动更新失败，可以通过kubectl rollout undo回滚到上一个版本

   7. 如果要定制maxSurge和maxUnavailable，可以进行配置