Docker容器健康检查机制详解

Docker容器健康检查机制详解

在分布式系统中，健康检查机制是确保服务可用性的关键。对于Docker容器而言，除了基本的进程级健康检查外，Docker还提供了更高级的健康检查功能，可以在Dockerfile中声明应用自身的健康检测配置。本文将详细介绍Docker的健康检查机制及其在实际场景中的应用。

Docker原生健康检查能力

Docker引入了原生的健康检查实现，可以在Dockerfile中声明应用自身的健康检测配置。HEALTHCHECK指令用于声明健康检测命令，通过这个命令来判断容器主进程的服务状态是否正常，从而更真实地反映容器的实际状态。

HEALTHCHECK指令格式

• HEALTHCHECK [选项] CMD <命令>：设置检查容器健康状况的命令
• HEALTHCHECK NONE：如果基础镜像有健康检查指令，使用这行可以屏蔽掉

注：在Dockerfile中，HEALTHCHECK只能出现一次，如果写了多个，只有最后一个生效。

HEALTHCHECK支持的选项

• interval=<间隔>：两次健康检查的间隔，默认为30秒
• timeout=<间隔>：健康检查命令运行超时时间，如果超过这个时间，本次健康检查就被视为失败，默认30秒
• retries=<次数>：当连续失败指定次数后，则将容器状态视为unhealthy，默认3次
• start-period=<间隔>：应用的启动初始化时间，在启动过程中的健康检查失效不会计入，默认0秒（从17.05版本引入）

在HEALTHCHECK [选项] CMD后面的命令，格式和ENTRYPOINT一样，分为shell格式和exec格式。命令的返回值决定了该次健康检查的成功与否：

• 0：成功
• 1：失败
• 2：保留值，不要使用

容器启动之后，初始状态会为starting（启动中）。Docker Engine会等待interval时间，开始执行健康检查命令，并周期性执行。如果单次检查返回值非0或者运行需要比指定timeout时间还长，则本次检查被认为失败。如果健康检查连续失败超过了retries重试次数，状态就会变为unhealthy（不健康）。

注：

• 一旦有一次健康检查成功，Docker会将容器置回healthy（健康）状态
• 当容器的健康状态发生变化时，Docker Engine会发出一个health_status事件

实际应用示例

假设我们有个镜像是个最简单的Web服务，我们希望增加健康检查来判断其Web服务是否在正常工作，我们可以用curl来帮助判断，其Dockerfile的HEALTHCHECK可以这么写：

FROM elasticsearch:5.5

HEALTHCHECK --interval=5s --timeout=2s --retries=12 \
  CMD curl --silent --fail localhost:9200/_cluster/health || exit 1

docker build -t test/elasticsearch:5.5 .

docker run --rm -d \
  --name=elasticsearch \
  test/elasticsearch:5.5

我们可以通过docker ps，来发现过了几秒之后，Elasticsearch容器从starting状态进入了healthy状态：

$ docker ps
CONTAINER ID        IMAGE                     COMMAND                  CREATED             STATUS                       PORTS               NAMES
c9a6e68d4a7f        test/elasticsearch:5.5   "/docker-entrypoin..."   2 seconds ago       Up 2 seconds (health: starting)   9200/tcp, 9300/tcp   elasticsearch

$ docker ps
CONTAINER ID        IMAGE                     COMMAND                  CREATED             STATUS                    PORTS               NAMES
c9a6e68d4a7f        test/elasticsearch:5.5   "/docker-entrypoin..."   14 seconds ago      Up 13 seconds (healthy)   9200/tcp, 9300/tcp   elasticsearch

另外一种方法是在docker run命令中，直接指明healthcheck相关策略：

$ docker run --rm -d \
  --name=elasticsearch \
  --health-cmd="curl --silent --fail localhost:9200/_cluster/health || exit 1" \
  --health-interval=5s \
  --health-retries=12 \
  --health-timeout=2s \
  elasticsearch:5.5

为了帮助排障，健康检查命令的输出（包括stdout以及stderr）都会被存储于健康状态里，可以用docker inspect来查看。我们可以通过如下命令，来获取过去5个容器的健康检查结果：

docker inspect --format='{{json .State.Health}}' elasticsearch

或

docker inspect elasticsearch | jq ".[].State.Health"

示例结果如下：

{
  "Status": "healthy",
  "FailingStreak": 0,
  "Log": [
    {
      "Start": "2017-08-19T09:12:53.393598805Z",
      "End": "2017-08-19T09:12:53.452931792Z",
      "ExitCode": 0,
      "Output": "..."
    },
    ...
  ]
}

由于应用的开发者会更加了解应用的SLA，一般建议在Dockerfile中声明相应的健康检查策略，这样可以方便镜像的使用。对于应用的部署和运维人员，可以通过命令行参数和REST API针对部署场景对健康检查策略按需进行调整。

注：

• 阿里云容器服务同时支持Docker原生健康检测机制和阿里云的扩展检查机制
• 目前Kubernetes还不提供对Docker原生健康检查机制的支持。

Docker Swarm mode中的服务健康检查能力

在Docker Swarm mode中提供了对健康检查策略的支持。可以在docker service create命令中指明健康检查策略：

$ docker service create -d \
  --name=elasticsearch \
  --health-cmd="curl --silent --fail localhost:9200/_cluster/health || exit 1" \
  --health-interval=5s \
  --health-retries=12 \
  --health-timeout=2s \
  elasticsearch

在Swarm模式下，Swarm manager会监控服务task的健康状态，如果容器进入unhealthy状态，它会停止容器并且重新启动一个新容器来取代它。这个过程中会自动更新服务的load balancer（routing mesh）后端或者DNS记录，可以保障服务的可用性。

在服务更新阶段也增加了对健康检查的支持，这样在新容器完全启动成功并进入健康状态之前，load balancer/DNS解析不会将请求发送给它。这样可以保证应用在更新过程中请求不会中断。

总结

在企业生产环境中，合理的健康检查设置可以保证应用的可用性。现在很多应用框架已经内置了监控检查能力，比如Spring Boot Actuator。配合Docker内置的健康检测机制，可以非常简洁实现应用可用性监控，自动故障处理，和零宕机更新。