Kubernetes数据持久化实战

默认情况下Pod挂载在磁盘上的文件生命周期与Pod生命周期是一致的，若Pod出现崩溃的情况，kubelet 将会重启它，这将会造成Pod中的文件将丢失，因为Pod会以镜像最初的状态重新启动。在实际应用当中，我们有很多时候需要将容器中的数据保留下来，比如在Kubernetes中部署了MySql，不能因为MySql容器挂掉重启而上面的数据全部丢失；其次，在 Pod 中同时运行多个容器时，这些容器之间可能需要共享文件。也有时我们需要预置配置文件，使其在容器中生效，例如自定义了mysql.cnf文件在MySql启动时就需要加载此配置文件。这些都将是今天我们将要实战解决的问题。

今天我们讲解下面常用存储类型：

• secret
• configMap
• emptyDir
• hostPath
• nfs
• persistentVolumeClaim

secret

secret对象允许您存储和管理敏感信息，例如密码，OAuth令牌和ssh密钥。将此类信息放入一个secret中可以更好地控制它的用途，并降低意外暴露的风险。

使用场景

鉴权配置文件挂载

使用示例

在CI中push构建好的镜像就可以将docker鉴权的config.json文件存入secret对象中，再挂载到CI的Pod中，从而进行权限认证。

• 首先在创建secret

  $ kubectl create secret docker-registry docker-config  --docker-server=https://hub.docker.com --docker-username=username --docker-password=password
  secret/docker-config created

• 新建docker-pod.yaml文件，粘贴以下信息：

  apiVersion: v1
  kind: Pod
  metadata:
    name: docker
  spec:
    containers:
    - name: docker
      image: docker
      command:
        - sleep
        - "3600"
      volumeMounts:
      - name: config
        mountPath: /root/.docker/
    volumes:
    - name: config
      secret:
        secretName: docker-config
        items:
        - key: .dockerconfigjson
          path: config.json
          mode: 0644

• Docker Pod挂载secret

  $ kubectl apply -f docker-pod.yaml
  pod/docker created

• 查看挂载效果

  $ kubectl exec docker -- cat /root/.docker/config.json
  {"auths":{"https://hub.docker.com":{"username":"username","password":"password","auth":"dXNlcm5hbWU6cGFzc3dvcmQ="}}}

• 清理环境

  $ kubectl delete pod docker
  $ kubectl delete secret docker-config

configMap

许多应用程序会从配置文件、命令行参数或环境变量中读取配置信息。这些配置信息需要与docker image解耦ConfigMap API给我们提供了向容器中注入配置信息的机制，ConfigMap可以被用来保存单个属性，也可以用来保存整个配置文件。

使用场景

配置信息文件挂载

使用示例

使用ConfigMap中的数据来配置Redis缓存

• 创建example-redis-config.yaml文件，粘贴以下信息：

  apiVersion: v1
  kind: ConfigMap
  metadata:
    name: example-redis-config
  data:
    redis-config: |
      maxmemory 2mb
      maxmemory-policy allkeys-lru

• 创建ConfigMap

  $ kubectl apply -f example-redis-config.yaml
  configmap/example-redis-config created

• 创建example-redis.yaml文件，粘贴以下信息：

  apiVersion: v1
  kind: Pod
  metadata:
    name: redis
  spec:
    containers:
    - name: redis
      image: kubernetes/redis:v1
      env:
      - name: MASTER
        value: "true"
      ports:
      - containerPort: 6379
      resources:
        limits:
          cpu: "0.1"
      volumeMounts:
      - mountPath: /redis-master-data
        name: data
      - mountPath: /redis-master
        name: config
    volumes:
      - name: data
        emptyDir: {}
      - name: config
        configMap:
          name: example-redis-config
          items:
          - key: redis-config
            path: redis.conf

• Redis Pod挂载ConfigMap测试

  $ kubectl apply -f example-redis.yaml
  pod/redis created

• 查看挂载效果

  $ kubectl exec -it redis redis-cli
  $ 127.0.0.1:6379> CONFIG GET maxmemory
  1) "maxmemory"
  2) "2097152"
  $ 127.0.0.1:6379> CONFIG GET maxmemory-policy
  1) "maxmemory-policy"
  2) "allkeys-lru"

• 清理环境

  $ kubectl delete pod redis
  $ kubectl delete configmap example-redis-config

emptyDir

当使用emptyDir卷的Pod在节点创建时，会在该节点创建一个新的空目录，只要该Pod运行在该节点，该目录会一直存在，Pod内的所有容器可以将改目录挂载到不同的挂载点，但都可以读写emptyDir内的文件。当Pod不论什么原因被删除，emptyDir的数据都会永远被删除（一个Container Crash 并不会在该节点删除Pod，因此在Container crash时，数据不会丢失）。默认情况下，emptyDir支持任何类型的后端存储：disk、ssd、网络存储。也可以通过设置 emptyDir.medium 为Memory，kubernetes会默认mount一个tmpfs（RAM-backed filesystem），因为是RAM Backed,因此 tmpfs 通常很快。但是会在容器重启或者crash时，数据丢失。

使用场景

同一Pod内各容器共享存储

使用示例

在容器a中生成hello文件，通过容器b输出文件内容

• 创建test-emptydir.yaml文件，粘贴以下信息：

  apiVersion: v1
  kind: Pod
  metadata:
    name: test-emptydir
  spec:
    containers:
    - image: alpine
      name: container-a
      command:
        - /bin/sh
      args:
        - -c
        - echo 'I am container-a' >> /cache-a/hello && sleep 3600
      volumeMounts:
      - mountPath: /cache-a
        name: cache-volume
    - image: alpine
      name: container-b
      command:
        - sleep
        - "3600"
      volumeMounts:
      - mountPath: /cache-b
        name: cache-volume
    volumes:
    - name: cache-volume
      emptyDir: {}

• 创建Pod

  kubectl apply -f test-emptydir.yaml
  pod/test-emptydir created

• 测试

  $ kubectl exec test-emptydir -c container-b -- cat /cache-b/hello
  I am container-a

• 清理环境

  $ kubectl delete pod test-emptydir

hostPath

将宿主机对应目录直接挂载到运行在该节点的容器中。使用该类型的卷，需要注意以下几个方面：

1. 使用同一个模板创建的Pod，由于不同的节点有不同的目录信息，可能会导致不同的结果
2. 如果kubernetes增加了已知资源的调度，该调度不会考虑hostPath使用的资源
3. 如果宿主机目录上已经存在的目录，只可以被root可以写，所以容器需要root权限访问该目录，或者修改目录权限

使用场景

运行的容器需要访问宿主机的信息，比如Docker内部信息/var/lib/docker目录，容器内运行cadvisor，需要访问/dev/cgroups

使用示例

使用Docker socket binding模式在列出宿主机镜像列表。

• 创建test-hostpath.yaml文件，粘贴以下信息：

  apiVersion: v1
  kind: Pod
  metadata:
    name: test-hostpath
  spec:
    containers:
    - image: docker
      name: test-hostpath
      command:
        - sleep
        - "3600"
      volumeMounts:
      - mountPath: /var/run/docker.sock
        name: docker-sock
    volumes:
    - name: docker-sock
      hostPath:
        path: /var/run/docker.sock
        type: Socket

• 创建test-hostpath Pod

  $ kubectl apply -f test-hostpath.yaml
  pod/test-hostpath created

• 测试是否成功

  $ kubectl exec test-hostpath docker images
  REPOSITORY      IMAGE ID        CREATED         SIZE
  docker          639de9917ae1    13 days ago     171MB
  ...

NFS存储卷

nfs 卷允许将现有的 NFS（网络文件系统）共享挂载到您的容器中。不像 emptyDir，当删除 Pod 时，nfs 卷的内容被保留，卷仅仅是被卸载。这意味着 nfs 卷可以预填充数据，并且可以在 pod 之间共享数据。 NFS 可以被多个写入者同时挂载。

重要提示： 您必须先拥有自己的 NFS 服务器然后才能使用它。

使用场景

不同节点Pod使用统一nfs共享目录

使用示例

• 创建test-nfs.yaml文件，粘贴以下信息：

  apiVersion: apps/v1
  kind: Deployment
  metadata:
    name: test-nfs
  spec:
    selector:
      matchLabels:
        app: store
    replicas: 2
    template:
      metadata:
        labels:
          app: store
      spec:
        volumes:
        - name: data
          nfs:
            server: nfs.server.com
            path: /
        affinity:
          podAntiAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchExpressions:
                - key: app
                  operator: In
                  values:
                  - store
              topologyKey: "kubernetes.io/hostname"
        containers:
        - name: alpine
          image: alpine
          command:
            - sleep
            - "3600"
          volumeMounts:
          - mountPath: /data
            name: data

• 创建测试deployment

  $ kubectl apply -f test-nfs.yaml
  deployment/test-nfs created

• 查看pod运行情况

  $ kubectl get po -o wide
  NAME                        READY     STATUS    RESTARTS   AGE       IP              NODE      NOMINATED NODE
  test-nfs-859ccfdf55-kkgxj   1/1       Running   0          1m        10.233.68.245   uat05     <none>
  test-nfs-859ccfdf55-aewf8   1/1       Running   0          1m        10.233.67.209   uat06     <none>

• 进入Pod中进行测试

  # 进入uat05节点的pod中
  $ kubectl exec -it test-nfs-859ccfdf55-kkgxj sh
  # 创建文件
  $ echo "uat05" > /data/uat05
  # 退出uat05节点的pod
  $ edit
  # 进入uat06节点的pod中
  $ kubectl exec -it test-nfs-859ccfdf55-aewf8 sh
  # 查看文件内容
  $ cat /data/uat05
  uat05

• 清理环境

  $ kubectl delete deployment test-nfs

persistentVolumeClaim

上面所有例子中我们都是直接将存储挂载到的pod中，那么在kubernetes中如何管理这些存储资源呢？这就是PersistentVolume和PersistentVolumeClaims所提供的功能。

• PersistentVolume 子系统为用户和管理员提供了一个 API，该 API 将如何提供存储的细节抽象了出来。为此，我们引入两个新的 API 资源：PersistentVolume 和 PersistentVolumeClaim。
  • PersistentVolume（PV）是由管理员设置的存储，它是群集的一部分。就像节点是集群中的资源一样，PV 也是集群中的资源。 PV 是 Volume 之类的卷插件，但具有独立于使用 PV 的 Pod 的生命周期。此 API 对象包含 Volume 的实现，即 NFS、iSCSI 或特定于云供应商的存储系统。
  • PersistentVolumeClaim（PVC）是用户存储的请求。它与 Pod 相似。Pod 消耗节点资源，PVC 消耗 PV 资源。Pod 可以请求特定级别的资源（CPU 和内存）。声明可以请求特定的大小和访问模式（例如，可以以读/写一次或 只读多次模式挂载）。虽然 PersistentVolumeClaims 允许用户使用抽象存储资源，但用户需要具有不同性质（例如性能）的 PersistentVolume 来解决不同的问题。集群管理员需要能够提供各种各样的 PersistentVolume，这些PersistentVolume 的大小和访问模式可以各有不同，但不需要向用户公开实现这些卷的细节。对于这些需求，StorageClass 资源可以实现。
• 在实际使用场景里，PV 的创建和使用通常不是同一个人。这里有一个典型的应用场景：管理员创建一个 PV 池，开发人员创建 Pod 和 PVC，PVC 里定义了Pod所需存储的大小和访问模式，然后 PVC 会到 PV 池里自动匹配最合适的 PV 给 Pod 使用。

使用示例

• 创建PersistentVolume

  apiVersion: v1
  kind: PersistentVolume
  metadata:
    name: mypv
  spec:
    capacity:
      storage: 5Gi
    volumeMode: Filesystem
    accessModes:
      - ReadWriteOnce
    persistentVolumeReclaimPolicy: Recycle
    storageClassName: slow
    mountOptions:
      - hard
      - nfsvers=4.0
    nfs:
      path: /tmp
      server: 172.17.0.2

• 创建PersistentVolumeClaim

  kind: PersistentVolumeClaim
  apiVersion: v1
  metadata:
    name: myclaim
  spec:
    accessModes:
      - ReadWriteOnce
    volumeMode: Filesystem
    resources:
      requests:
        storage: 5Gi
    volumeName: mypv

• 创建Pod绑定PVC

  kind: Pod
  apiVersion: v1
  metadata:
    name: mypod
  spec:
    containers:
      - name: myfrontend
        image: nginx
        volumeMounts:
        - mountPath: "/var/www/html"
          name: mypd
    volumes:
      - name: mypd
        persistentVolumeClaim:
          claimName: myclaim

• 查看pod运行情况验证绑定结果

  $ kubectl get po -o wide
  NAME    READY     STATUS    RESTARTS   AGE       IP              NODE      NOMINATED NODE
  mypod   1/1       Running   0          1m        10.233.68.249   uat05     <none>
  $ kubectl exec -it mypod sh
  $ ls /var/www/html

• 清理环境

  $ kubectl delete pv mypv
  $ kubectl delete pvc myclaim
  $ kubectl delete po mypod

总结

本次实战中我们使用了secret存储docker认证凭据，更好地控制它的用途，并降低意外暴露的风险。使用configMap对redis进行缓存配置，这样即使redis容器挂掉重启configMap中的配置依然会生效。接着我们使用emptyDir来使得同一Pod中多个容器的目录共享，在实际应用中我们通常使用initContainers来进行预处理文件，然后通过emptyDir传递给Containers。然后我们使用hostPath来访问宿主机的资源，当网路io达不到文件读写要求时，可考虑固定应用只运行在一个节点上然后使用hostPath来解决文件读写速度的要求。NFS和PersistentVolumeClaim的例子实质上都是试容器挂载的nfs服务器共享目录，但这些资源一般都只掌握在了管理员手中，开发人员想要获取这部分资源那么就不是这么友好了，动态存储类（StorageClass）就能很好的解决此类问题。