kubernetes kubelet 配置

1. 背景

kubeadm CLI 工具的生命周期与 kubelet 解耦， kubelet是运行在 Kubernetes 集群内每个节点上的守护进程。kubeadm CLI 工具由用户在 Kubernetes 初始化或升级时执行，而 kubelet 始终在后台运行。

由于 kubelet 是一个守护进程，它需要由某种 init 系统或服务管理器来维护。当使用 DEB 或 RPM 安装 kubelet 时，systemd 被配置为管理 kubelet。您可以改用其他服务管理器，但需要手动配置。

一些 kubelet 配置细节需要在集群中涉及的所有 kubelet 中相同，而其他配置方面需要基于每个 kubelet 进行设置，以适应给定机器的不同特征（例如操作系统、存储和网络） . 您可以手动管理 kubelet 的配置，但 kubeadm 现在提供了一种Kubelet ConfigurationAPI 类型来集中管理您的 kubelet 配置

2. 配置模式

2.1 kubeadm 配置 kubelet

将集群级别的配置传播到每个 kubelet 您可以为 kubelet 提供kubeadm init和kubeadm join 命令使用的默认值。有趣的示例包括使用不同的容器运行时或设置服务使用的默认子网。

如果您希望您的服务使用子网10.96.0.0/12作为服务的默认子网，您可以将--service-cidr参数传递给 kubeadm：

kubeadm init --service-cidr 10.96.0.0/12

现在从该子网分配服务的虚拟 IP。您还需要使用标志设置 kubelet 使用的 DNS 地址--cluster-dns。对于集群中每个管理器和节点上的每个 kubelet，此设置需要相同。kubelet 提供了一个版本化、结构化的 API 对象，可以在 kubelet 中配置大部分参数，并将此配置推送到集群中每个正在运行的 kubelet。这个对象被称为 Kubelet Configuration。允许用户指定标志，Kubelet Configuration例如集群 DNS IP 地址，以骆驼大小写键的值列表表示，如下例所示：

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
clusterDNS:
- 10.96.0.10

通过调用kubeadm config print init-defaults --component-configs KubeletConfiguration，您可以看到此结构的所有默认值。

2.1.1 使用时的工作流程kubeadm init

当您调用kubeadm init时，kubelet 配置会被编组到磁盘/var/lib/kubelet/config.yaml，同时也会上传到集群命名空间中的ConfigMap名字为kubelet-config 。集群中所有 kubelet 的基线集群范围配置kube-system也会写入 kubelet 配置文件/etc/kubernetes/kubelet.conf此配置文件指向允许 kubelet 与 API 服务器通信的客户端证书。这解决了将集群级配置传播到每个 kubelet的需要。

为了解决提供特定于实例的配置详细信息的第二种模式，kubeadm 将环境文件写入到/var/lib/kubelet/kubeadm-flags.env，其中包含一个标志列表，以便在 kubelet 启动时传递给它。标志在文件中显示如下：

KUBELET_KUBEADM_ARGS="--flag1=value1 --flag2=value2 ..."

除了启动 kubelet 时使用的标志外，该文件还包含动态参数，例如 cgroup 驱动程序以及是否使用不同的容器运行时套接字（--cri-socket）。

将这两个文件编组到磁盘后，如果您使用的是 systemd，kubeadm 会尝试运行以下两个命令：

systemctl daemon-reload && systemctl restart kubelet

如果重新加载和重新启动成功，则kubeadm init继续正常的工作流程。

2.1.2 使用时的工作流程kubeadm join

当你运行时kubeadm join，kubeadm 使用 Bootstrap Token 凭证来执行 TLS 引导，它会获取下载 kubelet-configConfigMap 所需的凭证并将其写入/var/lib/kubelet/config.yaml. 动态环境文件的生成方式与kubeadm init.

接下来，kubeadm运行以下两条命令将新配置加载到 kubelet 中：

systemctl daemon-reload && systemctl restart kubelet

kubelet 加载新配置后，kubeadm 写入 KubeConfig 文件/etc/kubernetes/bootstrap-kubelet.conf，其中包含 CA 证书和 Bootstrap Token。kubelet 使用这些来执行 TLS Bootstrap 并获得一个唯一的凭证，该凭证存储在/etc/kubernetes/kubelet.conf.

当/etc/kubernetes/kubelet.conf文件被写入时，kubelet 已经完成了 TLS Bootstrap。Kubeadm在完成 TLS Bootstrap 后删除该文件/etc/kubernetes/bootstrap-kubelet.conf。

/etc/kubernetes/kubelet.conf内容示例：

在这里插入代码片[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generate at runtime, populating
the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably,
# the user should use the .NodeRegistration.KubeletExtraArgs object in the configuration files instead.
# KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/default/kubelet
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

此文件为 kubelet 的 kubeadm 管理的所有文件指定默认位置。

用于 TLS Bootstrap 的 KubeConfig 文件是/etc/kubernetes/bootstrap-kubelet.conf，但仅在/etc/kubernetes/kubelet.conf不存在时使用。
具有唯一 kubelet 身份的 KubeConfig 文件是/etc/kubernetes/kubelet.conf.
包含 kubelet 的 Component Config 的文件是/var/lib/kubelet/config.yaml.
包含的动态环境文件KUBELET_KUBEADM_ARGS来自/var/lib/kubelet/kubeadm-flags.env.
可以包含用户指定的标志覆盖的文件KUBELET_EXTRA_ARGS来自 /etc/default/kubelet（对于 DEB）或/etc/sysconfig/kubelet（对于 RPM）。KUBELET_EXTRA_ARGS 在标志链中是最后一个，并且在设置冲突的情况下具有最高优先级。

2.2 systemd 配置 kubelet drop-in 文件

kubeadm附带有关 systemd 应如何运行 kubelet 的配置。请注意，kubeadm CLI 命令永远不会触及这个插入文件。

这个由kubeadm DEB或 RPM 包安装的配置文件被写入 /etc/systemd/system/kubelet.service.d/10-kubeadm.conf 并被 systemd 使用。它增强了 kubelet.service RPM或 kubelet.service DEB的基础：

3. 配置注意

由于硬件、操作系统、网络或其他主机特定参数的差异，一些主机需要特定的 kubelet 配置：

由 kubelet 配置标志指定的 DNS 解析文件的路径--resolv-conf可能因操作系统而异，或者取决于您是否使用 systemd-resolved. 如果此路径错误，则 kubelet 配置错误的 Node 上的 DNS 解析将失败。
Node API 对象.metadata.name默认设置为机器的主机名，除非您使用云提供商。--hostname-override如果您需要指定与机器主机名不同的节点名称，您可以使用该标志来覆盖默认行为。
目前，kubelet 无法自动检测容器运行时使用的 cgroup 驱动，但的值--cgroup-driver必须与容器运行时使用的 cgroup 驱动相匹配，以保证 kubelet 的健康。
--container-runtime-endpoint=<path>要指定容器运行时，您必须使用标志设置其端点。

您可以通过在服务管理器中配置单个 kubelet 的配置来指定这些标志，例如 systemd。

参考：

Configuring each kubelet in your cluster using kubeadm

配置