EKSでPodSecurity Admissionに移行する

はじめに

Kubernetes 1.25 での PodSecurityPolicy (PSP) の廃止に伴って、
PSP は PodSecurity Admission (PSA) および Pod Security Standards (PSS) に置き換えられます。

本記事では、Amazon EKS における次の2点について記載しています。

PSPの削除手順
PSA / PSS の移行手順

EKS クラスタ自体のアップグレードに関する手順、マネコン操作の解説は省略させていただきます。

PodSecurityPolicy (PSP)　とは

Kubernetes アドミッションコントローラであり、Pod レベルでのセキュリティ制御を行い、
デプロイされたワークロードのセキュリティ構成を細かく制御することができました。

PSP は Kubernetes 1.21 から非推奨となり、1.25 で廃止となります。

EKS クラスタを 1.25 にアップグレードする際には
後述の PodSecurity Admission (PSA) に置き換える必要があります。

PodSecurity Admission (PSA) とは

PSA は Kubernetes 1.21 から使用できるようになり、1.25 から必須となる Pod レベルの制御方法です。

Pod Security Standards (PSS) に基づいて Pod の Security Context 設定をチェックし、
必要に応じて Warning メッセージや Audit ログを出力させたり、PSS に違反した Pod の作成を停止することも可能です。

MODE と LEVEL を組み合わせ、Namespace もしくは Pod ごとにラベルを設定します。

PSA の MODE

Pod Security Admission labels for namespaces

MODE	説明
enforce	ポリシーに違反した場合、Podの起動は拒否されます。
audit	ポリシーに違反した場合、監査ログに記録されるイベントに監査アノテーションを追加するトリガーとなりますが、それ以外は許可されます。
warn	ポリシーに違反した場合、ユーザーへの警告がトリガーされますが、それ以外は許可されます。

PSA の LEVEL

Pod Security Standards

Profile	説明
privileged	無制限のポリシー。可能な限り幅広いレベルの権限を提供します。このポリシーでは、既知の権限昇格が許可されます。
baseline	既知の権限昇格を防ぐ最小限の制限ポリシー。デフォルトの (最小限に指定された) Pod 構成を許可します。
restricted	現在のPod 強化のベストプラクティスに従って、厳しく制限されたポリシー。

PSP の利用状況確認

現在稼働中の EKS クラスタバージョンと、Worker Node の稼働状況を確認します。
EKS Server (クラスタ)バージョンは 1.24 で稼働しており、1台の Worker Node が起動しています。

$ kubectl version --short
Flag --short has been deprecated, and will be removed in the future. The --short output will become the default.
Client Version: v1.25.4
Kustomize Version: v4.5.7
Server Version: v1.24.17-eks-f8587cb

$ kubectl get nodes -o wide
NAME                                               STATUS   ROLES    AGE     VERSION                INTERNAL-IP     EXTERNAL-IP      OS-IMAGE         KERNEL-VERSION                  CONTAINER-RUNTIME
ip-192-168-24-79.ap-northeast-1.compute.internal   Ready    <none>   4d21h   v1.24.13-eks-0a21954   192.168.24.79   13.231.201.233   Amazon Linux 2   5.10.179-168.710.amzn2.x86_64   containerd://1.6.19

検証のための環境では以下の Pod が稼働しています。

$ kubectl get pods -A
NAMESPACE      NAME                                            READY   STATUS    RESTARTS        AGE
cert-manager   cert-manager-795d7f859d-bjqkw                   1/1     Running   0               129d
cert-manager   cert-manager-cainjector-5fcddc948c-7t8rx        1/1     Running   0               15h
cert-manager   cert-manager-webhook-5b64f87794-8bzq9           1/1     Running   0               129d
default        common-squid-6ff4d9b67f-crmx5                   1/1     Running   0               129d
default        common-squid-6ff4d9b67f-cxdlk                   1/1     Running   0               129d
default        external-dns-f7dcdf675-7tdsc                    1/1     Running   0               129d
kube-system    aws-load-balancer-controller-7897cc48d7-sfl6s   1/1     Running   0               129d
kube-system    aws-node-m9c9t                                  1/1     Running   0               4d21h
kube-system    common-fluentd-cvb44                            1/1     Running   0               4d21h
kube-system    coredns-69769bcfc6-4gvcn                        1/1     Running   0               129d
kube-system    coredns-69769bcfc6-t5gsf                        1/1     Running   0               129d
kube-system    ebs-csi-controller-84f59985bb-pq9t6             6/6     Running   0               129d
kube-system    ebs-csi-controller-84f59985bb-tqx57             6/6     Running   0               129d
kube-system    ebs-csi-node-g2pdd                              3/3     Running   0               4d21h
kube-system    kube-proxy-snxh7                                1/1     Running   0               4d21h
kube-system    kube2iam-9vx5c                                  1/1     Running   0               4d21h
kube-system    metrics-server-6fc695f67c-l889k                 1/1     Running   1 (4d21h ago)   129d

続いて、現在 PSP でセキュリティ制御している namespace を確認します。
ポッドセキュリティポリシー (PSP) の削除に関するよくある質問

クラスター内の PSPs が影響を与えている Pods を確認するには、次のコマンドを実行します。このコマンドは Pod 名、名前空間、PSPs を出力します。

kubectl get pod -A -o jsonpath='{range.items[?(@.metadata.annotations.kubernetes\.io/psp)]}{.metadata.name}{“\t”}{.metadata.namespace}{“\t”}{.metadata.annotations.kubernetes\.io/psp}{“\n”}’

以下の結果から3つの namespace で PSP を使用していることがわかります。

default
cert-manager
kube-system

$ kubectl get pod -A -o jsonpath='{range.items[?(@.metadata.annotations.kubernetes\.io/psp)]}{.metadata.name}{"\t"}{.metadata.namespace}{"\t"}{.metadata.annotations.kubernetes\.io/psp}{"\n"}'
cert-manager-795d7f859d-bjqkw   cert-manager    eks.privileged
cert-manager-cainjector-5fcddc948c-7t8rx        cert-manager    eks.privileged
cert-manager-webhook-5b64f87794-8bzq9   cert-manager    eks.privileged
common-squid-6ff4d9b67f-crmx5   default eks.privileged
common-squid-6ff4d9b67f-cxdlk   default eks.privileged
external-dns-f7dcdf675-7tdsc    default eks.privileged
aws-load-balancer-controller-7897cc48d7-sfl6s   kube-system     eks.privileged
aws-node-m9c9t  kube-system     eks.privileged
common-fluentd-cvb44    kube-system     eks.privileged
coredns-69769bcfc6-4gvcn        kube-system     eks.privileged
coredns-69769bcfc6-t5gsf        kube-system     eks.privileged
ebs-csi-controller-84f59985bb-pq9t6     kube-system     eks.privileged
ebs-csi-controller-84f59985bb-tqx57     kube-system     eks.privileged
ebs-csi-node-g2pdd      kube-system     eks.privileged
kube-proxy-snxh7        kube-system     eks.privileged
kube2iam-9vx5c  kube-system     eks.privileged
metrics-server-6fc695f67c-l889k kube-system     eks.privileged

namespace default について詳細情報を取得すると、Allow Privileged が true であり、
namespace ごとに PSP が設定されていることがわかります。

同様に　-n オプションで cert-manager と kube-system を指定し、それぞれ確認することが可能です。

$ kubectl describe -n default psp eks.privileged
Warning: policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+
Name:  eks.privileged

Settings:
  Allow Privileged:                       true
  Allow Privilege Escalation:             true
  Default Add Capabilities:               <none>
  Required Drop Capabilities:             <none>
  Allowed Capabilities:                   *
  Allowed Volume Types:                   *
  Allow Host Network:                     true
  Allow Host Ports:                       0-65535
  Allow Host PID:                         true
  Allow Host IPC:                         true
  Read Only Root Filesystem:              false
  SELinux Context Strategy: RunAsAny      
    User:                                 <none>
    Role:                                 <none>
    Type:                                 <none>
    Level:                                <none>
  Run As User Strategy: RunAsAny          
    Ranges:                               <none>
  FSGroup Strategy: RunAsAny              
    Ranges:                               <none>
  Supplemental Groups Strategy: RunAsAny  
    Ranges:                               <none>

PSP の削除

デフォルトの Amazon EKS Pod セキュリティポリシーを削除する

AWS 公式のドキュメントを参考に、privileged-podsecuritypolicy.yaml というファイル名で
マニフェストを作成し、作業ディレクトリに配置します。

apiVersion: policy/v1beta1
kind: PodSecurityPolicy
metadata:
  name: eks.privileged
  annotations:
    kubernetes.io/description: 'privileged allows full unrestricted access to
      Pod features, as if the PodSecurityPolicy controller was not enabled.'
    seccomp.security.alpha.kubernetes.io/allowedProfileNames: '*'
  labels:
    kubernetes.io/cluster-service: "true"
    eks.amazonaws.com/component: pod-security-policy
spec:
  privileged: true
  allowPrivilegeEscalation: true
  allowedCapabilities:
  - '*'
  volumes:
  - '*'
  hostNetwork: true
  hostPorts:
  - min: 0
    max: 65535
  hostIPC: true
  hostPID: true
  runAsUser:
    rule: 'RunAsAny'
  seLinux:
    rule: 'RunAsAny'
  supplementalGroups:
    rule: 'RunAsAny'
  fsGroup:
    rule: 'RunAsAny'
  readOnlyRootFilesystem: false

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: eks:podsecuritypolicy:privileged
  labels:
    kubernetes.io/cluster-service: "true"
    eks.amazonaws.com/component: pod-security-policy
rules:
- apiGroups:
  - policy
  resourceNames:
  - eks.privileged
  resources:
  - podsecuritypolicies
  verbs:
  - use

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: eks:podsecuritypolicy:authenticated
  annotations:
    kubernetes.io/description: 'Allow all authenticated users to create privileged Pods.'
  labels:
    kubernetes.io/cluster-service: "true"
    eks.amazonaws.com/component: pod-security-policy
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: eks:podsecuritypolicy:privileged
subjects:
  - kind: Group
    apiGroup: rbac.authorization.k8s.io
    name: system:authenticated</blockquote>

namespace default を指定し、以下コマンドにて PSP 削除します。

$ kubectl delete -n default -f privileged-podsecuritypolicy.yaml
warning: deleting cluster-scoped resources, not scoped to the provided namespace
Warning: policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+
podsecuritypolicy.policy "eks.privileged" deleted
clusterrole.rbac.authorization.k8s.io "eks:podsecuritypolicy:privileged" deleted
clusterrolebinding.rbac.authorization.k8s.io "eks:podsecuritypolicy:authenticated" deleted

再度、default について詳細情報を取得すると、PSP の利用が無いことを確認できます。
コマンド記載は省略しますが、同様に namespace cert-manager と kube-system でも PSP を削除します。

$ kubectl describe -n default psp eks.privileged
Warning: policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+
Error from server (NotFound): podsecuritypolicies.policy "eks.privileged" not found

PSP を削除したことで EKS クラスタのバージョンを 1.25 にアップグレードする準備が整いました。

PSA / PSS の動作確認

EKS クラスタバージョンを 1.25 にアップグレードし、バージョン情報と Pod の稼働状態を確認します。

$ kubectl version --short
Flag --short has been deprecated, and will be removed in the future. The --short output will become the default.
Client Version: v1.24.17-eks-43840fb
Kustomize Version: v4.5.4
Server Version: v1.25.15-eks-4f4795d

PSA / PSS は何もせずとも標準的に動作し、すべての Pod が正常に起動しています。
pod-security のラベル未設定状態では PSS Level privileged、つまり権限昇格が許可されています。

$ kubectl get pods -A
NAMESPACE      NAME                                            READY   STATUS    RESTARTS      AGE
cert-manager   cert-manager-795d7f859d-zlshs                   1/1     Running   0             11m
cert-manager   cert-manager-cainjector-5fcddc948c-97vcb        1/1     Running   0             11m
cert-manager   cert-manager-webhook-5b64f87794-7jfnc           1/1     Running   0             11m
default        common-squid-6ff4d9b67f-crjdh                   1/1     Running   0             11m
default        common-squid-6ff4d9b67f-l7n8t                   1/1     Running   0             11m
default        external-dns-f7dcdf675-dw9bs                    1/1     Running   0             11m
kube-system    aws-load-balancer-controller-7897cc48d7-4lwtf   1/1     Running   0             11m
kube-system    aws-node-2jckq                                  1/1     Running   0             13m
kube-system    aws-node-l5hrp                                  1/1     Running   0             12m
kube-system    common-fluentd-6k9gn                            1/1     Running   0             12m
kube-system    common-fluentd-p2hf5                            1/1     Running   0             13m
kube-system    coredns-5857dd7484-n6kqd                        1/1     Running   0             11m
kube-system    coredns-5857dd7484-p65jf                        1/1     Running   0             11m
kube-system    ebs-csi-controller-84f59985bb-dlj98             6/6     Running   0             11m
kube-system    ebs-csi-controller-84f59985bb-wts49             6/6     Running   0             10m
kube-system    ebs-csi-node-bkqv7                              3/3     Running   0             12m
kube-system    ebs-csi-node-htt85                              3/3     Running   0             13m
kube-system    kube-proxy-bbzjr                                1/1     Running   0             13m
kube-system    kube-proxy-hrrpx                                1/1     Running   0             12m
kube-system    kube2iam-5xglw                                  1/1     Running   0             12m
kube-system    kube2iam-r6f65                                  1/1     Running   0             13m
kube-system    metrics-server-6fc695f67c-gkrg7                 1/1     Running   1 (11m ago)   11m

namespace ごとのラベルを確認すると、デフォルトでは pod-security のラベルがついていません。

$ kubectl get ns --show-labels
NAME              STATUS   AGE    LABELS
cert-manager      Active   139d   kubernetes.io/metadata.name=cert-manager
default           Active   139d   kubernetes.io/metadata.name=default
kube-node-lease   Active   139d   kubernetes.io/metadata.name=kube-node-lease
kube-public       Active   139d   kubernetes.io/metadata.name=kube-public
kube-system       Active   139d   kubernetes.io/metadata.name=kube-system

前述の通り、pod-security のラベルはつけなくとも暗黙的に PSS Level privileged で動作しますが、
個人的には運用中の混乱を避けるため、明示的につけた方が良いと考えます。

namespace kube-system に PSS Level privileged を設定します。

$ kubectl label --overwrite ns kube-system pod-security.kubernetes.io/enforce=privileged
namespace/kube-system labeled

カンマ区切りで kube-system にラベルが付与されたことが確認できます。

$ kubectl get ns --show-labels
NAME              STATUS   AGE    LABELS
cert-manager      Active   139d   kubernetes.io/metadata.name=cert-manager
default           Active   139d   kubernetes.io/metadata.name=default
kube-node-lease   Active   139d   kubernetes.io/metadata.name=kube-node-lease
kube-public       Active   139d   kubernetes.io/metadata.name=kube-public
kube-system       Active   139d   kubernetes.io/metadata.name=kube-system,pod-security.kubernetes.io/enforce=privileged

pod-security の削除について

PSS MODE や Level を変えて、Pod が起動拒否される、されない、
audit ログを見たい、いや warnだけでいい等、検証したいこともあるかと思います。

検証していたところ、ラベルは PSS MODE 違いで複数付与できたので
MODE enforce と MODE warn のラベルを同時付与することもできてしまいます。

その場合どちらの MODE で動作しているかよくわからなくなってしまうので、
一度付与したラベルは次のコマンドで削除します。

$ kubectl label ns kube-system pod-security.kubernetes.io/enforce-
$ kubectl label ns kube-system pod-security.kubernetes.io/audit-
$ kubectl label ns kube-system pod-security.kubernetes.io/warn-

EKSでPodSecurity Admissionに移行する

はじめに

PodSecurityPolicy (PSP)　とは

PodSecurity Admission (PSA) とは

PSA の MODE

PSA の LEVEL

PSP の利用状況確認

PSP の削除

PSA / PSS の動作確認

pod-security の削除について

[アップデート]複数VPCのインターネット通信を制御する機能「VPC Block Public Access (BPA)」がリリースされました！

AWSの生成AI活用事例集GenUを使い倒す

Python で Cloud Storage の JSON ファイルを読み込む

WindowsServer上に作成したローカルユーザーのパスワード有効期限管理パターンとその適用手順をまとめてみる

AIにおける倫理的考察：プライバシー、偏見、デジタルデバイド

EKSでPodSecurity Admissionに移行する

はじめに

PodSecurityPolicy (PSP) とは

PodSecurity Admission (PSA) とは

PSA の MODE

PSA の LEVEL

PSP の利用状況確認

PSP の削除

PSA / PSS の動作確認

pod-security の削除について

関連記事Related Articles

VPC CNI プラグインのバージョンアップデート

ArgoCDのバージョンを1.8.7から2.0.5 に更新する

Amazon EKSがやってきた

【Amazon EKS】AWS Load Balancer ControllerでKubernetesアプリケーションを公開する

EKSのPodがAWSマネジメントコンソールで閲覧できない時の解決方法

PodSecurityPolicy (PSP)　とは