【Amazon EKS】AWS Load Balancer ControllerでKubernetesアプリケーションを公開する

はじめに

今回は、EKSのKubernetesクラスターで実行されているアプリケーションを、AWS Load Balancer Controllerを使用して外部へ公開する方法を解説します。

AWS Load Balancer Controller （旧AWS ALB Ingress Controller）は、Kubernetesクラスターの Elastic Load Balancer の管理を支援するコントローラーです。

AWS Load Balancer Controllerで作成したALBとNLBでAmazon EKSでのアプリケーション負荷分散、ネットワーク負荷分散を管理します。

AWS Load Balancer Controllerでできること

1. NLB(Kubernetes Service)の作成
   • クラスター内で1つ以上のPodとして実行されているネットワークアプリケーションを公開します
   • Pod内で動作しているアプリケーションへクラスターの外部から到達可能なようにします
2. ALB（Kubernetes Ingress）の作成
   • クラスター外からクラスター内ServiceへのHTTPとHTTPSのルートを公開します
   • Serviceに対して、外部疎通できるURL、負荷分散トラフィック、SSL/TLS終端の機能や、名前ベースの仮想ホスティングを提供します

→ AWS Load Balancer Controller は Kubernetes Service と Ingress 両方のコントローラーの AWS のオープンソース実装です

今回すること・ゴール

1. EKSで作成したKubernetesクラスターのノード上で動作する、リクエスト時の引数で指定した文字列を返すアプリケーション(Pod)を作成します
2. AWS Load Balancer Controllerで、作成したアプリケーション(Pod)へ外部からアクセスできるようにします
3. アプリケーションURLへアクセスし、リクエスト時の引数で指定した文字列が返ってこれば成功です

※ Kubernetesの基本用語はこちらにまとめましたので、よければご確認ください
【初心者向け】Kubernetesの基本用語を調べてまとめました

手順

Kubernetes アプリケーションの公開 Part 2: AWS Load Balancer Controller を参考に進めました

0. 前提条件

• eksctl バージョン 0.109.0 以降をインストール
• Helm をインストール
• AWS リージョン us-west-2 (オレゴン) を使用

1. AWS Load Balancer Controller 用の AWS IAM ポリシーの作成

IRSA を使用して、AWS Load Balancer Controller に IAM アクセス許可を提供します
（IAM ポリシーを紐付ける IAM ロールの作成はEKS クラスターの作成で行います）

１. AWS Load Balancer Controller 用の IAM ポリシーをダウンロード

curl -O https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/v2.5.4/docs/install/iam_policy.json

２. ダウンロードしたポリシーを使用して、AWSLoadBalancerControllerIAMPolicy という名前の IAM ポリシーを作成

aws iam create-policy \
--policy-name AWSLoadBalancerControllerIAMPolicy \
--policy-document file://iam_policy.json

2. EKS クラスターの作成

• eksctl を使用して Amazon EKS クラスターを作成します
• OIDC IAM プロバイダーの登録、AWS Load Balancer Controller の Service Account の作成、および IAM ロールの作成も同時に行います
• AWS Load Balancer Controller 用の kube-system 名前空間に aws-load-balancer-controller という名前のKubernetes サービスアカウントを作成し、Kubernetes サービスアカウントに IAM ロールを割り当てます

apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
  name: aws-load-balancer-controller-walkthrough
  region: us-west-2
  version: '1.27'
iam:
  withOIDC: true
  serviceAccounts:
    - metadata:
        name: aws-load-balancer-controller
        namespace: kube-system
      attachPolicyARNs: 
        - arn:aws:iam::${AWS_ACCOUNT}:policy/AWSLoadBalancerControllerIAMPolicy # 1 で作成した IAM ポリシーの ARN
managedNodeGroups:
  - name: main-ng
    instanceType: m5.large
    desiredCapacity: 1
    privateNetworking: true

上記のコードを config.yml ファイルに保存し、以下のコマンドを実行

eksctl create cluster -f config.yml

クラスターが稼働していることを確認します。
以下のコマンド実行で、1つの Amazon EKS ノードと 4つの実行中の Pod が確認できます

kubectl get nodes
kubectl get pods -A

3. AWS Load Balancer Controller のインストール

１. AWS Load Balancer Controller が機能するために必要なカスタムリソース定義 (CRD) をインストール

kubectl apply -k \
    "github.com/aws/eks-charts/stable/aws-load-balancer-controller//crds?ref=master"

２. Helm を使用してAmazon EKS の EC2 ノードに AWS Load Balancer Controller をデプロイ

helm repo add eks https://aws.github.io/eks-charts

helm upgrade -i aws-load-balancer-controller eks/aws-load-balancer-controller \
    --namespace kube-system \
    --set clusterName=aws-load-balancer-controller-walkthrough \ # 2 で作成した EKSクラスター名（metadata.name）
    --set serviceAccount.create=false \
    --set serviceAccount.name=aws-load-balancer-controller # 2 で作成した Service Account （iam.serviceAccounts.metadata.name）

3. AWS Load Balancer Controller がインストールされていることを確認します

kubectl get deployment -n kube-system aws-load-balancer-controller

4. テスト用 Service のデプロイ（NLB）

１. Namespace の作成

ServiceをデプロイするNamespaceを作成します

kubectl create namespace apps

２. Service のデプロイと検証

http-echo イメージを使用する Serviceを作成します
${SERVICE_NAME} 変数で定義したService名でリクエストがあったときに、Service名を返すアプリケーション(pod)を5つデプロイします

apiVersion: apps/v1
kind: Deployment
metadata:
  name: ${SERVICE_NAME}
  namespace: ${NS}
  labels:
    app.kubernetes.io/name: ${SERVICE_NAME}
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: ${SERVICE_NAME}
  replicas: 1
  template:
    metadata:
      labels:
        app.kubernetes.io/name: ${SERVICE_NAME}
    spec:
      terminationGracePeriodSeconds: 0
      containers:
        - name: ${SERVICE_NAME}
          image: hashicorp/http-echo
          imagePullPolicy: IfNotPresent
          args:
            - -listen=:3000
            - -text=${SERVICE_NAME}
          ports:
            - name: app-port
              containerPort: 3000
          resources:
            requests:
              cpu: 0.125
              memory: 50Mi
---
apiVersion: v1
kind: Service
metadata:
  name: ${SERVICE_NAME}
  namespace: ${NS}
  labels:
    app.kubernetes.io/name: ${SERVICE_NAME}
spec:
  type: ClusterIP
  selector:
    app.kubernetes.io/name: ${SERVICE_NAME}
  ports:
    - name: svc-port
      port: 80
      targetPort: app-port
      protocol: TCP

上記のコードを service.yml ファイルで保存し、以下のコマンドを実行して5つのServiceをデプロイします

SERVICE_NAME=first NS=apps envsubst < service.yml | kubectl apply -f -
SERVICE_NAME=second NS=apps envsubst < service.yml | kubectl apply -f -
SERVICE_NAME=third NS=apps envsubst < service.yml | kubectl apply -f -
SERVICE_NAME=fourth NS=apps envsubst < service.yml | kubectl apply -f -
SERVICE_NAME=error NS=apps envsubst < service.yml | kubectl apply -f -

３. 結果を確認します

kubectl get pod,svc -n apps

↓

5つのアプリケーション(Pod)が確認できました

NAME                          READY   STATUS    RESTARTS   AGE
pod/error-759546fcc4-n5dqr    1/1     Running   0          60s
pod/first-788fb8b9cd-rxblp    1/1     Running   0          88s
pod/fourth-654655d556-bfh24   1/1     Running   0          64s
pod/second-75bf747744-57vws   1/1     Running   0          72s
pod/third-6b5f65fd67-tsbff    1/1     Running   0          68s

NAME             TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)   AGE
service/error    ClusterIP   10.100.106.108   <none>        80/TCP    59s
service/first    ClusterIP   10.100.165.147   <none>        80/TCP    88s
service/fourth   ClusterIP   10.100.131.147   <none>        80/TCP    63s
service/second   ClusterIP   10.100.249.80    <none>        80/TCP    72s
service/third    ClusterIP   10.100.253.123   <none>        80/TCP    67s

5. Ingress のデプロイ（ALB）

作成したServiceのバックエンドにあるアプリケーション(Pod)へのアクセスを提供するIngressを作成します
Podへ外部からアクセスできるようにします

１. デプロイ

• ingressClassName を alb に設定することで、AWS Load Balancer Controller がこの Ingress リソースを処理するようにします
• アノテーションで以下を定義します
  • AWS Load Balancer Controller が作成するロードバランサーの名前
  • ロードバランサーのターゲットタイプが ip であること (Pod の IP アドレスをターゲットとして登録します)
  • ロードバランサーが internet-facing であること
  • ヘルスチェックのパス

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ${NS}-ingress
  namespace: ${NS}
  annotations:
    alb.ingress.kubernetes.io/load-balancer-name: ${NS}-ingress
    alb.ingress.kubernetes.io/target-type: ip
    alb.ingress.kubernetes.io/scheme: internet-facing
    alb.ingress.kubernetes.io/healthcheck-path: /healthz
spec:
  ingressClassName: alb
  defaultBackend:
    service:
      name: error
      port:
        name: svc-port
  rules:
    - http:
        paths:
          - path: /first
            pathType: Prefix
            backend:
              service:
                name: first
                port:
                  name: svc-port
          - path: /second
            pathType: Prefix
            backend:
              service:
                name: second
                port:
                  name: svc-port

AWSマネージメントコンソール → EC2 → ロードバランサーより ALB がデプロイされたのを確認できました

以下のコマンドでもIngressリソースの状態を確認できます

kubectl get ingress -n apps

以下のコマンドではIngressリソースの詳細が確認できます

kubectl describe ingress apps-ingress -n apps

↓

podへの /first /second リスナールールが作成されていることが確認できます
ルールに該当しないものは /errorへ飛びます

Name:             apps-ingress
Labels:           <none>
Namespace:        apps
Address:          apps-ingress-xxx.{region}.elb.amazonaws.com
Ingress Class:    alb
Default backend:  error:svc-port (xxx.xxx.xxx.xx:3000)
Rules:
  Host        Path  Backends
  ----        ----  --------
  *           
              /first    first:svc-port (xxx.xxx.xxx.xx:3000)
              /second   second:svc-port (xxx.xxx.xxx.xx:3000)
Annotations:  alb.ingress.kubernetes.io/healthcheck-path: /healthz
              alb.ingress.kubernetes.io/load-balancer-name: apps-ingress
              alb.ingress.kubernetes.io/scheme: internet-facing
              alb.ingress.kubernetes.io/target-type: ip
Events:
  Type    Reason                  Age                  From     Message
  ----    ------                  ----                 ----     -------
  Normal  SuccessfullyReconciled  3m18s (x2 over 32m)  ingress  Successfully reconciled

２. 動作確認

export ALB_URL=$(kubectl get -n apps ingress/apps-ingress -o jsonpath='{.status.loadBalancer.ingress[0].hostname}')
curl ${ALB_URL}
curl ${ALB_URL}/first
curl ${ALB_URL}/first/something
curl ${ALB_URL}/second
curl ${ALB_URL}/third
curl ${ALB_URL}/something

↓

作成したServiceへ外部からアクセスできることが確認できました。

error
first
first
second
error
error

まとめ

AWS Load Balancer Controllerでアプリケーションを公開することができました
今回はパスベースでアクセスできるよう設定しましたが、今後はホストベースでのルーティング設定や external-dnsを使用したRoute53経由での公開も見てみたいと思います

参考リンク

• Kubernetesドキュメント – コンセプト – Service、負荷分散とネットワーキング
• AWS Load Balancer Controller を使った Blue/Green デプロイメント、カナリアデプロイメント、A/B テスト
• AWS Load Balancer Controller アドオンのインストール
• Kubernetes アプリケーションの公開 Part 2: AWS Load Balancer Controller