# yaml 파일 다운로드
curl -O https://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/K8S/myeks-1week.yaml

# 배포
# aws cloudformation deploy --template-file ~/Downloads/myeks-1week.yaml --stack-name mykops --parameter-overrides KeyName=<My SSH Keyname> SgIngressSshCidr=<My Home Public IP Address>/32 --region <리전>

aws cloudformation deploy --template-file myeks-1week.yaml --stack-name myeks --parameter-overrides KeyName=nasirk17 SgIngressSshCidr=43.201.83.181/32 --region ap-northeast-2

# CloudFormation 스택 배포 완료 후 EC2 IP 출력
aws cloudformation describe-stacks --stack-name myeks --query 'Stacks[*].Outputs[*].OutputValue' --output text
# 3.36.77.214

# ec2 에 SSH 접속
예시) ssh -i <My SSH Keyfile> ec2-user@3.35.137.31
ssh -i ~/.ssh/nasirk17.pem ec2-user@$(aws cloudformation describe-stacks --stack-name myeks --query 'Stacks[*].Outputs[0].OutputValue' --output text)

• IAM User Credential 설정 및 VPC 확인 > 변수 지정

# 필요한 값들 조회/변수 설정
export AWS_ACCESS_KEY_ID=<개인액세스키>
export AWS_SECRET_ACCESS_KEY=<개인시크릿키>
export AWS_DEFAULT_REGION=ap-northeast-2
export AWS_PAGER="" 
export CLUSTER_NAME=myeks
export VPCID=$(aws ec2 describe-vpcs --filters "Name=tag:Name,Values=$CLUSTER_NAME-VPC" --query "Vpcs[].VpcId" --output text)
export PubSubnet1=$(aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet1" --query "Subnets[0].[SubnetId]" --output text)
export PubSubnet2=$(aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet2" --query "Subnets[0].[SubnetId]" --output text)

echo "AWS_ACCESS_KEY_ID=<개인 액세스 키>" >>~/.bashrc
echo "AWS_SECRET_ACCESS_KEY=<개인시크릿키>" >>~/.bashrc
echo "AWS_DEFAULT_REGION=ap-northeast-2" >>~/.bashrc
echo 'AWS_PAGER=""' >>~/.bashrc
echo "CLUSTER_NAME=myeks" >>~/.bashrc
echo "VPCID=$(aws ec2 describe-vpcs --filters "Name=tag:Name,Values=$CLUSTER_NAME-VPC" --query "Vpcs[].VpcId" --output text)" >>~/.bashrc
echo "PubSubnet1=$(aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet1" --query "Subnets[0].[SubnetId]" --output text)" >>~/.bashrc
echo "PubSubnet2=$(aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet2" --query "Subnets[0].[SubnetId]" --output text)" >>~/.bashrc

• eksctl 사용 연습: dry-run. 실제 배포는 하지 않음

# eksctl help
eksctl
eksctl create
eksctl create cluster --help
eksctl create nodegroup --help

# 현재 지원 버전 정보 확인
eksctl create cluster -h | grep version
#      --version string        Kubernetes version (valid options: 1.22, 1.23, 1.24, 1.25, 1.26) (default "1.25")

# eks 클러스터 생성 + 노드그룹없이
eksctl create cluster --name myeks --region=ap-northeast-2 --without-nodegroup --dry-run | yh

# eks 클러스터 생성 + 노드그룹없이 & 사용 가용영역(2a,2c)
eksctl create cluster --name myeks --region=ap-northeast-2 --without-nodegroup --zones=ap-northeast-2a,ap-northeast-2c --dry-run | yh

# eks 클러스터 생성 + 관리형노드그룹생성(이름, 인스턴스 타입, EBS볼륨사이즈) & 사용 가용영역(2a,2c) + VPC 대역 지정
eksctl create cluster --name myeks --region=ap-northeast-2 --nodegroup-name=mynodegroup --node-type=t3.medium --node-volume-size=30 \
--zones=ap-northeast-2a,ap-northeast-2c --vpc-cidr=172.20.0.0/16 --dry-run | yh

# eks 클러스터 생성 + 관리형노드그룹생성(이름, 인스턴스 타입, EBS볼륨사이즈, SSH접속허용) & 사용 가용영역(2a,2c) + VPC 대역 지정
eksctl create cluster --name myeks --region=ap-northeast-2 --nodegroup-name=mynodegroup --node-type=t3.medium --node-volume-size=30 \
--zones=ap-northeast-2a,ap-northeast-2c --vpc-cidr=172.20.0.0/16 --ssh-access --dry-run | yh

• EKS 배포

# eks 클러스터 & 관리형노드그룹 배포 전 정보 확인
eksctl create cluster --name $CLUSTER_NAME --region=$AWS_DEFAULT_REGION --nodegroup-name=$CLUSTER_NAME-nodegroup --node-type=t3.medium \
--node-volume-size=30 --vpc-public-subnets "$PubSubnet1,$PubSubnet2" --version 1.24 --ssh-access --external-dns-access --dry-run | yh

# eks 클러스터 & 관리형노드그룹 배포: 총 16분(13분+3분) 소요 
eksctl create cluster --name $CLUSTER_NAME --region=$AWS_DEFAULT_REGION --nodegroup-name=$CLUSTER_NAME-nodegroup --node-type=t3.medium \
--node-volume-size=30 --vpc-public-subnets "$PubSubnet1,$PubSubnet2" --version 1.24 --ssh-access --external-dns-access --verbose 4

# 터미널1 (모니터링)
watch -d 'kubectl get pod'

# 터미널2
# Deployment 배포(Pod 3개)
kubectl create deployment my-webs --image=gcr.io/google-samples/kubernetes-bootcamp:v1 --replicas=3
kubectl get pod -w

# 파드 증가 및 감소
kubectl scale deployment my-webs --replicas=6 && kubectl get pod -w
kubectl scale deployment my-webs --replicas=3
kubectl get pod

# 강제로 파드 삭제 : 바라는상태 + 선언형에 대한 대략적인 확인! ⇒ 어떤 일이 벌어지는가? 
kubectl delete pod --all && kubectl get pod -w
kubectl get pod

# 실습 완료 후 Deployment 삭제
kubectl delete deploy my-webs

[root@myeks-host ~]# k get pod
NAME                     READY   STATUS    RESTARTS   AGE
my-webs-8dd6b4db-lx2pq   1/1     Running   0          42s
my-webs-8dd6b4db-pms6n   1/1     Running   0          42s
my-webs-8dd6b4db-sqpks   1/1     Running   0          42s
[root@myeks-host ~]# kubectl delete pod --all
pod "my-webs-8dd6b4db-lx2pq" deleted
pod "my-webs-8dd6b4db-pms6n" deleted
pod "my-webs-8dd6b4db-sqpks" deleted
^C[root@myeks-host ~]# k get pod
NAME                     READY   STATUS        RESTARTS   AGE
my-webs-8dd6b4db-8dwc6   1/1     Running       0          5s
my-webs-8dd6b4db-lnw2q   1/1     Running       0          5s
my-webs-8dd6b4db-lx2pq   1/1     Terminating   0          49s
my-webs-8dd6b4db-n7crg   1/1     Running       0          5s
my-webs-8dd6b4db-pms6n   1/1     Terminating   0          49s
my-webs-8dd6b4db-sqpks   1/1     Terminating   0          49s

> 파드들이 삭제되어도, 다시 새로 만들어져서 복구된다.

이는 deployment로 n(3)개의 replicas를 지정해두었기 때문에, etcd에 선언된 상태(3)와 실제 상태(0)가 일치하지 않으면, deployment 컨트롤러가 다시 선언된 상태 만큼 복구를 시도하기 때문이다. 

# 터미널1 (모니터링)
watch -d 'kubectl get pod,svc'

# 수퍼마리오 디플로이먼트 배포
curl -s -O https://raw.githubusercontent.com/gasida/PKOS/main/1/mario.yaml
kubectl apply -f mario.yaml
cat mario.yaml | yh

# 배포 확인 : CLB 배포 확인
kubectl get deploy,svc,ep mario

# 마리오 게임 접속 : CLB 주소로 웹 접속
kubectl get svc mario -o jsonpath={.status.loadBalancer.ingress[0].hostname} | awk '{ print "Mario URL = http://"$1 }'
# Mario URL = http://a3b7d5525f1124fe58a6278cff0252ca-594478393.ap-northeast-2.elb.amazonaws.com

• 배포 확인 (웹 콘솔)
• EKS > 클러스터 > 리소스 > 서비스 및 네트워킹 > 서비스 > 로드밸런서 URL

• 접속 확인

# 퍼블릭 ECR 인증
aws ecr-public get-login-password --region us-east-1 | docker login --username AWS --password-stdin public.ecr.aws
cat /root/.docker/config.json | jq

# 퍼블릭 Repo 기본 정보 확인
aws ecr-public describe-registries --region us-east-1 | jq

# 퍼블릭 Repo 생성
# NICKNAME=<각자자신의닉네임>
NICKNAME=nasir
aws ecr-public create-repository --repository-name $NICKNAME/nginx --region us-east-1

# {
#     "repository": {
#         "repositoryArn": "arn:aws:ecr-public::596152156334:repository/nasir/nginx",
#         "registryId": "596152156334",
#         "repositoryName": "nasir/nginx",
#         "repositoryUri": "public.ecr.aws/i6e3w3b5/nasir/nginx",
#         "createdAt": "2023-04-30T01:07:54.092000+09:00"
#     },
#     "catalogData": {}
# }


# 생성된 퍼블릭 Repo 확인
aws ecr-public describe-repositories --region us-east-1 | jq
REPOURI=$(aws ecr-public describe-repositories --region us-east-1 | jq -r .repositories[].repositoryUri)
echo $REPOURI
# public.ecr.aws/i6e3w3b5/nasir/nginx

# 이미지 태그
docker pull nginx:alpine
docker images
docker tag nginx:alpine $REPOURI:latest
docker images

# 이미지 업로드
docker push $REPOURI:latest

# 파드 실행 확인
kubectl run mynginx --image $REPOURI
kubectl get pod

# NAME                     READY   STATUS    RESTARTS   AGE
# mario-687bcfc9cc-q4wgp   1/1     Running   0          16m
# mynginx                  1/1     Running   0          2m2s

# 파드 삭제
kubectl delete pod mynginx

# 퍼블릭 이미지 삭제
aws ecr-public batch-delete-image \
      --repository-name $NICKNAME/nginx \
      --image-ids imageTag=latest \
      --region us-east-1

# 퍼블릭 Repo 삭제
aws ecr-public delete-repository --repository-name $NICKNAME/nginx --force --region us-east-1

• ECR 확인

# 옵션 [터미널1] EC2 생성 모니터링
#aws ec2 describe-instances --query "Reservations[*].Instances[*].{PublicIPAdd:PublicIpAddress,PrivateIPAdd:PrivateIpAddress,InstanceName:Tags[?Key=='Name']|[0].Value,Status:State.Name}" --filters Name=instance-state-name,Values=running --output table
while true; do aws ec2 describe-instances --query "Reservations[*].Instances[*].{PublicIPAdd:PublicIpAddress,PrivateIPAdd:PrivateIpAddress,InstanceName:Tags[?Key=='Name']|[0].Value,Status:State.Name}" --filters Name=instance-state-name,Values=running --output text ; echo "------------------------------" ; sleep 1; done

# eks 노드 그룹 정보 확인
eksctl get nodegroup --cluster $CLUSTER_NAME --name $CLUSTER_NAME-nodegroup

# 노드 2개 → 3개 증가
eksctl scale nodegroup --cluster $CLUSTER_NAME --name $CLUSTER_NAME-nodegroup --nodes 3 --nodes-min 3 --nodes-max 6

# 노드 확인
kubectl get nodes -o wide
kubectl get nodes -l eks.amazonaws.com/nodegroup=$CLUSTER_NAME-nodegroup

# 노드 3개 → 2개 감소 : 적용까지 시간이 소요됨
aws eks update-nodegroup-config --cluster-name $CLUSTER_NAME --nodegroup-name $CLUSTER_NAME-nodegroup --scaling-config minSize=2,maxSize=2,desiredSize=2

• 명령어 기반으로 eksctl config yaml 생성

# config file 생성, 과도한 크기의 워커노드가 생성되지않도록 일부 옵션 제한
eksctl create cluster --name yaml --region=ap-northeast-2 --nodegroup-name=ng-default --node-type=t3.medium --node-volume-size=10 --zones=ap-northeast-2a,ap-northeast-2c --vpc-cidr=172.20.0.0/16 --version 1.24 --ssh-access --dry-run >default.yaml

# 워커노드 접속 후 확인을 위한 ssh 설정
 29   ssh:
 30     allow: true
 31     publicKeyPath: ~/.ssh/id_rsa.pub

# 기본값으로 퍼블릭 액세스만 허용
 46 vpc:
 47   autoAllocateIPv6: false
 48   cidr: 172.20.0.0/16
 49   clusterEndpoints:
 50     privateAccess: false
 51     publicAccess: true

# 추후 private 액세스 테스트를 위한 single nat g/w 생성
 53   nat:
 54     gateway: Single

# config file을 사용한 클러스터 생성
eksctl create cluster -f default.yaml

• endpoint 확인을 위한 VPC내 신규 bastion host 생성
  • 새로 생성된 eksctl-yaml-cluster/VPC VPC에 웹 콘솔로 생성

• default.yaml 파일 수정

# privateAccess false > true
 46 vpc:
 47   autoAllocateIPv6: false
 48   cidr: 172.20.0.0/16
 49   clusterEndpoints:
 50     privateAccess: true
 51     publicAccess: true

# config 파일을 통한 eks cluster 설정 업데이트 > 변경 예정사항 확인
eksctl utils update-cluster-endpoints -f default.yaml

# 2023-04-30 04:16:49 [ℹ]  using region ap-northeast-2
# 2023-04-30 04:16:49 [ℹ]  current Kubernetes API endpoint access: privateAccess=false, publicAccess=true
# 2023-04-30 04:16:49 [ℹ]  (plan) would update Kubernetes API endpoint access for cluster "yaml" in "ap-northeast-2" to: privateAccess=true, publicAccess=true
# 2023-04-30 04:16:49 [!]  no changes were applied, run again with '--approve' to apply the changes

# --approve까지 같이 던져줘야 실제 업데이트 수행
eksctl utils update-cluster-endpoints -f default.yaml --approve

• 공식 문서의 EKS Fully-Private Cluster 문서를 참조한 config 파일 생성

# config 파일 생성
vi private.yaml

# 아래 내역 붙여넣기
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: private-cluster
  region: ap-northeast-2

privateCluster:
  enabled: true
  additionalEndpointServices:
  - "autoscaling"

vpc:
  subnets:
    private:
      ap-northeast-2a:
        id: subnet-0b4dbfdf5a6edb383
      us-west-2c:
        id: subnet-03dc33880bac4fbed

nodeGroups:
- name: ng1
  instanceType: t3.medium
  desiredCapacity: 2
  # privateNetworking must be explicitly set for a fully-private cluster
  # Rather than defaulting this field to true for a fully-private cluster, we require users to explicitly set it
  # to make the behaviour explicit and avoid confusion.
  privateNetworking: true
  ssh:
    allow: true
    publicKeyPath: ~/.ssh/id_rsa.pub

# 생성될 서브넷에 관한 데이터를 던져주면, 기존 VPC에 클러스터가 생성된다.
 13 vpc:
 14   subnets:
 15     private:
 16       ap-northeast-2a:
 17         id: subnet-0b4dbfdf5a6edb383
 18       us-west-2c:
 19         id: subnet-03dc33880bac4fbed

# privateCluster + VPC endpoint 설정
  8 privateCluster:
  9   enabled: true
 10   additionalEndpointServices:
 11   - "autoscaling"

# privateNetwork (Workernode) 설정
 28   privateNetworking: true

# 클러스터 생성
eksctl create cluster -f private.yaml

• 명령줄로, 기존 클러스터에 Spot 노드그룹 추가하기 (테스트)

# --dry-run 명령어를 사용한 config 파일 생성
eksctl create nodegroup --cluster=yaml --spot --instance-types=t3.small --dry-run >>spot.yaml

# spot 인스턴스임을 표시하는 설정 추가 확인
 37   spot: true

• 기존 default.yaml에 spot 노드그룹 추가

# default.yaml 편집
vi default.yaml

# managedNodeGroups: 아래에 다음 항목 추가
- name: ng-spot-2
  instanceTypes: ["t3.small","t3.medium","t3.large"]
  spot: true
  volumeIOPS: 3000
  volumeSize: 10
  volumeThroughput: 125
  volumeType: gp3
  maxSize: 2
  minSize: 2

# 적용 / cluster가 아닌, create nodegroup
eksctl create nodegroup -f default.yaml

• 명령줄로, 기존 클러스터에 Fargate 노드그룹 추가하기 (테스트)

# --dry-run 명령어를 통한 config 파일 생성 후 변경점 확인
eksctl create cluster --fargate --dry-run >> fargate.yaml

# EC2 기반 워커노드와 달리, managedNodeGroups이 아닌 fargateProfiles 로 지정한다.
  8 fargateProfiles:
  9 - name: fp-default
 10   selectors:
 11   - namespace: default
 12   - namespace: kube-system
 13   status: ""

# 해당 부분을 default.yaml로 이동
vi default.yaml

• 기존 default.yaml에 fargateProfile 추가

# default.yaml 편집
vi default.yaml

# 공식 문서를 참조하여, 다음과 같은 fargateProfiles 추가
fargateProfiles:
- name: fp-default
  selectors:
  - namespace: default
    labels:
      env: dev
      checks: passed
  - namespace: kube-system
  status: ""

# 적용 / cluster가 아닌, create fargateprofile
eksctl create fargateprofile -f default.yamll

• 명령줄로, 기존 클러스터에 Bottlerocket 노드그룹 추가하기 (테스트)

# --dry-run 명령어를 통한 config 파일 생성 후 변경점 확인
eksctl create cluster --node-ami-family=Bottlerocket --dry-run >> bottlerocket.yaml

# amiFamily가 AmazonLinux2가 아닌 Bottlerocket이고, 별도 설정값을 입력할 수 있다.
 14 managedNodeGroups:
 15 - amiFamily: Bottlerocket
 16   bottlerocket:
 17     settings: {}

# 기존 volume 설정외에 volumeName이 설정되어있음
 54   volumeIOPS: 3000
 55   volumeName: /dev/xvdb
 56   volumeSize: 80
 57   volumeThroughput: 125
 58   volumeType: gp3

# 해당 부분을 default.yaml로 이동
vi default.yaml

• 기존 default.yaml에 Bottlerocket 노드그룹 추가

# default.yaml 편집
vi default.yaml

# 공식 문서를 참조하여, 다음과 같은 bottlerocket 설정 추가
- name: ng-bottlerocket
  amiFamily: Bottlerocket
  bottlerocket:
    settings: {}
  ssh:
    allow: true
    publicKeyPath: ~/.ssh/id_rsa.pub  
  volumeIOPS: 3000
  volumeName: /dev/xvdb
  volumeSize: 10
  volumeThroughput: 125
  volumeType: gp3

# 적용 / cluster가 아닌, create nodegroup
eksctl create nodegroup-f default.yaml

• 워커노드 확인

k get node --selector=alpha.eksctl.io/nodegroup-name=ng-bottlerocket

NAME                                               STATUS   ROLES    AGE   VERSION
ip-172-20-40-244.ap-northeast-2.compute.internal   Ready    <none>   10m   v1.24.10-eks-08ad9cc
ip-172-20-9-98.ap-northeast-2.compute.internal     Ready    <none>   10m   v1.24.10-eks-08ad9cc

• 해당 노드에 파드 배치 확인 (node selector)

# bottle 로켓에 os=bottlerocket label 부여
# k label nodes <node1> <node2> os=bottlerocket
k label nodes ip-172-20-40-244.ap-northeast-2.compute.internal ip-172-20-9-98.ap-northeast-2.compute.internal os=bottlerocket

# 해당 label을 보고 배치되는 deployment 생성
k create deployment nginx --image=nginx --replicas=10 --dry-run=client -o yaml >>deploy2.yaml

# deploy2.yaml에 node selector 추가
 19     spec:
 20       nodeSelector:
 21         os: bottlerocket

# deployment 배포
k apply -f deploy.yaml
k get pod

• 워커노드에 ssh 접속
• 작업용 EC2의 id_rsa키를 배스천에 옮겨넣어서 접속테스트 수행

apiVersion: eksctl.io/v1alpha5
availabilityZones:
- ap-northeast-2a
- ap-northeast-2c
cloudWatch:
  clusterLogging: {}
iam:
  vpcResourceControllerPolicy: true
  withOIDC: false
kind: ClusterConfig
kubernetesNetworkConfig:
  ipFamily: IPv4
managedNodeGroups:
- amiFamily: AmazonLinux2
  desiredCapacity: 2
  instanceSelector: {}
  instanceType: t3.medium
  labels:
    alpha.eksctl.io/cluster-name: yaml
    alpha.eksctl.io/nodegroup-name: ng-default
  maxSize: 2
  minSize: 2
  name: ng-default
  privateNetworking: false
  releaseVersion: ""
  securityGroups:
    withLocal: null
    withShared: null
  ssh:
    allow: true
    publicKeyPath: ~/.ssh/id_rsa.pub
  tags:
    alpha.eksctl.io/nodegroup-name: ng-default
    alpha.eksctl.io/nodegroup-type: managed
  volumeIOPS: 3000
  volumeSize: 10
  volumeThroughput: 125
  volumeType: gp3
- name: ng-spot-2
  instanceTypes: ["t3.small","t3.medium","t3.large"]
  spot: true
  volumeIOPS: 3000
  volumeSize: 10
  volumeThroughput: 125
  volumeType: gp3
  maxSize: 2
  minSize: 2
- name: ng-bottlerocket
  amiFamily: Bottlerocket
  bottlerocket:
    settings: {}
  ssh:
    allow: true
    publicKeyPath: ~/.ssh/id_rsa.pub  
  volumeIOPS: 3000
  volumeName: /dev/xvdb
  volumeSize: 10
  volumeThroughput: 125
  volumeType: gp3
fargateProfiles:
- name: fp-default
  selectors:
  - namespace: default
    labels:
      env: dev
      checks: passed
  - namespace: kube-system
  status: ""
metadata:
  name: yaml
  region: ap-northeast-2
  version: "1.24"
privateCluster:
  enabled: false
  skipEndpointCreation: false
vpc:
  autoAllocateIPv6: false
  cidr: 172.20.0.0/16
  clusterEndpoints:
    privateAccess: true
    publicAccess: true
  manageSharedNodeSecurityGroupRules: true
  nat:
    gateway: Single