refactor: use aws-iam-eks-trusted module to create all roles used in k8s (#143)

Author: mglotov

.github/CONTRIBUTING.md

@@ -26,7 +26,7 @@ Please note we have a code of conduct, please follow it in all your interactions
       - [General configuration files](#general-configuration-files)
       - [Specific configuration files](#specific-configuration-files)
       - [Modules](#modules)
-    - [Project structure](#project-structure)
+  - [### Project structure](#-project-structure)
 
 ## Pull Request Process
 
@@ -304,65 +304,6 @@ Examples:
 - `aws-ec2-pritunl` - module for creating pritunl ec2 instance
 
 ### Project structure
-
-```
-aws-eks-base
- ┣ docker
- ┣ examples
- ┣ helm-charts
- ┣ terraform
- ┃ ┣ layer1-aws
- ┃ ┃ ┣ examples
- ┃ ┃ ┣ templates
- ┃ ┃ ┣ aws-acm.tf
- ┃ ┃ ┣ aws-eks.tf
- ┃ ┃ ┣ aws-vpc.tf
- ┃ ┃ ┣ locals.tf
- ┃ ┃ ┣ main.tf
- ┃ ┃ ┣ outputs.tf
- ┃ ┃ ┣ providers.tf
- ┃ ┃ ┗ variables.tf
- ┃ ┣ layer2-k8s
- ┃ ┃ ┣ examples
- ┃ ┃ ┣ templates
- ┃ ┃ ┣ eks-aws-node-termination-handler.tf
- ┃ ┃ ┣ eks-cert-manager.tf
- ┃ ┃ ┣ eks-certificate.tf
- ┃ ┃ ┣ eks-cluster-autoscaler.tf
- ┃ ┃ ┣ eks-cluster-issuer.tf
- ┃ ┃ ┣ eks-external-dns.tf
- ┃ ┃ ┣ eks-external-secrets.tf
- ┃ ┃ ┣ eks-namespaces.tf
- ┃ ┃ ┣ eks-network-policy.tf
- ┃ ┃ ┣ eks-nginx-ingress-controller.tf
- ┃ ┃ ┣ locals.tf
- ┃ ┃ ┣ main.tf
- ┃ ┃ ┣ outputs.tf
- ┃ ┃ ┣ providers.tf
- ┃ ┃ ┣ ssm-ps-secrets.tf
- ┃ ┃ ┗ variables.tf
- ┃ ┗ modules
- ┃ ┃ ┣ aws-iam-alb-ingress-controller
- ┃ ┃ ┣ aws-iam-autoscaler
- ┃ ┃ ┣ aws-iam-ci
- ┃ ┃ ┣ aws-iam-external-dns
- ┃ ┃ ┣ aws-iam-grafana
- ┃ ┃ ┣ aws-iam-roles
- ┃ ┃ ┣ aws-iam-s3
- ┃ ┃ ┣ aws-iam-ssm
- ┃ ┃ ┣ eks-rbac-ci
- ┃ ┃ ┣ kubernetes-namespace
- ┃ ┃ ┣ kubernetes-network-policy-namespace
- ┃ ┃ ┣ pritunl
- ┃ ┃ ┗ self-signed-certificate
- ┣ .editorconfig
- ┣ .gitignore
- ┣ .gitlab-ci.yml
- ┣ .pre-commit-config.yaml
- ┣ README.md
- ┗ README_OLD.md
-```
-
 ---
 
 | FILE / DIRECTORY| DESCRIPTION   |

README-RU.md

@@ -42,39 +42,45 @@
 
 ## Оглавление
 
-- [Архитектурная схема](#архитектурная-схема)
-- [Стоимость текущей инфры](#стоимость-текущей-инфры)
-- [Структура неймспейсов в K8S кластере](#структура-неймспейсов-в-k8s-кластере)
-- [Необходимый инструментарий](#необходимый-инструментарий)
-- [Полезные экстеншены VSCode](#полезные-экстеншены-vscode)
-- [AWS аккаунт](#aws-аккаунт)
-  - [Настройки IAM](#настройки-iam)
-  - [Настройка awscli](#настройка-awscli)
-- [Как использовать этот репо](#как-использовать-этот-репо)
-  - [Подготовка](#подготовка)
-    - [S3 state backend](#s3-state-backend)
-    - [Секреты](#секреты)
-    - [Домен и SSL](#домен-и-ssl)
-  - [Работа с terraform](#работа-с-terraform)
-    - [init](#init)
-    - [plan](#plan)
-    - [apply](#apply)
-  - [terragrunt](#terragrunt)
-- [Что делать после деплоя](#что-делать-после-деплоя)
-  - [examples](#examples)
-- [Coding conventions](#coding-conventions)
-  - [Имена и подходы используемые в коде](#имена-и-подходы-используемые-в-коде)
-    - [Базовое имя проекта](#базовое-имя-проекта)
-    - [Формирование уникального префикса имен ресурсов](#формирование-уникального-префикса-имен-ресурсов)
-    - [Разделители](#разделители)
-    - [Формирование имен ресурсов](#формирование-имен-ресурсов)
-    - [Формирование имен переменных](#формирование-имен-переменных)
-    - [Формирование имен вывода данных](#формирование-имен-вывода-данных)
-  - [Название файлов, директорий и модулей терраформа](#название-файлов-директорий-и-модулей-терраформа)
-    - [Общие конфигурационные файлы](#общие-конфигурационные-файлы)
-    - [Специфичные конфигурационные файлы](#специфичные-конфигурационные-файлы)
-    - [Модули](#модули)
-  - [Структура проекта](#структура-проекта)
+- [Бойлерплейт базовой AWS инфраструктуры c EKS-кластером](#бойлерплейт-базовой-aws-инфраструктуры-c-eks-кластером)
+  - [Преимущества этого бойлерплейта](#преимущества-этого-бойлерплейта)
+  - [Причины использовать этот бойлерплейт](#причины-использовать-этот-бойлерплейт)
+  - [Описание](#описание)
+  - [Оглавление](#оглавление)
+  - [Архитектурная схема](#архитектурная-схема)
+  - [Стоимость текущей инфры](#стоимость-текущей-инфры)
+  - [Структура неймспейсов в K8S кластере](#структура-неймспейсов-в-k8s-кластере)
+  - [Необходимый инструментарий](#необходимый-инструментарий)
+  - [Полезные экстеншены VSCode](#полезные-экстеншены-vscode)
+  - [AWS аккаунт](#aws-аккаунт)
+    - [Настройки IAM](#настройки-iam)
+    - [Настройка awscli](#настройка-awscli)
+  - [Как использовать этот репо](#как-использовать-этот-репо)
+    - [Подготовка](#подготовка)
+      - [S3 state backend](#s3-state-backend)
+      - [Входные данные](#входные-данные)
+      - [Секреты](#секреты)
+      - [Домен и SSL](#домен-и-ssl)
+    - [Работа с terraform](#работа-с-terraform)
+      - [init](#init)
+      - [plan](#plan)
+      - [apply](#apply)
+    - [terragrunt](#terragrunt)
+  - [Что делать после деплоя](#что-делать-после-деплоя)
+    - [examples](#examples)
+  - [Coding conventions](#coding-conventions)
+    - [Имена и подходы, используемые в коде](#имена-и-подходы-используемые-в-коде)
+      - [Базовое имя проекта](#базовое-имя-проекта)
+      - [Формирование уникального префикса имен ресурсов](#формирование-уникального-префикса-имен-ресурсов)
+      - [Разделители](#разделители)
+      - [Формирование имен ресурсов](#формирование-имен-ресурсов)
+      - [Формирование имен переменных](#формирование-имен-переменных)
+      - [Формирование имен вывода данных](#формирование-имен-вывода-данных)
+    - [Название файлов, директорий и модулей терраформа](#название-файлов-директорий-и-модулей-терраформа)
+      - [Общие конфигурационные файлы](#общие-конфигурационные-файлы)
+      - [Специфичные конфигурационные файлы](#специфичные-конфигурационные-файлы)
+      - [Модули](#модули)
+  - [### Структура проекта](#-структура-проекта)
 
 ## Архитектурная схема
 
@@ -575,65 +581,6 @@ locals {
 - `aws-ec2-pritunl` -  модуль для создания pritunl ec2 инстанса
 
 ### Структура проекта
-
-```
-aws-eks-base
- ┣ docker
- ┣ examples
- ┣ helm-charts
- ┣ terraform
- ┃ ┣ layer1-aws
- ┃ ┃ ┣ examples
- ┃ ┃ ┣ templates
- ┃ ┃ ┣ aws-acm.tf
- ┃ ┃ ┣ aws-eks.tf
- ┃ ┃ ┣ aws-vpc.tf
- ┃ ┃ ┣ locals.tf
- ┃ ┃ ┣ main.tf
- ┃ ┃ ┣ outputs.tf
- ┃ ┃ ┣ providers.tf
- ┃ ┃ ┗ variables.tf
- ┃ ┣ layer2-k8s
- ┃ ┃ ┣ examples
- ┃ ┃ ┣ templates
- ┃ ┃ ┣ eks-aws-node-termination-handler.tf
- ┃ ┃ ┣ eks-cert-manager.tf
- ┃ ┃ ┣ eks-certificate.tf
- ┃ ┃ ┣ eks-cluster-autoscaler.tf
- ┃ ┃ ┣ eks-cluster-issuer.tf
- ┃ ┃ ┣ eks-external-dns.tf
- ┃ ┃ ┣ eks-external-secrets.tf
- ┃ ┃ ┣ eks-namespaces.tf
- ┃ ┃ ┣ eks-network-policy.tf
- ┃ ┃ ┣ eks-nginx-ingress-controller.tf
- ┃ ┃ ┣ locals.tf
- ┃ ┃ ┣ main.tf
- ┃ ┃ ┣ outputs.tf
- ┃ ┃ ┣ providers.tf
- ┃ ┃ ┣ ssm-ps-secrets.tf
- ┃ ┃ ┗ variables.tf
- ┃ ┗ modules
- ┃ ┃ ┣ aws-iam-alb-ingress-controller
- ┃ ┃ ┣ aws-iam-autoscaler
- ┃ ┃ ┣ aws-iam-ci
- ┃ ┃ ┣ aws-iam-external-dns
- ┃ ┃ ┣ aws-iam-grafana
- ┃ ┃ ┣ aws-iam-roles
- ┃ ┃ ┣ aws-iam-s3
- ┃ ┃ ┣ aws-iam-ssm
- ┃ ┃ ┣ eks-rbac-ci
- ┃ ┃ ┣ kubernetes-namespace
- ┃ ┃ ┣ kubernetes-network-policy-namespace
- ┃ ┃ ┣ pritunl
- ┃ ┃ ┗ self-signed-certificate
- ┣ .editorconfig
- ┣ .gitignore
- ┣ .gitlab-ci.yml
- ┣ .pre-commit-config.yaml
- ┣ README.md
- ┗ README_OLD.md
-```
-
 ---
 
 | FILE / DIRECTORY| DESCRIPTION   |

README.md

@@ -481,16 +481,16 @@ We use GitHub Actions and [tfsec](https://github.com/aquasecurity/tfsec) to chec
 | layer1-aws/aws-eks.tf | aws-eks-no-public-cluster-access | Resource 'module.eks:aws_eks_cluster.this[0]' has public access is explicitly set to enabled | By default we create public accessible EKS cluster from anywhere |
 | layer1-aws/aws-eks.tf | aws-eks-no-public-cluster-access-to-cidr | Resource 'module.eks:aws_eks_cluster.this[0]' has public access cidr explicitly set to wide open | By default we create public accessible EKS cluster from anywhere |
 | layer1-aws/aws-eks.tf | aws-vpc-no-public-egress-sgr | Resource 'module.eks:aws_security_group_rule.workers_egress_internet[0]' defines a fully open egress security group rule | We use recommended option. [More info](https://docs.aws.amazon.com/eks/latest/userguide/sec-group-reqs.html) |
-| modules/aws-iam-ssm/iam.tf | aws-iam-no-policy-wildcards | Resource 'module.aws_iam_external_secrets:data.aws_iam_policy_document.this' defines a policy with wildcarded resources. | We use aws-iam-ssm module for external-secrets and grant it access to all secrets. |
-| modules/aws-iam-autoscaler/iam.tf | aws-iam-no-policy-wildcards | Resource 'module.aws_iam_autoscaler:data.aws_iam_policy_document.this' defines a policy with wildcarded resources | We use condition to allow run actions only for certain autoscaling groups |
+| modules/aws-iam-eks-trusted/main.tf | aws-iam-no-policy-wildcards | Resource 'module.aws_iam_external_secrets:aws_iam_role_policy.this' defines a policy with wildcarded resources. | We use this policy for external-secrets and grant it access to all secrets. |
+| modules/aws-iam-eks-trusted/main.tf | aws-iam-no-policy-wildcards | Resource 'module.aws_iam_autoscaler:aws_iam_role_policy.this' defines a policy with wildcarded resources | We use condition to allow run actions only for certain autoscaling groups |
 | modules/kubernetes-network-policy-namespace/main.tf | kubernetes-network-no-public-ingress | Resource 'module.dev_ns_network_policy:kubernetes_network_policy.deny-all' allows all ingress traffic by default | We deny all ingress trafic by default, but tfsec doesn't work as expected (bug) |
 | modules/kubernetes-network-policy-namespace/main.tf | kubernetes-network-no-public-egress | Resource 'module.dev_ns_network_policy:kubernetes_network_policy.deny-all' allows all egress traffic by default | We don't want to deny egress traffic in a default installation |
 | kubernetes-network-policy-namespace/main.tf | kubernetes-network-no-public-egress | Resource 'module.dev_ns_network_policy:kubernetes_network_policy.allow-from-this' allows all egress traffic by default | We don't want to deny egress traffic in a default installation |
 | modules/kubernetes-network-policy-namespace/main.tf | kubernetes-network-no-public-egress | Resource 'module.dev_ns_network_policy:kubernetes_network_policy.allow-from-ns[0]' allows all egress traffic by default | We don't want to deny egress traffic in a default installation |
-| modules/aws-iam-aws-loadbalancer-controller/iam.tf | aws-iam-no-policy-wildcards | Resource 'module.eks_alb_ingress[0]:module.aws_iam_aws_loadbalancer_controller:aws_iam_role_policy.this' defines a policy with wildcarded resources | We use recommended [policy](https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/main/docs/install/iam_policy.json) |
+| modules/aws-iam-eks-trusted/main.tf | aws-iam-no-policy-wildcards | Resource 'module.eks_alb_ingress[0]:module.aws_iam_aws_loadbalancer_controller:aws_iam_role_policy.this' defines a policy with wildcarded resources | We use recommended [policy](https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/main/docs/install/iam_policy.json) |
 | layer2-k8s/locals.tf | general-secrets-sensitive-in-local | Local 'locals.' includes a potentially sensitive value which is defined within the project | tfsec complains on helm_repo_external_secrets url because it contains the word *secret* |
-| modules/aws-iam-external-dns/main.tf | aws-iam-no-policy-wildcards | Resource 'module.aws_iam_external_dns:aws_iam_role_policy.this' defines a policy with wildcarded resources | We use the policy from the [documentation](https://github.com/kubernetes-sigs/external-dns/blob/master/docs/tutorials/aws.md#iam-policy)
-| modules/aws-iam-external-dns/main.tf | aws-iam-no-policy-wildcards | Resource 'module.aws_iam_cert_manager:aws_iam_role_policy.this' defines a policy with wildcarded resources | Certmanager uses Route53 to create DNS records and validate wildcard certificates. By default we allow it to manage all zones |
+| modules/aws-iam-eks-trusted/main.tf | aws-iam-no-policy-wildcards | Resource 'module.aws_iam_external_dns:aws_iam_role_policy.this' defines a policy with wildcarded resources | We use the policy from the [documentation](https://github.com/kubernetes-sigs/external-dns/blob/master/docs/tutorials/aws.md#iam-policy)
+| modules/aws-iam-eks-trusted/main.tf | aws-iam-no-policy-wildcards | Resource 'module.aws_iam_cert_manager:aws_iam_role_policy.this' defines a policy with wildcarded resources | Certmanager uses Route53 to create DNS records and validate wildcard certificates. By default we allow it to manage all zones |
 
 ## Contributing
 

terraform/layer1-aws/examples/aws-rds-postgresql.tf

@@ -137,13 +137,39 @@ resource "aws_s3_bucket_public_access_block" "rds_backups" {
 }
 
 module "aws_iam_rds_backups" {
-  source = "../modules/aws-iam-s3"
-
-  name              = "${local.name}-rds-backups"
-  region            = var.region
-  bucket_names      = [aws_s3_bucket.rds_backups.id]
-  oidc_provider_arn = module.eks.oidc_provider_arn
-  create_user       = true
+  source = "../modules/aws-iam-user-with-policy"
+
+  name = "${local.name}-rds-backups"
+  policy = jsonencode({
+    "Version" : "2012-10-17",
+    "Statement" : [
+      {
+        "Effect" : "Allow",
+        "Action" : [
+          "s3:ListBucket",
+          "s3:GetBucketLocation",
+          "s3:ListBucketMultipartUploads",
+          "s3:ListBucketVersions"
+        ],
+        "Resource" : [
+          "arn:aws:s3:::${aws_s3_bucket.rds_backups.id}"
+        ]
+      },
+      {
+        "Effect" : "Allow",
+        "Action" : [
+          "s3:GetObject",
+          "s3:PutObject",
+          "s3:DeleteObject",
+          "s3:AbortMultipartUpload",
+          "s3:ListMultipartUploadParts"
+        ],
+        "Resource" : [
+          "arn:aws:s3:::${aws_s3_bucket.rds_backups.id}/*"
+        ]
+      }
+    ]
+  })
 }
 
 module "ssm" {

terraform/layer2-k8s/eks-cert-manager.tf

@@ -1,12 +1,3 @@
-#tfsec:ignore:aws-iam-no-policy-wildcards
-module "aws_iam_cert_manager" {
-  source = "../modules/aws-iam-external-dns"
-
-  name              = local.name
-  region            = local.region
-  oidc_provider_arn = local.eks_oidc_provider_arn
-}
-
 data "template_file" "cert_manager" {
   template = file("${path.module}/templates/cert-manager-values.yaml")
 
@@ -34,3 +25,44 @@ resource "kubernetes_namespace" "certmanager" {
     name = "certmanager"
   }
 }
+
+#tfsec:ignore:aws-iam-no-policy-wildcards
+module "aws_iam_cert_manager" {
+  source = "../modules/aws-iam-eks-trusted"
+
+  name              = "${local.name}-certmanager"
+  region            = local.region
+  oidc_provider_arn = local.eks_oidc_provider_arn
+  policy = jsonencode({
+    "Version" : "2012-10-17",
+    "Statement" : [
+      {
+        "Effect" : "Allow",
+        "Action" : "route53:GetChange",
+        "Resource" : "arn:aws:route53:::change/*"
+      },
+      {
+        "Effect" : "Allow",
+        "Action" : [
+          "route53:ChangeResourceRecordSets",
+          "route53:ListResourceRecordSets"
+        ],
+        "Resource" : [
+          "arn:aws:route53:::hostedzone/*"
+        ]
+      },
+      {
+        "Effect" : "Allow",
+        "Action" : [
+          "route53:ListHostedZones"
+        ],
+        "Resource" : ["*"]
+      },
+      {
+        "Effect" : "Allow",
+        "Action" : "route53:ListHostedZonesByName",
+        "Resource" : "*"
+      }
+    ]
+  })
+}