Merge pull request #31 from maddevsio/feature/variables-cleanup

Minor fixes in variables, locals, r53 zone etc

Author: halfb00t

.gitignore

@@ -62,6 +62,7 @@ crash.log
 # version control.
 #
 **/*.tfvars
+**/backend.tf
 
 # Ignore override files as they are usually used to override resources locally and so
 # are not checked in

README-RU.md

@@ -224,53 +224,62 @@
   $ export AWS_PROFILE=maddevs
   ```
 - Далее пройдите по [ссылке](https://docs.aws.amazon.com/neptune/latest/userguide/iam-auth-temporary-credentials.html), чтобы узнать как получить временные токены
-- В качетве альтернативы, для того чтобы использовать `awscli` и соответственно `terraform` с [MFA](https://aws.amazon.com/premiumsupport/knowledge-center/authenticate-mfa-cli/), можно использовать `aws-mfa`, `aws-vault` и `awsudo`
+- В качестве альтернативы, для того чтобы использовать `awscli` и соответственно `terraform` с [MFA](https://aws.amazon.com/premiumsupport/knowledge-center/authenticate-mfa-cli/), можно использовать `aws-mfa`, `aws-vault` и `awsudo`
 
 ## Как использовать этот репо
 
 ### Подготовка
 
 #### S3 state backend
 
-В качестве бэкенда для хранения стейтов терраформа и для обмена данными между слоями используется S3. На текущей момент имя S3 бакета захардкожено в коде `madops-terraform-state-us-east-1`. Необходимо создать отдельный бакет в своем аккаунте указать его имя в `main.tf` для обоих слоев.
+В качестве бэкенда для хранения стейтов терраформа и для обмена данными между слоями используется S3. Есть два способа настроить бэкенд: создать вручную `backend.tf` файл в каждом слое и более простой способ - выполнить из `terraform/`:
 
-#### Секреты
+  ```bash
+  $ export TF_REMOTE_STATE_BUCKET=my-new-state-bucket
+  $ terragrunt run-all init
+  ```
 
-В корне `layer2-k8s` лежит файл `aws-ssm-gitlab-secrets.tf`, ожидающий значения, заданные в AWS SSM Parameter Store. Данные секреты используются для аутентификации в Kibana и Grafana используя GitLab. Также в параметрах задается токен для регистрации гитлаб раннера:
+#### Входные данные
 
-  ```
-  /maddevs-demo/infra/grafana/gitlab_client_id
-  /maddevs-demo/infra/grafana/gitlab_client_secret
-  /maddevs-demo/infra/kibana/gitlab_client_id
-  /maddevs-demo/infra/kibana/gitlab_client_secret
-  /maddevs-demo/infra/runner/gitlab_registration_token
-  ```
+В файле `terraform/demo.tfvars.example` представлен пример со значениями для терраформа. Скопируйте его в `terraform/terraform.tfvars` и отредактируйте по своему усмотрению:
+
+```bash
+$ cp terraform/layer1-aws/demo.tfvars.example terraform/layer1-aws/terraform.tfvars
+```
+
+> Все возможные параметры можно посмотреть в Readme для каждого слоя.
+
+#### Секреты
 
-Другой способ передачи этих секретов - использовать AWS Secret Manager. В файле `examples/aws-secret-manager-gitlab-secrets.tf` находится пример использования. Данный конфиг ожидает json секрет `/maddevs-demo/infra/gitlab-tokens` с содержимым:
+В корне `layer2-k8s` лежит файл `aws-sm-secrets.tf`, ожидающий значения, заданные в секрете `/${local.name}-${local.environment}/infra/layer2-k8s` сервиса [AWS Secrets Manager](https://console.aws.amazon.com/secretsmanager/home?region=us-east-1#!/home). Данный секрет используется для аутентификации в Kibana и Grafana используя GitLab. Также задается токен для регистрации гитлаб раннера, параметры slack для алертменеджера:
 
   ```json
   {
     "kibana_gitlab_client_id": "access key token",
     "kibana_gitlab_client_secret": "secret key token",
+    "kibana_gitlab_group": "gitlab group",
     "grafana_gitlab_client_id": "access key token",
     "grafana_gitlab_client_secret": "secret key token",
-    "gitlab_registration_token": "gitlab-runner token"
+    "gitlab_registration_token": "gitlab-runner token",
+    "grafana_gitlab_group": "gitlab group",
+    "alertmanager_slack_url": "slack url",
+    "alertmanager_slack_channel": "slack channel"
   }
   ```
 
-Используя тот или иной способ, задайте необходимые секреты, можно задать пустые значения. В случае если вы не будете использовать данные секреты, следует удалить эти `.tf` файлы из корня `layer2-k8s`
+> Задайте все необходимые значения, можно задать пустые значения. В случае если вы не будете использовать данные секреты, следует удалить этот `.tf` файл из корня `layer2-k8s`
 
 #### Домен и SSL
 
 Необходимо будет купить или подключить уже купленный домен в Route53. Имя домена и айди зоны нужно будет задать в переменных `domain_name` и `zone_id` в слое layer1.
 
-По умолчанию значение переменной `create_acm_certificate = false`. Что указывает терраформу запросить а arn существующего ACM сертификата. Установите значение `true` если вы хотите, чтобы терраформ создал новый SSL сертификат.
+По умолчанию значение переменной `create_acm_certificate = false`. Что указывает терраформу запросить arn существующего ACM сертификата. Установите значение `true` если вы хотите, чтобы терраформ создал новый SSL сертификат.
 
 ### Работа с terraform
 
 #### init
 
-Команда `terraform init` используется для инициализации стейта и его бекенда, провайдеров, плагинов и модулей. Это первая команда, которую необходимо выполнить в `layer1` и `layer2`:
+Команда `terraform init` используется для инициализации стейта и его бэкенда, провайдеров, плагинов и модулей. Это первая команда, которую необходимо выполнить в `layer1` и `layer2`:
 
   ```bash
   $ terraform init

README.md

@@ -230,33 +230,42 @@ Further in the [IAM](https://console.aws.amazon.com/iam/home#/home) console:
 
 #### S3 state backend
 
-S3 is used as a backend for storing terraform states and for exchanging data between layers. Currently, the name of the S3 bucket is hardcoded as `madops-terraform-state-us-east-1`. You need to create a separate bucket in your account and specify its name in `main.tf` for both layers.
+S3 is used as a backend for storing terraform state and for exchanging data between layers. You can manually create s3 bucket and then put backend setting into `backend.tf` file in each layer. Alternatively you can run from `terraform/` directory:
 
-#### Secrets
+  ```bash
+  $ export TF_REMOTE_STATE_BUCKET=my-new-state-bucket
+  $ terragrunt run-all init
+  ```
 
-At the root of `layer2-k8s` is the `aws-ssm-gitlab-secrets.tf` file waiting for values set in the AWS SSM Parameter Store. These secrets are used for authentication with Kibana and Grafana using GitLab. Also, in the parameters, a token is set for registering a gitlab runner:
+#### Inputs
 
-  ```
-  /maddevs-demo/infra/grafana/gitlab_client_id
-  /maddevs-demo/infra/grafana/gitlab_client_secret
-  /maddevs-demo/infra/kibana/gitlab_client_id
-  /maddevs-demo/infra/kibana/gitlab_client_secret
-  /maddevs-demo/infra/runner/gitlab_registration_token
-  ```
+File `terraform/layer1-aws/demo.tfvars.example` contains example values. Copy this file to `terraform/layer1-aws/terraform.tfvars` and set you values:
+
+```bash
+$ cp terraform/layer1-aws/demo.tfvars.example terraform/layer1-aws/terraform.tfvars
+```
+
+> You can find all possible variables in each layer's Readme.
+
+#### Secrets
 
-Another way to set these secrets is to use AWS Secret Manager. The `examples/aws-secret-manager-gitlab-secrets.tf` file contains an example of usage. This config expects json secret `/maddevs-demo/infra/gitlab-tokens` with the following content:
+In the root of `layer2-k8s` is the `aws-sm-secrets.tf` where several local variables expect [AWS Secrets Manager](https://console.aws.amazon.com/secretsmanager/home?region=us-east-1#!/home) secret with the pattern `/${local.name}-${local.environment}/infra/layer2-k8s`. These secrets are used for authentication with Kibana and Grafana using GitLab and register gitlab runner.
 
   ```json
   {
     "kibana_gitlab_client_id": "access key token",
     "kibana_gitlab_client_secret": "secret key token",
+    "kibana_gitlab_group": "gitlab group",
     "grafana_gitlab_client_id": "access key token",
     "grafana_gitlab_client_secret": "secret key token",
-    "gitlab_registration_token": "gitlab-runner token"
+    "gitlab_registration_token": "gitlab-runner token",
+    "grafana_gitlab_group": "gitlab group",
+    "alertmanager_slack_url": "slack url",
+    "alertmanager_slack_channel": "slack channel"
   }
   ```
 
-Using either of these methods, set proper secrets; you can set empty values. If you will not use these secrets, you should delete these `.tf` files from the `layer2-k8s` root.
+> Set proper secrets; you can set empty/mock values. If you won't use these secrets, delete this `.tf` file from the `layer2-k8s` root.
 
 #### Domain and SSL
 
@@ -288,7 +297,7 @@ The `terraform init` command is used to initialize the state and its backend, do
 
 #### plan
 
-The `terraform plan` command reads the terraform state and configuration files and displays a list of changes and actions that need to be performed to bring the state in line with the configuration. It's a convenient way to test changes before applying them. When used with the `-out` parameter, it saves a batch of changes to a specified file that can later be used with `terraform apply`. Call example:
+The `terraform plan` command reads terraform state and configuration files and displays a list of changes and actions that need to be performed to bring the state in line with the configuration. It's a convenient way to test changes before applying them. When used with the `-out` parameter, it saves a batch of changes to a specified file that can later be used with `terraform apply`. Call example:
 
   ```bash
   $ terraform plan

terraform/layer1-aws/README.md

@@ -0,0 +1,67 @@
+## Requirements
+
+| Name | Version |
+|------|---------|
+| terraform | ~> 0.14.6 |
+| aws | 3.26.0 |
+| kubernetes | 2.0.2 |
+
+## Providers
+
+| Name | Version |
+|------|---------|
+| aws | 3.26.0 |
+
+## Inputs
+
+| Name | Description | Type | Default | Required |
+|------|-------------|------|---------|:--------:|
+| allowed\_account\_ids | List of allowed AWS account IDs | `list` | `[]` | no |
+| allowed\_ips | IP addresses allowed to connect to private resources | `list(any)` | `[]` | no |
+| az\_count | Count of avaiablity zones, min 2 | `number` | `3` | no |
+| cidr | Default CIDR block for VPC | `string` | `"10.0.0.0/16"` | no |
+| create\_acm\_certificate | Whether to create acm certificate or use existing | `bool` | `false` | no |
+| create\_r53\_zone | Create R53 zone for main public domain | `bool` | `false` | no |
+| domain\_name | Main public domain name | `any` | n/a | yes |
+| ecr\_repo\_retention\_count | number of images to store in ECR | `number` | `50` | no |
+| ecr\_repos | List of docker repositories | `list(any)` | <pre>[<br>  "demo"<br>]</pre> | no |
+| eks\_cluster\_version | Version of the EKS K8S cluster | `string` | `"1.18"` | no |
+| eks\_map\_roles | Additional IAM roles to add to the aws-auth configmap. | <pre>list(object({<br>    rolearn  = string<br>    username = string<br>    groups   = list(string)<br>  }))</pre> | `[]` | no |
+| eks\_worker\_groups | EKS Worker groups configuration | `map` | <pre>{<br>  "ci": {<br>    "asg_desired_capacity": 0,<br>    "asg_max_size": 3,<br>    "asg_min_size": 0,<br>    "override_instance_types": [<br>      "t3.medium",<br>      "t3a.medium"<br>    ],<br>    "spot_instance_pools": 2<br>  },<br>  "ondemand": {<br>    "asg_desired_capacity": 1,<br>    "asg_max_size": 6,<br>    "instance_type": "t3a.medium"<br>  },<br>  "spot": {<br>    "asg_desired_capacity": 1,<br>    "asg_max_size": 5,<br>    "asg_min_size": 0,<br>    "override_instance_types": [<br>      "t3.medium",<br>      "t3a.medium"<br>    ],<br>    "spot_instance_pools": 2<br>  }<br>}</pre> | no |
+| eks\_write\_kubeconfig | Flag for eks module to write kubeconfig | `bool` | `false` | no |
+| environment | Env name in case workspace wasn't used | `string` | `"demo"` | no |
+| name | Project name, required to form unique resource names | `any` | n/a | yes |
+| region | Default infrastructure region | `string` | `"us-east-1"` | no |
+| short\_region | The abbreviated name of the region, required to form unique resource names | `map` | <pre>{<br>  "ap-east-1": "ape1",<br>  "ap-northeast-1": "apn1",<br>  "ap-northeast-2": "apn2",<br>  "ap-south-1": "aps1",<br>  "ap-southeast-1": "apse1",<br>  "ap-southeast-2": "apse2",<br>  "ca-central-1": "cac1",<br>  "cn-north-1": "cnn1",<br>  "cn-northwest-1": "cnnw1",<br>  "eu-central-1": "euc1",<br>  "eu-north-1": "eun1",<br>  "eu-west-1": "euw1",<br>  "eu-west-2": "euw2",<br>  "eu-west-3": "euw3",<br>  "sa-east-1": "sae1",<br>  "us-east-1": "use1",<br>  "us-east-2": "use2",<br>  "us-gov-east-1": "usge1",<br>  "us-gov-west-1": "usgw1",<br>  "us-west-1": "usw1",<br>  "us-west-2": "usw2"<br>}</pre> | no |
+| single\_nat\_gateway | Flag to create single nat gateway for all AZs | `bool` | `true` | no |
+| zone\_id | R53 zone id for public domain | `any` | `null` | no |
+
+## Outputs
+
+| Name | Description |
+|------|-------------|
+| allowed\_ips | List of allowed ip's, used for direct ssh access to instances. |
+| az\_count | Count of avaiablity zones, min 2 |
+| domain\_name | Domain name |
+| eks\_cluster\_endpoint | Endpoint for EKS control plane. |
+| eks\_cluster\_id | n/a |
+| eks\_cluster\_security\_group\_id | Security group ids attached to the cluster control plane. |
+| eks\_config\_map\_aws\_auth | A kubernetes configuration to authenticate to this EKS cluster. |
+| eks\_kubectl\_config | kubectl config as generated by the module. |
+| eks\_kubectl\_console\_config | description |
+| eks\_oidc\_provider\_arn | ARN of EKS oidc provider |
+| env | Suffix for the hostname depending on workspace |
+| name | Project name, required to form unique resource names |
+| name\_wo\_region | Project name, required to form unique resource names without short region |
+| region | Target region for all infrastructure resources |
+| route53\_zone\_id | ID of domain zone |
+| short\_region | The abbreviated name of the region, required to form unique resource names |
+| ssl\_certificate\_arn | ARN of SSL certificate |
+| vpc\_cidr | CIDR block of infra VPC |
+| vpc\_database\_subnets | Database subnets of infra VPC |
+| vpc\_id | ID of infra VPC |
+| vpc\_intra\_subnets | Private intra subnets |
+| vpc\_name | Name of infra VPC |
+| vpc\_private\_subnets | Private subnets of infra VPC |
+| vpc\_public\_subnets | Public subnets of infra VPC |
+

terraform/layer1-aws/aws-acm.tf

@@ -6,7 +6,7 @@ module "acm" {
 
   domain_name               = local.domain_name
   subject_alternative_names = ["*.${local.domain_name}"]
-  zone_id                   = var.zone_id
+  zone_id                   = local.zone_id
 
   tags = {
     Name        = local.name

terraform/layer1-aws/aws-eks.tf

@@ -94,7 +94,7 @@ module "eks" {
     },
   ]
 
-  map_roles = var.map_roles
+  map_roles = local.eks_map_roles
 
-  write_kubeconfig = false
+  write_kubeconfig = var.eks_write_kubeconfig
 }

terraform/layer1-aws/aws-r53.tf

@@ -0,0 +1,23 @@
+module "r53_zone" {
+  source  = "terraform-aws-modules/route53/aws//modules/zones"
+  version = "~> 1.9.0"
+
+  create = var.create_r53_zone
+
+  zones = {
+    (var.domain_name) = {
+      comment = var.domain_name
+      tags = {
+        Name        = local.name
+        Environment = local.env
+      }
+    }
+  }
+}
+
+data "aws_route53_zone" "main" {
+  count = var.create_r53_zone && var.zone_id == null ? 0 : 1
+
+  name         = "${var.domain_name}."
+  private_zone = false
+}

terraform/layer1-aws/aws-vpc.tf

@@ -23,9 +23,8 @@ module "vpc" {
   database_subnets = local.database_subnets
   intra_subnets    = local.intra_subnets
 
-
+  single_nat_gateway   = var.single_nat_gateway
   enable_nat_gateway   = true
-  single_nat_gateway   = true
   enable_vpn_gateway   = false
   enable_dns_hostnames = true
   enable_dns_support   = true

terraform/layer1-aws/backend.tf

@@ -0,0 +1,45 @@
+##########
+# Common
+##########
+name        = "example"
+domain_name = "example.org"
+environment = "demo"
+
+##########
+# Network
+##########
+region   = "us-east-1"
+az_count = 3
+allowed_ips = [
+  "0.0.0.0/0"
+]
+single_nat_gateway = true
+
+##########
+# EKS
+##########
+eks_cluster_version = "1.18"
+
+eks_worker_groups = {
+  spot = {
+    override_instance_types = ["t3.medium", "t3a.medium"]
+    spot_instance_pools     = 2
+    asg_max_size            = 5
+    asg_min_size            = 0
+    asg_desired_capacity    = 1
+  },
+  ondemand = {
+    instance_type        = "t3a.medium"
+    asg_desired_capacity = 1
+    asg_max_size         = 6
+  },
+  ci = {
+    override_instance_types = ["t3.medium", "t3a.medium"]
+    spot_instance_pools     = 2
+    asg_max_size            = 3
+    asg_min_size            = 0
+    asg_desired_capacity    = 0
+  }
+}
+
+eks_write_kubeconfig = false