aws client refactor and cleanup

.env.template

@@ -1,14 +1,34 @@
+####################################################################################################
+# CORE APPLICATION SETTINGS
+####################################################################################################
+
 ENVIRONMENT=staging # or production or development
 DJANGOSECRET=
 DEBUG=False
+
+# JWT Authentication
 JWT_SECRET_KEY=
 JWT_ACCESS_TOKEN_EXPIRY_HOURS=
 JWT_REFRESH_TOKEN_EXPIRY_DAYS=
 
+# Role & Permissions
 ROLE_PERMISSIONS_REDIS_KEY=
 
-DEV_SECRETS_DIR=
-USE_AWS_SECRETS_MANAGER=
+# Frontend URLs
+FRONTEND_URL=
+FRONTEND_URL_V2=
+
+# User Management
+SIGNUPCODE=
+CREATEORG_CODE=
+
+# First Org and User (for initial setup)
+FIRST_ORG_NAME=
+FIRST_USER_EMAIL=
+
+####################################################################################################
+# DATABASE CONFIGURATION
+####################################################################################################
 
 DBNAME=
 DBHOST=
@@ -18,93 +38,128 @@ DBPASSWORD=
 DBADMINUSER=
 DBADMINPASSWORD=
 
+####################################################################################################
+# REDIS CONFIGURATION
+####################################################################################################
+
 REDIS_HOST=
 REDIS_PORT=6379
 
-AWS_ACCESS_KEY_ID=
-AWS_SECRET_ACCESS_KEY=
+####################################################################################################
+# AWS CONFIGURATION
+####################################################################################################
+
+# AWS Default Region
 AWS_DEFAULT_REGION=ap-south-1
 
+# Secrets Manager Credentials  
+SECRETSMANAGER_ACCESS_KEY_ID=
+SECRETSMANAGER_SECRET_ACCESS_KEY=
+
+# S3 Credentials
 S3_AWS_ACCESS_KEY_ID=
 S3_AWS_SECRET_ACCESS_KEY=
 ELEMENTARY_S3_BUCKET=
 LATEST_ELEMENTARY_PACKAGE_VERSION=
 
+# SES (Email) Credentials
 SES_ACCESS_KEY_ID=
 SES_SECRET_ACCESS_KEY=
-SES_SENDER_EMAIL=
+
+####################################################################################################
+# AIRBYTE CONFIGURATION
+####################################################################################################
 
 AIRBYTE_SERVER_HOST=
 AIRBYTE_SERVER_PORT=
 AIRBYTE_SERVER_APIVER=
 AIRBYTE_API_TOKEN=
 AIRBYTE_DESTINATION_TYPES=
-
 AIRBYTE_FETCH_CONNECTION_CATALOG_TIMEOUT_SECONDS=300
+AIRBYTE_SOURCE_BLACKLIST=""
+
+####################################################################################################
+# PREFECT CONFIGURATION
+####################################################################################################
 
 PREFECT_PROXY_API_URL=
 PREFECT_HTTP_TIMEOUT=5
 PREFECT_WORKER_POOL_NAME="dalgo_work_pool"
 PREFECT_RETRY_CRASHED_FLOW_RUNS=False
 PREFECT_AIRBYTE_TASKS_TIMEOUT_SECS=15
 
+####################################################################################################
+# DBT CONFIGURATION
+####################################################################################################
+
 CLIENTDBT_ROOT=
 DBT_VENV=
 
-SIGNUPCODE=
-CREATEORG_CODE=
-FRONTEND_URL=
-FRONTEND_URL_V2=
+####################################################################################################
+# NOTIFICATIONS & WEBHOOKS
+####################################################################################################
 
 PREFECT_NOTIFICATIONS_WEBHOOK_KEY=
 PREFECT_URL_FOR_NOTIFICATIONS=
 AIRBYTE_URL_FOR_NOTIFICATIONS=
 NOTIFY_PLATFORM_ADMINS_OF_ERRORS=
 
+# Admin Notifications
+ADMIN_EMAIL=
+ADMIN_DISCORD_WEBHOOK=
+BIZ_DEV_EMAILS=""
+
+####################################################################################################
+# SUPERSET INTEGRATION
+####################################################################################################
+
 SUPERSET_USAGE_DASHBOARD_API_URL=
 SUPERSET_USAGE_CREDS_SECRET_ID=
 
-# First Org and User
-FIRST_ORG_NAME=
-FIRST_USER_EMAIL=
-
+####################################################################################################
+# DEMO ACCOUNTS & TESTING
+####################################################################################################
 
-# DEMO ACCOUNTS
 DEMO_SIGNUPCODE=
-
 DEMO_AIRBYTE_SOURCE_TYPES=
-
 DEMO_SUPERSET_USERNAME=
 DEMO_SUPERSET_PASSWORD=
 
-# Feature flags
-CANVAS_LOCK=False
+####################################################################################################
+# FEATURE FLAGS & CONFIGURATION
+####################################################################################################
 
+CANVAS_LOCK=False
 EDR_TTL=180
 SCHEMA_REFRESH_TTL=180
+ESTIMATE_TIME_FOR_QUEUE_RUNS="false"
+
+####################################################################################################
+# LLM SERVICE
+####################################################################################################
 
-# LLM service
 LLM_SERVICE_API_URL="http://127.0.0.1:7001"
 LLM_SERVICE_API_KEY="<api key>"
 LLM_SERVICE_API_VER="" # can be empty or v1
 
-# Sentry
+####################################################################################################
+# MONITORING & LOGGING
+####################################################################################################
+
+# Sentry Configuration
 SENTRY_DSN=
-# trace sampling rate
-SENTRY_TSR=
-# profile sampling rate
-SENTRY_PSR=
-# Enable or disable sending logs per environment
+SENTRY_TSR= # trace sampling rate
+SENTRY_PSR= # profile sampling rate
 SENTRY_ENABLE_LOGS=True # or False
-# Enable or disable sending PII per environment
 SENTRY_SEND_DEFAULT_PII=True # or False
 
 # Logging Configuration
 ENABLE_FILE_LOGGING=False # Set to False to disable file logging (useful when PM2 manages logs)
 
-BIZ_DEV_EMAILS=""
+####################################################################################################
+# DOCKER DEVELOPMENT OVERRIDES
+####################################################################################################
 
-# docker specific
 FIRST_ORG_NAME="admin-dev"
 FIRST_USER_EMAIL="admin@gmail.com"
 FIRST_USER_PASSWORD="password"
@@ -116,14 +171,10 @@ DEV_SECRETS_MOUNT=
 CLIENTS_DBT_MOUNT=
 LOGS_MOUNT=
 
-ADMIN_EMAIL=
-ADMIN_DISCORD_WEBHOOK=
-
-AIRBYTE_SOURCE_BLACKLIST=""
-
-ESTIMATE_TIME_FOR_QUEUE_RUNS="false"
-
 
+####################################################################################################
+# SCHEMA CHANGE DETECTION
+####################################################################################################
 
 SCHEMA_CHANGE_DETECTION_INTER_ORG_DELAY=60
 SCHEMA_CHANGE_DETECTION_SCHEDULE_HOUR=18