🔧 Multi-Region Infrastructure 관리 가이드

📋 개요

Multi-Region Infrastructure의 일상적인 관리, 설정 변경, 그리고 운영 방법에 대한 가이드입니다.

🗂️ 설정 파일 구조

계층적 설정 상속

shared/common.hcl (전역 공통)
       ⬇️
`[env]`/env.hcl (환경별)
       ⬇️  
regions/`[region]`/region.hcl (지역별)
       ⬇️
`[service]`/terragrunt.hcl (서비스별)

설정 로딩 패턴

# 모든 서비스에서 표준으로 사용하는 패턴
locals {
  # 상위 설정들 로드
  env_vars     = read_terragrunt_config(find_in_parent_folders("env.hcl"))
  region_vars  = read_terragrunt_config("../region.hcl")
  
  # 동적 값 추출
  project_id = local.region_vars.locals.project_id
  region     = local.region_vars.locals.region
  zone       = local.region_vars.locals.zone
}

🎯 새로운 Region 추가

1단계: 공통 설정 업데이트

shared/regions.hcl에 새 region 추가

locals {
  regions = {
    # 기존 regions...
    
    # 새로운 US Region
    "us-central1" = {
      region      = "us-central1"
      zone        = "us-central1-a"
      timezone    = "America/Chicago"
      url_suffix  = "us"
      
      services = {
        cloud_run_region    = "us-central1"
        cloudsql_region     = "us-central1"
        redis_region        = "us-central1"
        scheduler_region    = "us-central1"
      }
    }
  }
}

2단계: 환경별 프로젝트 매핑

`[env]`/env.hcl 업데이트

locals {
  projects = {
    europe = { ... }  # 기존
    asia   = { ... }  # 기존
    
    # 새로운 US region 추가
    us = {
      project_id   = "dta-cloud-us-dev"  # 또는 적절한 naming
      project_name = "dta-cloud-us-dev"
      region       = "us-central1"
      zone         = "us-central1-a"
      timezone     = "America/Chicago"
      url_suffix   = "us"
    }
  }
  
  # 서비스 URL 추가
  services = {
    europe = { ... }  # 기존
    asia   = { ... }  # 기존
    
    us = {
      dta_wide_api_url = "https://dta-wide-api-${local.environment}-us-xxxxxxxx-uc.a.run.app"
    }
  }
}

3단계: Region 디렉토리 생성

# 새 region 디렉토리 생성
mkdir -p infrastructure/terragrunt/dev/regions/us-central1

# 기존 region에서 복사
cp -r infrastructure/terragrunt/dev/regions/europe-west3/* \
      infrastructure/terragrunt/dev/regions/us-central1/

# region.hcl 수정

regions/us-central1/region.hcl

locals {
  # 부모 설정 로드
  env_vars     = read_terragrunt_config("../../env.hcl").locals
  regions_vars = read_terragrunt_config("../../../shared/regions.hcl").locals
  
  # US region 설정
  current_region = "us-central1"
  region_config  = local.regions_vars.regions[local.current_region]
  
  # US region 프로젝트 정보
  project_id = local.env_vars.projects.us.project_id
  region     = local.region_config.region
  zone       = local.region_config.zone
}

4단계: 배포 및 검증

# 새로운 region 검증
terragrunt validate --terragrunt-working-dir dev/regions/us-central1/

# 단계별 배포
terragrunt apply --terragrunt-working-dir dev/regions/us-central1/network/
terragrunt apply --terragrunt-working-dir dev/regions/us-central1/cloudsql/
# ... 기타 서비스들

🔄 환경 관리

새로운 Environment 추가

1. 환경 디렉토리 생성

# 새로운 환경 (예: staging2) 생성
cp -r infrastructure/terragrunt/dev infrastructure/terragrunt/staging2

2. env.hcl 업데이트

locals {
  environment = "staging2"
  
  projects = {
    europe = {
      project_id = "dta-cloud-de-staging2"
    }
    asia = {
      project_id = "dta-cloud-staging2"
    }
  }
}

Environment간 설정 동기화

# Dev에서 Stage로 설정 동기화
./scripts/sync-env-config.sh dev stage

# 모든 환경에 공통 변경사항 적용
./scripts/apply-global-changes.sh

📊 프로젝트 관리

프로젝트 생성

수동 생성 (권장)

# EU region 프로젝트
gcloud projects create dta-cloud-de-dev \
  --organization=778204568675 \
  --name="DTA Cloud DE Dev"

# Asia region 프로젝트  
gcloud projects create dta-cloud-dev \
  --organization=778204568675 \
  --name="DTA Cloud Dev"

# Billing 계정 연결
gcloud billing projects link dta-cloud-de-dev \
  --billing-account=01A3DE-04193F-06C496

Terragrunt 기반 생성

# Global project-creation 모듈 사용
terragrunt apply --terragrunt-working-dir dev/global/project-creation/

프로젝트 권한 설정

# DevOps 팀 권한 부여
gcloud projects add-iam-policy-binding dta-cloud-dev \
  --member="user:bok@weltcorp.com" \
  --role="roles/editor"

# Service Account 권한 부여
gcloud projects add-iam-policy-binding dta-cloud-dev \
  --member="serviceAccount:terraform@dta-cloud-de-dev.iam.gserviceaccount.com" \
  --role="roles/editor"

🔧 서비스별 관리

Cloud SQL 관리

Region별 데이터베이스 인스턴스

# Europe region
instance_name = "db-dta-wide-${local.environment}-eu"
region        = "europe-west3"

# Asia region  
instance_name = "db-dta-wide-${local.environment}-asia"
region        = "asia-northeast3"

데이터베이스 마이그레이션

# Asia region에 초기 스키마 설정
psql -h <asia-db-ip> -U admin -d dta_wide_0_1_0 < schema.sql

# 기존 EU 데이터를 Asia로 마이그레이션 (선택적)
pg_dump -h <eu-db-ip> -U admin dta_wide_0_1_0 | \
  psql -h <asia-db-ip> -U admin dta_wide_0_1_0

Redis 캐시 관리

Region별 캐시 전략

# 각 region별 독립적인 캐시
locals {
  redis_configs = {
    europe = {
      memory_size_gb = 2      # EU 사용자 많음
      tier          = "STANDARD_HA"
    }
    asia = {
      memory_size_gb = 1      # 초기 단계
      tier          = "BASIC"
    }
  }
}

네트워크 관리

CIDR 범위 관리

# Region별 겹치지 않는 IP 범위
vpc_cidrs = {
  europe = "10.8.0.0/16"   # EU VPC
  asia   = "10.9.0.0/16"   # Asia VPC
  us     = "10.10.0.0/16"  # 미래 US VPC
}

# VPC Connector CIDR
connector_cidrs = {
  europe = "10.8.0.0/28"   # EU Connector
  asia   = "10.9.0.0/28"   # Asia Connector
  us     = "10.10.0.0/28"  # 미래 US Connector
}

📋 일상적인 운영 작업

설정 변경

공통 설정 변경

# 1. shared/common.hcl 수정
# 2. 모든 환경에 적용
for env in dev stage prod; do
  terragrunt run-all apply --terragrunt-working-dir $env/
done

특정 Region 설정 변경

# Asia region CloudSQL 메모리 증가
terragrunt apply --terragrunt-working-dir dev/regions/asia-northeast3/cloudsql/

# 특정 서비스만 업데이트
terragrunt apply --terragrunt-working-dir dev/regions/asia-northeast3/memorystore/

모니터링 및 로깅

Region별 모니터링

# Europe region 상태 확인
gcloud monitoring dashboards list --project=dta-cloud-de-dev

# Asia region 상태 확인  
gcloud monitoring dashboards list --project=dta-cloud-dev

통합 로그 분석

# 모든 region의 로그 통합 쿼리
gcloud logging read "
  resource.type=cloud_run_revision AND
  (resource.labels.project_id=dta-cloud-de-dev OR resource.labels.project_id=dta-cloud-dev)
" --limit=100

🚨 장애 대응

Region별 장애 시나리오

Europe Region 장애

# 1. Asia region으로 트래픽 우회
gcloud compute url-maps edit dta-wide-global-lb

# 2. 데이터 동기화 확인
# 3. 서비스 복구 후 트래픽 복원

Asia Region 장애

# 1. Europe region에서 Asia 사용자 처리
# 2. 캐시 데이터 복구
# 3. 단계적 서비스 복원

Cross-Region 데이터 복구

# Europe -> Asia 데이터 복제
gcloud sql export sql dta-wide-eu-instance gs://backup-bucket/eu-backup.sql \
  --project=dta-cloud-de-dev

gcloud sql import sql dta-wide-asia-instance gs://backup-bucket/eu-backup.sql \
  --project=dta-cloud-dev

🔄 업데이트 및 패치

Rolling Update 전략

서비스별 업데이트 순서

Global Services: APIs, IAM, Firebase
Network Infrastructure: VPC, Subnets
Data Services: Cloud SQL, Memorystore
Compute Services: Cloud Run, Scheduler
Monitoring: OTEL, Logging

🛠️ 유용한 스크립트

일괄 배포 스크립트

#!/bin/bash
# deploy-all-regions.sh

ENVIRONMENT=${1:-dev}
ACTION=${2:-plan}

echo "🚀 Deploying $ENVIRONMENT environment..."

# Global services first
echo "📦 Deploying global services..."
terragrunt run-all $ACTION --terragrunt-working-dir $ENVIRONMENT/global/

# Europe region
echo "🇪🇺 Deploying Europe region..."
terragrunt run-all $ACTION --terragrunt-working-dir $ENVIRONMENT/regions/europe-west3/

# Asia region
echo "🇰🇷 Deploying Asia region..."
terragrunt run-all $ACTION --terragrunt-working-dir $ENVIRONMENT/regions/asia-northeast3/

echo "✅ Deployment completed!"

설정 검증 스크립트

#!/bin/bash
# validate-all.sh

for env in dev stage prod; do
  echo "🔍 Validating $env environment..."
  
  # Global services
  terragrunt validate --terragrunt-working-dir $env/global/
  
  # Regional services
  for region in europe-west3 asia-northeast3; do
    echo "  📍 Validating $region..."
    terragrunt validate --terragrunt-working-dir $env/regions/$region/
  done
done

비용 모니터링 스크립트

#!/bin/bash
# cost-monitoring.sh

echo "💰 Multi-Region Cost Analysis"

# Europe region 비용
echo "🇪🇺 Europe Region Costs:"
gcloud billing budgets list --project=dta-cloud-de-dev

# Asia region 비용
echo "🇰🇷 Asia Region Costs:"  
gcloud billing budgets list --project=dta-cloud-dev

# 비용 알림 설정
gcloud alpha billing budgets create \
  --billing-account=01A3DE-04193F-06C496 \
  --display-name="DTA-Wide Multi-Region Budget" \
  --budget-amount=500USD

📊 성능 튜닝

Region별 리소스 최적화

사용량 기반 조정

# 실제 사용량에 따른 동적 조정
locals {
  # 사용자 분포에 따른 리소스 할당
  user_distribution = {
    europe = 70  # 70% 사용자
    asia   = 30  # 30% 사용자
  }
  
  # 비례적 리소스 할당
  instance_configs = {
    europe = {
      min_instances = ceil(local.user_distribution.europe / 10)  # 7개
      max_instances = local.user_distribution.europe / 5         # 14개
    }
    asia = {
      min_instances = ceil(local.user_distribution.asia / 10)    # 3개
      max_instances = local.user_distribution.asia / 5           # 6개
    }
  }
}

오토스케일링 설정

# Cloud Run 오토스케일링 업데이트
gcloud run services update dta-wide-api \
  --region=asia-northeast3 \
  --project=dta-cloud-dev \
  --min-instances=0 \
  --max-instances=5

🔐 보안 관리

Service Account 관리

Cross-Region Service Account 권한

# Asia region Service Account가 EU BigQuery 접근
gcloud projects add-iam-policy-binding dta-cloud-de-dev \
  --member="serviceAccount:dta-wide-api@dta-cloud-dev.iam.gserviceaccount.com" \
  --role="roles/bigquery.dataViewer"

네트워크 보안

# Region별 방화벽 규칙 관리
gcloud compute firewall-rules create allow-asia-to-eu-db \
  --project=dta-cloud-de-dev \
  --source-ranges=10.9.0.0/16 \
  --allow=tcp:5432 \
  --target-tags=cloudsql-asia-access

시크릿 관리

Region별 시크릿 복제

# EU에서 Asia로 시크릿 복제
gcloud secrets versions access latest \
  --secret=dta-wide-api-key \
  --project=dta-cloud-de-dev | \
gcloud secrets create dta-wide-api-key \
  --project=dta-cloud-dev \
  --data-file=-

📈 모니터링 및 알림

Multi-Region 대시보드

통합 모니터링 설정

# monitoring-config.yaml
dashboards:
  - name: "Multi-Region Overview"
    widgets:
      - title: "EU Region Health"
        project: "dta-cloud-de-dev"
        metrics: ["cloud_run/request_count", "cloudsql/cpu_utilization"]
      
      - title: "Asia Region Health"
        project: "dta-cloud-dev"  
        metrics: ["cloud_run/request_count", "cloudsql/cpu_utilization"]
      
      - title: "Cross-Region Comparison"
        projects: ["dta-cloud-de-dev", "dta-cloud-dev"]
        metrics: ["latency", "error_rate", "throughput"]

알림 정책

# Region별 알림 정책 설정
gcloud alpha monitoring policies create \
  --policy-file=multi-region-alerts.yaml \
  --project=dta-cloud-de-dev

# Cross-region 장애 알림
gcloud alpha monitoring policies create \
  --notification-channels=$SLACK_CHANNEL \
  --display-name="Multi-Region Failover Alert"

🔄 백업 및 복구

자동 백업 설정

Cross-Region 백업

# Cloud SQL 자동 백업
backup_configuration = {
  enabled                        = true
  start_time                    = "02:00"  # 각 region timezone 기준
  location                      = "asia-northeast3"  # 백업 저장 위치
  point_in_time_recovery_enabled = true
  
  # Cross-region 백업
  backup_retention_settings = {
    retained_backups = 30
    retention_unit   = "COUNT"
  }
}

데이터 동기화 스케줄

# 매시간 증분 동기화
0 * * * * /scripts/sync-eu-to-asia.sh

# 매일 전체 백업  
0 2 * * * /scripts/full-backup-cross-region.sh

🎯 운영 체크리스트

일일 체크

모든 region 서비스 상태 확인
지연시간 모니터링 확인
에러율 임계치 확인
비용 사용량 확인

주간 체크

각 region별 성능 리포트 검토
백업 상태 검증
보안 업데이트 적용
용량 계획 검토

월간 체크

비용 최적화 분석
새로운 region 필요성 검토
DR(재해복구) 테스트 수행
아키텍처 개선사항 검토

🚨 트러블슈팅

일반적인 문제들

설정 문제

# Terragrunt 설정 검증
terragrunt validate --terragrunt-working-dir dev/regions/asia-northeast3/

# 종속성 그래프 확인
terragrunt graph-dependencies --terragrunt-working-dir dev/

권한 문제

# Service Account 권한 확인
gcloud projects get-iam-policy dta-cloud-dev \
  --flatten="bindings[].members" \
  --filter="bindings.members:serviceAccount:*"

네트워크 연결 문제

# VPC Connector 상태 확인
gcloud compute networks vpc-access connectors list \
  --region=asia-northeast3 \
  --project=dta-cloud-dev

📚 관련 문서

Multi-Region 아키텍처: 전체 구조 이해
Multi-Region 배포 가이드: 배포 절차
Terraform 가이드: Terraform 모듈 사용법

📧 문의: DevOps Team (bok@weltcorp.com)

📋 개요​

🗂️ 설정 파일 구조​

계층적 설정 상속​

설정 로딩 패턴​

🎯 새로운 Region 추가​

1단계: 공통 설정 업데이트​

shared/regions.hcl에 새 region 추가​

2단계: 환경별 프로젝트 매핑​

[env]/env.hcl 업데이트​

3단계: Region 디렉토리 생성​

regions/us-central1/region.hcl​

4단계: 배포 및 검증​

🔄 환경 관리​

새로운 Environment 추가​

1. 환경 디렉토리 생성​

2. env.hcl 업데이트​

Environment간 설정 동기화​

📊 프로젝트 관리​

프로젝트 생성​

수동 생성 (권장)​

Terragrunt 기반 생성​

프로젝트 권한 설정​

🔧 서비스별 관리​

Cloud SQL 관리​

Region별 데이터베이스 인스턴스​

데이터베이스 마이그레이션​

Redis 캐시 관리​

Region별 캐시 전략​

네트워크 관리​

CIDR 범위 관리​

📋 일상적인 운영 작업​

설정 변경​

공통 설정 변경​

특정 Region 설정 변경​

모니터링 및 로깅​

Region별 모니터링​

통합 로그 분석​

🚨 장애 대응​

Region별 장애 시나리오​

Europe Region 장애​

Asia Region 장애​

Cross-Region 데이터 복구​

🔄 업데이트 및 패치​

Rolling Update 전략​

서비스별 업데이트 순서​

🛠️ 유용한 스크립트​

일괄 배포 스크립트​

설정 검증 스크립트​

비용 모니터링 스크립트​

📊 성능 튜닝​

Region별 리소스 최적화​

사용량 기반 조정​

오토스케일링 설정​

🔐 보안 관리​

Service Account 관리​

Cross-Region Service Account 권한​

네트워크 보안​

시크릿 관리​

Region별 시크릿 복제​

📈 모니터링 및 알림​

Multi-Region 대시보드​

통합 모니터링 설정​

알림 정책​

🔄 백업 및 복구​

자동 백업 설정​

Cross-Region 백업​

데이터 동기화 스케줄​

🎯 운영 체크리스트​

일일 체크​

주간 체크​

월간 체크​

🚨 트러블슈팅​

일반적인 문제들​

설정 문제​

권한 문제​

네트워크 연결 문제​

📚 관련 문서​

📋 개요

🗂️ 설정 파일 구조

계층적 설정 상속

설정 로딩 패턴

🎯 새로운 Region 추가

1단계: 공통 설정 업데이트

shared/regions.hcl에 새 region 추가

2단계: 환경별 프로젝트 매핑

`[env]`/env.hcl 업데이트

3단계: Region 디렉토리 생성

regions/us-central1/region.hcl

4단계: 배포 및 검증

🔄 환경 관리

새로운 Environment 추가

1. 환경 디렉토리 생성

2. env.hcl 업데이트

Environment간 설정 동기화

📊 프로젝트 관리

프로젝트 생성

수동 생성 (권장)

Terragrunt 기반 생성

프로젝트 권한 설정

🔧 서비스별 관리

Cloud SQL 관리

Region별 데이터베이스 인스턴스

데이터베이스 마이그레이션

Redis 캐시 관리

Region별 캐시 전략

네트워크 관리

CIDR 범위 관리

📋 일상적인 운영 작업

설정 변경

공통 설정 변경

특정 Region 설정 변경

모니터링 및 로깅

Region별 모니터링

통합 로그 분석

🚨 장애 대응

Region별 장애 시나리오

Europe Region 장애

Asia Region 장애

Cross-Region 데이터 복구

🔄 업데이트 및 패치

Rolling Update 전략

서비스별 업데이트 순서

🛠️ 유용한 스크립트

일괄 배포 스크립트

설정 검증 스크립트

비용 모니터링 스크립트

📊 성능 튜닝

Region별 리소스 최적화

사용량 기반 조정

오토스케일링 설정

🔐 보안 관리

Service Account 관리

Cross-Region Service Account 권한

네트워크 보안

시크릿 관리

Region별 시크릿 복제

📈 모니터링 및 알림

Multi-Region 대시보드

통합 모니터링 설정

알림 정책

🔄 백업 및 복구

자동 백업 설정

Cross-Region 백업

데이터 동기화 스케줄

🎯 운영 체크리스트

일일 체크

주간 체크

월간 체크

🚨 트러블슈팅

일반적인 문제들

설정 문제

권한 문제

네트워크 연결 문제

📚 관련 문서