🛠️ Multi-Region Infrastructure 트러블슈팅 가이드

📋 개요

Multi-Region Infrastructure 운영 중 발생할 수 있는 문제들과 해결 방법을 정리한 가이드입니다.

🚨 일반적인 문제들

Configuration 문제

❌ 문제: "No such file or directory" - config 로딩 실패

Error: Error in function call
│ 
│   on terragrunt.hcl line 5, in locals:
│    5:   region_vars = read_terragrunt_config("../region.hcl")
│ 
│ Call to function "read_terragrunt_config" failed: 
│ No such file or directory: ../region.hcl

✅ 해결방법:

# 1. 파일 존재 여부 확인
ls -la ../region.hcl

# 2. 경로 수정 (depth 확인)
# regions/`[region]`/`[service]`/terragrunt.hcl → ../region.hcl
# regions/`[region]`/`[service]`/`[subservice]`/terragrunt.hcl → ../../region.hcl

# 3. 올바른 경로로 수정
locals {
  region_vars = read_terragrunt_config("../../region.hcl")  # depth에 맞게 조정
}

❌ 문제: 순환 참조 (Circular Reference)

Error: Cycle in local value dependencies
│ 
│   on terragrunt.hcl line 10, in locals:
│   10:   project = "${local.project}"

✅ 해결방법:

# ❌ 잘못된 설정
locals {
  project = "${local.project}"  # 자기 자신 참조!
}

# ✅ 올바른 설정
locals {
  region_vars = read_terragrunt_config("../region.hcl")
  project     = local.region_vars.locals.project_id
}

❌ 문제: Project ID 불일치

Error: googleapi: Error 403: Project dta-cloud-de-dev is not found and cannot be created

✅ 해결방법:

# 1. 프로젝트 존재 확인
gcloud projects list --filter="projectId:dta-cloud-*"

# 2. 프로젝트 생성 (없는 경우)
gcloud projects create dta-cloud-dev \
  --organization=778204568675

# 3. Billing 계정 연결
gcloud billing projects link dta-cloud-dev \
  --billing-account=01A3DE-04193F-06C496

# 4. 필요한 APIs 활성화
gcloud services enable compute.googleapis.com --project=dta-cloud-dev

권한 문제

❌ 문제: Service Account 권한 부족

Error: googleapi: Error 403: Insufficient permissions to access project dta-cloud-dev

✅ 해결방법:

# 1. 현재 권한 확인
gcloud projects get-iam-policy dta-cloud-dev

# 2. Terraform Service Account 권한 부여
gcloud projects add-iam-policy-binding dta-cloud-dev \
  --member="serviceAccount:terraform@dta-cloud-de-dev.iam.gserviceaccount.com" \
  --role="roles/editor"

# 3. 추가 권한 (필요한 경우)
gcloud projects add-iam-policy-binding dta-cloud-dev \
  --member="serviceAccount:terraform@dta-cloud-de-dev.iam.gserviceaccount.com" \
  --role="roles/storage.admin"

❌ 문제: Cross-Project 권한 문제

Error: Error creating service: googleapi: Error 400: 
The service account dta-wide-api@dta-cloud-dev.iam.gserviceaccount.com 
does not have permission to access BigQuery in project dta-cloud-de-dev

✅ 해결방법:

# Asia region Service Account가 EU BigQuery 접근하도록 권한 부여
gcloud projects add-iam-policy-binding dta-cloud-de-dev \
  --member="serviceAccount:dta-wide-api@dta-cloud-dev.iam.gserviceaccount.com" \
  --role="roles/bigquery.dataViewer"

# PubSub 크로스 액세스 권한
gcloud projects add-iam-policy-binding dta-cloud-de-dev \
  --member="serviceAccount:dta-wide-api@dta-cloud-dev.iam.gserviceaccount.com" \
  --role="roles/pubsub.subscriber"

네트워크 문제

❌ 문제: VPC Connector IP 충돌

Error: Error creating VPC Connector: googleapi: Error 400: 
IP range 10.8.0.0/28 conflicts with existing subnet

✅ 해결방법:

# 1. 기존 CIDR 범위 확인
gcloud compute networks subnets list \
  --project=dta-cloud-dev \
  --filter="region:asia-northeast3"

# 2. 사용 가능한 IP 범위 찾기
gcloud compute networks list-available-ranges \
  --project=dta-cloud-dev \
  --network=dta-cloud-dev-vpc \
  --range-type=vpc-connector

# 3. 올바른 CIDR로 수정
# vpc-connector/terragrunt.hcl
ip_cidr_range = "10.9.0.0/28"  # 충돌하지 않는 범위

❌ 문제: 방화벽 규칙 충돌

Error: Error creating firewall rule: googleapi: Error 409: 
The resource 'allow-ssh' already exists

✅ 해결방법:

# 1. 기존 규칙 확인
gcloud compute firewall-rules list \
  --project=dta-cloud-dev \
  --filter="name=allow-ssh"

# 2. 기존 규칙 삭제 또는 이름 변경
gcloud compute firewall-rules delete allow-ssh \
  --project=dta-cloud-dev

# 3. 또는 region별 고유 이름 사용
rule_name = "allow-ssh-${local.region_vars.locals.region_config.location}"

데이터베이스 문제

❌ 문제: Cloud SQL 연결 실패

Error: Error connecting to Cloud SQL: pq: connection refused

✅ 해결방법:

# 1. Cloud SQL 인스턴스 상태 확인
gcloud sql instances describe db-dta-wide-dev-asia \
  --project=dta-cloud-dev

# 2. 네트워크 연결 확인
gcloud sql instances describe db-dta-wide-dev-asia \
  --project=dta-cloud-dev \
  --format="value(ipAddresses[].ipAddress)"

# 3. VPC 피어링 확인
gcloud services vpc-peerings list \
  --network=dta-cloud-dev-vpc \
  --project=dta-cloud-dev

# 4. Private IP 설정 확인
gcloud compute addresses list \
  --project=dta-cloud-dev \
  --global \
  --filter="purpose=VPC_PEERING"

❌ 문제: 데이터베이스 버전 불일치

Error: Error upgrading database: 
Cannot upgrade from POSTGRES_15 to POSTGRES_16 directly

✅ 해결방법:

# 1. 현재 버전 확인
gcloud sql instances describe db-dta-wide-dev-asia \
  --project=dta-cloud-dev \
  --format="value(databaseVersion)"

# 2. 지원되는 업그레이드 경로 확인
gcloud sql instances upgrade db-dta-wide-dev-asia \
  --project=dta-cloud-dev \
  --database-version=POSTGRES_16 \
  --dry-run

# 3. 백업 후 업그레이드
gcloud sql backups create \
  --instance=db-dta-wide-dev-asia \
  --project=dta-cloud-dev

gcloud sql instances upgrade db-dta-wide-dev-asia \
  --project=dta-cloud-dev \
  --database-version=POSTGRES_16

🔄 Regional 장애 대응

Europe Region 장애

장애 감지

# 1. Europe region 상태 확인
./scripts/health-check.sh dev europe-west3

# 2. 로드밸런서에서 EU 제외
gcloud compute backend-services update dta-wide-backend \
  --project=dta-cloud-de-dev \
  --remove-backends=europe-west3-neg

# 3. 트래픽을 Asia로 우회
gcloud compute url-maps edit dta-wide-global-lb \
  --project=dta-cloud-de-dev

복구 절차

# 1. 서비스 재시작
terragrunt apply --terragrunt-working-dir dev/regions/europe-west3/

# 2. 데이터 일관성 확인
./scripts/verify-data-consistency.sh

# 3. 트래픽 점진적 복원
gcloud compute backend-services update dta-wide-backend \
  --project=dta-cloud-de-dev \
  --add-backends=europe-west3-neg

Asia Region 장애

장애 감지 및 대응

# 1. Asia region 상태 확인
./scripts/health-check.sh dev asia-northeast3

# 2. EU에서 Asia 사용자 임시 처리
# (Load Balancer 설정 수정)

# 3. 데이터 복구
gcloud sql import sql db-dta-wide-dev-asia \
  gs://backup-bucket/latest-eu-backup.sql \
  --project=dta-cloud-dev

Cross-Region 데이터 불일치

문제 감지

#!/bin/bash
# detect-data-inconsistency.sh

echo "🔍 Checking data consistency..."

# EU 데이터 카운트
EU_USERS=$(gcloud sql execute-sql db-dta-wide-dev-eu \
  --project=dta-cloud-de-dev \
  --sql="SELECT COUNT(*) FROM users;" \
  --format="value(result[0].value)")

# Asia 데이터 카운트  
ASIA_USERS=$(gcloud sql execute-sql db-dta-wide-dev-asia \
  --project=dta-cloud-dev \
  --sql="SELECT COUNT(*) FROM users;" \
  --format="value(result[0].value)")

DIFF=$((EU_USERS - ASIA_USERS))

if [[ $DIFF -gt 100 ]]; then
  echo "🚨 Data inconsistency detected!"
  echo "EU: $EU_USERS users"
  echo "Asia: $ASIA_USERS users"
  echo "Difference: $DIFF users"
  
  # 자동 동기화 트리거
  ./scripts/trigger-data-sync.sh
fi

데이터 동기화 복구

#!/bin/bash
# recover-data-sync.sh

echo "🔄 Recovering data synchronization..."

# 1. 최신 EU 백업으로 Asia 복구
LATEST_BACKUP=$(gcloud sql backups list \
  --instance=db-dta-wide-dev-eu \
  --project=dta-cloud-de-dev \
  --limit=1 \
  --format="value(id)")

gcloud sql backups restore $LATEST_BACKUP \
  --restore-instance=db-dta-wide-dev-asia \
  --project=dta-cloud-dev

# 2. 실시간 동기화 재시작
gcloud pubsub subscriptions delete asia-sync-subscription \
  --project=dta-cloud-dev

gcloud pubsub subscriptions create asia-sync-subscription \
  --topic=cross-region-sync \
  --project=dta-cloud-dev

💰 비용 관련 문제

예상 비용 초과

문제 감지

# 현재 비용 확인
gcloud billing budgets list \
  --billing-account=01A3DE-04193F-06C496 \
  --filter="displayName:DTA-Wide"

비용 최적화

#!/bin/bash
# cost-optimization.sh

echo "💰 Cost optimization analysis..."

# 1. 사용률이 낮은 인스턴스 찾기
gcloud monitoring metrics list \
  --filter="metric.type=cloudsql.googleapis.com/database/cpu/utilization" \
  --project=dta-cloud-dev

# 2. Scale-to-zero 설정 (Asia region)
gcloud run services update dta-wide-api \
  --region=asia-northeast3 \
  --project=dta-cloud-dev \
  --min-instances=0

# 3. 작은 인스턴스로 다운그레이드 (필요시)
gcloud sql instances patch db-dta-wide-dev-asia \
  --project=dta-cloud-dev \
  --tier=db-g1-small

리소스 할당량 초과

❌ 문제: Quota 초과

Error: googleapi: Error 429: Quota exceeded for quota metric 'CPU' 
and limit 'Regional CPU quota' of service 'compute.googleapis.com'

✅ 해결방법:

# 1. 현재 할당량 확인
gcloud compute project-info describe \
  --project=dta-cloud-dev \
  --format="table(quotas.metric,quotas.limit,quotas.usage)"

# 2. 할당량 증가 요청
gcloud alpha compute quotas list \
  --project=dta-cloud-dev \
  --filter="metric:regional_cpu"

# 3. 임시 해결: 더 작은 인스턴스 사용
# terragrunt.hcl에서
machine_type = "e2-micro"  # e2-standard-2 대신

🌐 네트워크 문제

Cross-Region 연결 문제

❌ 문제: Region간 통신 실패

# Asia에서 EU BigQuery 접근 실패
Error: Error querying BigQuery: Access denied to project dta-cloud-de-dev

✅ 해결방법:

# 1. Cross-project IAM 설정
gcloud projects add-iam-policy-binding dta-cloud-de-dev \
  --member="serviceAccount:dta-wide-api@dta-cloud-dev.iam.gserviceaccount.com" \
  --role="roles/bigquery.dataViewer"

# 2. VPC 피어링 설정 (필요한 경우)
gcloud compute networks peerings create eu-to-asia-peering \
  --network=dta-cloud-de-dev-vpc \
  --peer-project=dta-cloud-dev \
  --peer-network=dta-cloud-dev-vpc \
  --project=dta-cloud-de-dev

❌ 문제: DNS 해상도 문제

# 서비스 간 이름 해상도 실패
Error: Failed to resolve dta-wide-api-asia.internal

✅ 해결방법:

# 1. Cloud DNS 설정
gcloud dns managed-zones create dta-wide-internal \
  --project=dta-cloud-dev \
  --description="Internal DNS for DTA-Wide" \
  --dns-name=dta-wide.internal \
  --visibility=private \
  --networks=dta-cloud-dev-vpc

# 2. DNS 레코드 추가
gcloud dns record-sets create dta-wide-api-asia.dta-wide.internal \
  --zone=dta-wide-internal \
  --project=dta-cloud-dev \
  --type=A \
  --ttl=300 \
  --rrdatas=<internal-ip>

Load Balancer 문제

❌ 문제: 트래픽 분산 불균형

# 모든 트래픽이 EU로만 가는 경우

✅ 해결방법:

# 1. Backend 서비스 상태 확인
gcloud compute backend-services describe dta-wide-backend \
  --global \
  --project=dta-cloud-de-dev

# 2. Asia region backend 추가
gcloud compute backend-services add-backend dta-wide-backend \
  --global \
  --project=dta-cloud-dev \
  --network-endpoint-group=dta-wide-asia-neg \
  --network-endpoint-group-region=asia-northeast3

# 3. 트래픽 분산 정책 설정
gcloud compute backend-services update dta-wide-backend \
  --global \
  --project=dta-cloud-de-dev \
  --load-balancing-scheme=EXTERNAL_MANAGED \
  --locality-lb-policy=CLOSEST

📊 성능 문제

지연시간 문제

❌ 문제: 예상보다 높은 지연시간

# Asia region에서 500ms+ 지연시간 발생

✅ 진단 및 해결:

# 1. 네트워크 지연시간 측정
echo "📡 Network latency test..."
curl -w "@curl-format.txt" -o /dev/null -s \
  https://dta-wide-api-dev-asia-xxxxxxxx-an.a.run.app/health

# 2. 데이터베이스 쿼리 성능 확인
gcloud sql operations list \
  --instance=db-dta-wide-dev-asia \
  --project=dta-cloud-dev \
  --filter="operationType=UPDATE OR operationType=INSERT" \
  --limit=10

# 3. Cloud Run 콜드 스타트 최적화
gcloud run services update dta-wide-api \
  --region=asia-northeast3 \
  --project=dta-cloud-dev \
  --min-instances=1  # 콜드 스타트 방지

# 4. Redis 캐시 히트율 확인
gcloud monitoring metrics list \
  --filter="metric.type=redis.googleapis.com/stats/cache_hit_ratio" \
  --project=dta-cloud-dev

처리량 문제

❌ 문제: Asia region 처리량 부족

# RPS(Requests Per Second) 제한에 도달
Error: Rate limit exceeded for Cloud Run service

✅ 해결방법:

# 1. 현재 처리량 확인
gcloud monitoring metrics list \
  --filter="metric.type=run.googleapis.com/request_count" \
  --project=dta-cloud-dev

# 2. 인스턴스 수 증가
gcloud run services update dta-wide-api \
  --region=asia-northeast3 \
  --project=dta-cloud-dev \
  --max-instances=20 \
  --concurrency=100

# 3. CPU/메모리 증가
gcloud run services update dta-wide-api \
  --region=asia-northeast3 \
  --project=dta-cloud-dev \
  --cpu=2 \
  --memory=4Gi

🔐 보안 문제

인증 문제

❌ 문제: Firebase 인증 실패

# Asia region에서 Firebase 인증 토큰 검증 실패
Error: Firebase ID token verification failed

✅ 해결방법:

# 1. Firebase 설정 확인
gcloud firebase projects list

# 2. Asia region에 Firebase 프로젝트 연결
gcloud firebase projects addfirebase dta-cloud-dev

# 3. Service Account 키 업데이트
gcloud iam service-accounts keys create firebase-key.json \
  --iam-account=firebase-adminsdk@dta-cloud-dev.iam.gserviceaccount.com \
  --project=dta-cloud-dev

# 4. Secret Manager에 키 저장
gcloud secrets create firebase-service-account-key \
  --project=dta-cloud-dev \
  --data-file=firebase-key.json

접근 제어 문제

❌ 문제: 무단 접근 시도

# 허용되지 않은 IP에서 접근 시도
Warning: Unauthorized access attempt from IP x.x.x.x

✅ 해결방법:

# 1. 방화벽 규칙 강화
gcloud compute firewall-rules create deny-unauthorized-access \
  --project=dta-cloud-dev \
  --action=deny \
  --rules=all \
  --source-ranges=<suspicious-ip-range> \
  --priority=100

# 2. Cloud Armor 설정
gcloud compute security-policies create dta-wide-armor-policy \
  --project=dta-cloud-dev

gcloud compute security-policies rules create 100 \
  --security-policy=dta-wide-armor-policy \
  --project=dta-cloud-dev \
  --action=deny-403 \
  --src-ip-ranges=<malicious-ips>

# 3. 로깅 강화
gcloud logging sinks create security-audit-sink \
  bigquery.googleapis.com/projects/dta-cloud-de-dev/datasets/security_audit \
  --log-filter='protoPayload.authenticationInfo.principalEmail!=""'

🔄 데이터 복구

데이터 손실 대응

❌ 문제: 실수로 데이터 삭제

# 사용자 실수로 중요 테이블 삭제
Error: Table 'users' doesn't exist

✅ 복구 절차:

# 1. 즉시 서비스 중지 (추가 손실 방지)
gcloud run services update dta-wide-api \
  --region=asia-northeast3 \
  --project=dta-cloud-dev \
  --max-instances=0

# 2. 최근 백업 확인
gcloud sql backups list \
  --instance=db-dta-wide-dev-asia \
  --project=dta-cloud-dev \
  --limit=5

# 3. Point-in-time 복구
gcloud sql backups restore <backup-id> \
  --restore-instance=db-dta-wide-dev-asia-recovery \
  --project=dta-cloud-dev

# 4. 데이터 검증 후 서비스 재시작
# 5. 필요시 Cross-region에서 데이터 복구

백업 시스템 장애

❌ 문제: 자동 백업 실패

# Cloud SQL 자동 백업이 7일간 실패
Warning: Automated backups have been failing

✅ 해결방법:

# 1. 백업 설정 확인
gcloud sql instances describe db-dta-wide-dev-asia \
  --project=dta-cloud-dev \
  --format="value(settings.backupConfiguration)"

# 2. 수동 백업 생성
gcloud sql backups create \
  --instance=db-dta-wide-dev-asia \
  --project=dta-cloud-dev \
  --description="Manual backup after auto-backup failure"

# 3. 백업 설정 재설정
gcloud sql instances patch db-dta-wide-dev-asia \
  --project=dta-cloud-dev \
  --backup-start-time=03:00 \
  --enable-bin-log

🔧 개발 환경 문제

로컬 개발 환경

❌ 문제: 로컬에서 Asia DB 연결 실패

Error: connection to server at "x.x.x.x", port 5432 failed

✅ 해결방법:

# 1. Cloud SQL Proxy 사용
./cloud_sql_proxy -instances=dta-cloud-dev:asia-northeast3:db-dta-wide-dev-asia=tcp:5432

# 2. 방화벽 규칙 추가 (개발용)
gcloud sql instances patch db-dta-wide-dev-asia \
  --project=dta-cloud-dev \
  --authorized-networks=<your-ip>/32

# 3. VPN 연결 (권장)
gcloud compute vpn-gateways create dta-wide-vpn-gateway \
  --project=dta-cloud-dev \
  --region=asia-northeast3

❌ 문제: Terragrunt 로컬 실행 실패

Error: The state file is locked by another Terragrunt process

✅ 해결방법:

# 1. Lock 상태 확인
terragrunt state list --terragrunt-working-dir dev/regions/asia-northeast3/cloudsql/

# 2. Force unlock (주의!)
terragrunt force-unlock <lock-id> \
  --terragrunt-working-dir dev/regions/asia-northeast3/cloudsql/

# 3. 캐시 정리
find . -name ".terragrunt-cache" -exec rm -rf {} +

📈 모니터링 문제

메트릭 수집 실패

❌ 문제: OTEL Collector 동작 안함

Error: No metrics received from asia-northeast3 region

✅ 해결방법:

# 1. OTEL Collector 로그 확인
gcloud logging read \
  'resource.type="cloud_run_revision" AND resource.labels.service_name="otel-collector-dev"' \
  --project=dta-cloud-dev \
  --limit=50

# 2. 네트워크 연결 확인
gcloud run services describe otel-collector-dev \
  --region=asia-northeast3 \
  --project=dta-cloud-dev \
  --format="value(status.address.url)"

# 3. VPC Connector 설정 확인
gcloud compute networks vpc-access connectors describe \
  dta-cloud-dev-asia \
  --region=asia-northeast3 \
  --project=dta-cloud-dev

알림 시스템 문제

❌ 문제: 알림이 오지 않음

# 장애 발생해도 알림 없음

✅ 해결방법:

# 1. 알림 채널 확인
gcloud alpha monitoring channels list \
  --project=dta-cloud-de-dev

# 2. 알림 정책 확인
gcloud alpha monitoring policies list \
  --project=dta-cloud-de-dev \
  --filter="displayName:Multi-Region"

# 3. 테스트 알림 발송
gcloud alpha monitoring policies test \
  --policy=<policy-name> \
  --project=dta-cloud-de-dev

🛠️ 디버깅 도구

로그 분석

Multi-Region 로그 통합 쿼리

# 모든 region 에러 로그 통합 확인
gcloud logging read '
  (resource.labels.project_id="dta-cloud-de-dev" OR resource.labels.project_id="dta-cloud-dev") AND
  severity>=ERROR AND
  timestamp>="2024-01-20T00:00:00Z"
' --limit=100 --format=json

특정 서비스 디버깅

# Cloud Run 상세 로그
gcloud logging read '
  resource.type="cloud_run_revision" AND
  resource.labels.service_name="dta-wide-api" AND
  resource.labels.location="asia-northeast3"
' --limit=50

상태 진단 스크립트

종합 헬스체크

#!/bin/bash
# comprehensive-health-check.sh

ENVIRONMENT=$1

echo "🏥 Comprehensive Health Check for $ENVIRONMENT"

# Region별 상태 체크 함수
check_region_health() {
  local region=$1
  local project=$2
  
  echo "📍 Checking $region ($project)..."
  
  # Cloud Run 상태
  CLOUD_RUN_STATUS=$(gcloud run services list \
    --project=$project \
    --region=$region \
    --filter="metadata.name=dta-wide-api" \
    --format="value(status.conditions[0].status)")
  
  # Cloud SQL 상태
  CLOUDSQL_STATUS=$(gcloud sql instances list \
    --project=$project \
    --filter="region:$region" \
    --format="value(state)")
  
  # Memorystore 상태
  REDIS_STATUS=$(gcloud redis instances list \
    --project=$project \
    --region=$region \
    --format="value(state)")
  
  echo "  Cloud Run: $CLOUD_RUN_STATUS"
  echo "  Cloud SQL: $CLOUDSQL_STATUS"  
  echo "  Redis: $REDIS_STATUS"
  
  # 전체 상태 반환
  if [[ "$CLOUD_RUN_STATUS" == "True" && "$CLOUDSQL_STATUS" == "RUNNABLE" && "$REDIS_STATUS" == "READY" ]]; then
    echo "  ✅ $region: HEALTHY"
    return 0
  else
    echo "  ❌ $region: UNHEALTHY"
    return 1
  fi
}

# 환경별 프로젝트 매핑
case $ENVIRONMENT in
  "dev")
    EU_PROJECT="dta-cloud-de-dev"
    ASIA_PROJECT="dta-cloud-dev"
    ;;
  "stage")
    EU_PROJECT="dta-cloud-de-stage" 
    ASIA_PROJECT="dta-cloud-stage"
    ;;
  "prod")
    EU_PROJECT="dta-cloud-de-prod"
    ASIA_PROJECT="dta-cloud-prod"
    ;;
esac

# 전체 상태 체크
OVERALL_STATUS=0

check_region_health "europe-west3" $EU_PROJECT || OVERALL_STATUS=1
check_region_health "asia-northeast3" $ASIA_PROJECT || OVERALL_STATUS=1

if [[ $OVERALL_STATUS -eq 0 ]]; then
  echo "🎉 Overall Status: HEALTHY"
else
  echo "🚨 Overall Status: ISSUES DETECTED"
  exit 1
fi

성능 분석 도구

지연시간 분석

#!/bin/bash
# latency-analysis.sh

echo "⚡ Multi-Region Latency Analysis"

# EU region 지연시간
echo "🇪🇺 Europe Region Latency:"
for i in {1..5}; do
  curl -w "Response time: %{time_total}s\n" -o /dev/null -s \
    https://dta-wide-api-dev-eu-xxxxxxxx-ey.a.run.app/health
done

# Asia region 지연시간
echo "🇰🇷 Asia Region Latency:"
for i in {1..5}; do
  curl -w "Response time: %{time_total}s\n" -o /dev/null -s \
    https://dta-wide-api-dev-asia-xxxxxxxx-an.a.run.app/health
done

📋 문제 해결 체크리스트

일반적인 진단 순서

🔍 문제 식별
- 에러 메시지 정확히 파악
- 발생 시간 및 패턴 확인
- 영향 범위 확인 (특정 region? 전체?)
📊 상태 확인
- ./scripts/health-check.sh [env] [region]
- Terragrunt validate 실행
- GCP Console에서 서비스 상태 확인
🔧 기본 해결
- 서비스 재시작
- 캐시 클리어
- 설정 재적용
🚨 긴급 대응
- 트래픽 우회 (필요시)
- 롤백 실행 (심각한 경우)
- 팀 알림 및 상황 공유
🔄 복구 확인
- 서비스 정상 동작 확인
- 성능 메트릭 정상 확인
- 사용자 영향도 확인

긴급 상황 연락처

역할	담당자	연락처	대응 범위
Primary DevOps	bok@weltcorp.com	Slack: @bok	전체 인프라
Database Admin	db-admin@weltcorp.com	Phone: +49-xxx	Cloud SQL, 데이터
Network Admin	network@weltcorp.com	Slack: @network	VPC, 네트워킹
Security Admin	security@weltcorp.com	Phone: +49-xxx	보안, IAM

📚 관련 문서

Multi-Region 아키텍처: 전체 구조 및 설계
Multi-Region 관리 가이드: 일상적인 관리 방법
Terraform 가이드: Terraform 모듈 사용법
네트워크 가이드: VPC 네트워크 관리
Cloud SQL 가이드: 데이터베이스 관리

📧 문의: DevOps Team (bok@weltcorp.com)
🆘 긴급 상황: PagerDuty Escalation

📋 개요​

🚨 일반적인 문제들​

Configuration 문제​

❌ 문제: "No such file or directory" - config 로딩 실패​

❌ 문제: 순환 참조 (Circular Reference)​

❌ 문제: Project ID 불일치​

권한 문제​

❌ 문제: Service Account 권한 부족​

❌ 문제: Cross-Project 권한 문제​

네트워크 문제​

❌ 문제: VPC Connector IP 충돌​

❌ 문제: 방화벽 규칙 충돌​

데이터베이스 문제​

❌ 문제: Cloud SQL 연결 실패​

❌ 문제: 데이터베이스 버전 불일치​

🔄 Regional 장애 대응​

Europe Region 장애​

장애 감지​

복구 절차​

Asia Region 장애​

장애 감지 및 대응​

Cross-Region 데이터 불일치​

문제 감지​

데이터 동기화 복구​

💰 비용 관련 문제​

예상 비용 초과​

문제 감지​

비용 최적화​

리소스 할당량 초과​

❌ 문제: Quota 초과​

🌐 네트워크 문제​

Cross-Region 연결 문제​

❌ 문제: Region간 통신 실패​

❌ 문제: DNS 해상도 문제​

Load Balancer 문제​

❌ 문제: 트래픽 분산 불균형​

📊 성능 문제​

지연시간 문제​

❌ 문제: 예상보다 높은 지연시간​

처리량 문제​

❌ 문제: Asia region 처리량 부족​

🔐 보안 문제​

인증 문제​

❌ 문제: Firebase 인증 실패​

접근 제어 문제​

❌ 문제: 무단 접근 시도​

🔄 데이터 복구​

데이터 손실 대응​

❌ 문제: 실수로 데이터 삭제​

백업 시스템 장애​

❌ 문제: 자동 백업 실패​

🔧 개발 환경 문제​

로컬 개발 환경​

❌ 문제: 로컬에서 Asia DB 연결 실패​

❌ 문제: Terragrunt 로컬 실행 실패​

📈 모니터링 문제​

메트릭 수집 실패​

❌ 문제: OTEL Collector 동작 안함​

알림 시스템 문제​

❌ 문제: 알림이 오지 않음​

🛠️ 디버깅 도구​

로그 분석​

Multi-Region 로그 통합 쿼리​

특정 서비스 디버깅​

상태 진단 스크립트​

종합 헬스체크​

성능 분석 도구​

지연시간 분석​

📋 문제 해결 체크리스트​

일반적인 진단 순서​

긴급 상황 연락처​

📚 관련 문서​

📋 개요

🚨 일반적인 문제들

Configuration 문제

❌ 문제: "No such file or directory" - config 로딩 실패

❌ 문제: 순환 참조 (Circular Reference)

❌ 문제: Project ID 불일치

권한 문제

❌ 문제: Service Account 권한 부족

❌ 문제: Cross-Project 권한 문제

네트워크 문제

❌ 문제: VPC Connector IP 충돌

❌ 문제: 방화벽 규칙 충돌

데이터베이스 문제

❌ 문제: Cloud SQL 연결 실패

❌ 문제: 데이터베이스 버전 불일치

🔄 Regional 장애 대응

Europe Region 장애

장애 감지

복구 절차

Asia Region 장애

장애 감지 및 대응

Cross-Region 데이터 불일치

문제 감지

데이터 동기화 복구

💰 비용 관련 문제

예상 비용 초과

문제 감지

비용 최적화

리소스 할당량 초과

❌ 문제: Quota 초과

🌐 네트워크 문제

Cross-Region 연결 문제

❌ 문제: Region간 통신 실패

❌ 문제: DNS 해상도 문제

Load Balancer 문제

❌ 문제: 트래픽 분산 불균형

📊 성능 문제

지연시간 문제

❌ 문제: 예상보다 높은 지연시간

처리량 문제

❌ 문제: Asia region 처리량 부족

🔐 보안 문제

인증 문제

❌ 문제: Firebase 인증 실패

접근 제어 문제

❌ 문제: 무단 접근 시도

🔄 데이터 복구

데이터 손실 대응

❌ 문제: 실수로 데이터 삭제

백업 시스템 장애

❌ 문제: 자동 백업 실패

🔧 개발 환경 문제

로컬 개발 환경

❌ 문제: 로컬에서 Asia DB 연결 실패

❌ 문제: Terragrunt 로컬 실행 실패

📈 모니터링 문제

메트릭 수집 실패

❌ 문제: OTEL Collector 동작 안함

알림 시스템 문제

❌ 문제: 알림이 오지 않음

🛠️ 디버깅 도구

로그 분석

Multi-Region 로그 통합 쿼리

특정 서비스 디버깅

상태 진단 스크립트

종합 헬스체크

성능 분석 도구

지연시간 분석

📋 문제 해결 체크리스트

일반적인 진단 순서

긴급 상황 연락처

📚 관련 문서