대규모 시스템 테스트 전략 및 코드품질 관리 아키텍트 면접

Contract Testing은 Pact나 Spring Cloud Contract로 API 스펙 준수를 검증하며, Consumer 팀이 기대하는 계약을 Producer가 충족하는지 확인합니다. Consumer-Driven Contract는 하위 호환성을 보장하면서 독립 배포를 가능하게 하며, 계약 브로커를 통해 버전별 호환성 매트릭스를 관리합니다. E2E 테스트는 critical path만 선별하여 smoke test 수준으로 최소화하고, 주요 비즈니스 시나리오만 검증합니다. 테스트 피라미드는 Unit(70%) - Integration(20%) - Contract(7%) - E2E(3%) 비율로 재구성하며, Contract 테스트 실패 시에는 배포를 즉시 차단하고, E2E 실패 시에는 canary 배포를 중단하고 자동 롤백합니다. 각 서비스는 backward compatibility를 3버전까지 유지하며, deprecation 정책을 통해 점진적으로 전환합니다.

카오스 실험은 canary 서버 그룹에서 시작하여 전체 트래픽의 1%만 영향받도록 blast radius를 제한하고, 실험 전 steady state를 정의합니다(예: 에러율 < 0.1%, p99 latency < 500ms, throughput > 1000 TPS). Chaos Monkey는 특정 AZ의 인스턴스를 무작위로 종료하여 auto-scaling과 health check를 검증하고, Latency Injection은 downstream 서비스 호출에 100-500ms 지연을 주입하여 circuit breaker와 timeout 설정을 확인합니다. Fault Injection은 특정 API에 5xx 에러를 10% 비율로 반환하여 retry 로직과 fallback을 검증합니다. 실시간 모니터링으로 SLO 위반 시 자동으로 실험을 중단하며, 실험 결과는 runbook에 반영하여 on-call 엔지니어의 대응 절차를 개선합니다. 주간 단위로 정기적인 게임데이를 운영하여 팀의 장애 대응 역량을 지속적으로 향상시킵니다.

Characterization Test는 레거시 코드의 현재 동작을 있는 그대로 테스트로 기록하며, 입력값과 실제 출력값을 snapshot으로 저장합니다. Golden Master Testing은 프로덕션 트래픽의 10%를 샘플링하여 레거시 시스템의 응답을 baseline으로 저장하고, 리팩토링 후 동일 입력에 대한 출력을 비교합니다. Shadow Testing 파이프라인은 API Gateway에서 트래픽을 복제하여 레거시와 신규 서비스에 동시 전송하고, 응답 차이를 diff 분석하여 불일치율이 1% 미만일 때만 전환합니다. Strangler Fig 패턴은 기능 단위로 점진적으로 이관하며, feature flag로 트래픽 비율을 조절하고, 각 단계마다 비즈니스 메트릭(매출, 전환율)을 모니터링합니다. 테스트 커버리지는 critical path부터 우선 확보하여 60% 이상 달성 후 전환을 시작하며, 각 이관 단계는 2주 스프린트로 제한하여 리스크를 분산합니다.

자동화된 품질 게이트는 SonarQube로 코드 스멜과 보안 취약점을 검사하고, cyclomatic complexity 15 이상, 테스트 커버리지 80% 미만 시 PR을 자동 차단합니다. 정적 분석 통과 후에만 사람의 리뷰를 요청하여 리뷰어는 비즈니스 로직, 아키텍처 적합성, 가독성에 집중하도록 합니다. 코드 리뷰 가이드라인은 PR 크기를 400줄 이하로 제한하고, 리뷰 요청 후 4시간 내 1차 피드백을 원칙으로 하며, 2명의 승인을 받아야 머지 가능하도록 설정합니다. 리뷰어는 해당 도메인 전문가 1명과 다른 팀 개발자 1명으로 구성하여 지식 공유와 cross-team 협업을 촉진합니다. 리뷰 코멘트는 nit(사소한 의견), suggestion(개선 제안), must-fix(필수 수정)로 분류하여 우선순위를 명확히 하고, 아키텍처 변경은 별도 ADR(Architecture Decision Record) 문서로 사전 논의합니다.

Load Testing은 예상 최대 부하(TPS 100,000)를 30분간 유지하여 목표 응답시간(p95 < 1초) 충족 여부를 확인하고, Stress Testing은 한계점을 찾기 위해 부하를 점진적으로 증가시켜 시스템이 실패하는 지점과 복구 능력을 검증합니다. Spike Testing은 순간적으로 10배 트래픽을 발생시켜 auto-scaling과 circuit breaker 동작을 확인하고, Soak Testing은 목표 부하를 24시간 유지하여 메모리 누수나 connection pool 고갈 같은 장기 실행 문제를 탐지합니다. 프로덕션 환경 구성이 어려울 때는 scaled-down 환경(1/10 규모)에서 테스트하되, Little's Law와 USL(Universal Scalability Law)로 결과를 외삽하여 예측하며, critical path의 주요 서비스만 full-scale로 구성합니다. APM 도구로 각 계층별 응답시간을 분해하여 병목(DB connection pool, CPU, network bandwidth)을 식별하고, 부하 테스트 중 실시간 메트릭을 모니터링하여 임계값 도달 시 자동으로 알림을 발송합니다. 테스트 시나리오는 실제 사용자 행동 패턴을 반영하여 read:write 비율, 캐시 hit rate, 동시 사용자 수를 현실적으로 설정합니다.