Python 시니어 코딩 및 아키텍처 면접
새 면접Q. 대용량 로그 파일(수십 GB)에서 상위 K개의 빈도수가 높은 IP 주소를 찾아야 합니다. 메모리 제약이 있는 상황에서 효율적으로 처리하기 위한 알고리즘과 자료구조를 설계하고, Python으로 구현할 때 고려해야 할 최적화 기법들을 설명해주세요.
이 문제는 외부 정렬과 분할 정복 방식으로 접근합니다. 먼저 파일을 청크 단위로 읽어 해시 함수로 여러 개의 작은 파일로 분할하여 같은 IP는 같은 파일에 저장되도록 합니다. 각 파일별로 Counter를 사용해 빈도수를 계산하고, Min Heap(크기 K)을 사용해 상위 K개를 유지합니다. 최종적으로 각 파일의 결과를 병합하여 전체 상위 K개를 도출합니다. Python에서는 heapq 모듈, collections.Counter, 그리고 메모리 매핑(mmap)이나 제너레이터를 활용한 스트리밍 처리로 메모리 효율성을 높일 수 있습니다.
- • 해시 기반 파일 분할로 메모리 제약 극복 (Divide and Conquer)
- • Min Heap을 사용한 Top-K 알고리즘 (시간복잡도 O(N log K))
- • 제너레이터와 mmap을 활용한 메모리 효율적 파일 처리
- • multiprocessing을 통한 병렬 처리로 성능 향상
만약 실시간 스트리밍 환경에서 슬라이딩 윈도우 기반으로 최근 1시간 내 상위 K개 IP를 추적해야 한다면, 어떤 자료구조와 알고리즘을 사용하시겠습니까?
Q. Python에서 멀티스레딩 환경의 공유 자원 접근 시 발생할 수 있는 Race Condition 문제를 설명하고, Lock, RLock, Semaphore, Condition Variable의 차이점과 각각의 적절한 사용 시나리오를 실무 예시와 함께 설명해주세요. 또한 데드락을 방지하기 위한 설계 원칙도 제시해주세요.
Race Condition은 여러 스레드가 공유 자원에 동시 접근할 때 실행 순서에 따라 결과가 달라지는 문제입니다. Lock은 기본적인 상호배제로 단일 자원 보호에 사용하고, RLock은 재진입 가능하여 같은 스레드가 여러 번 획득 가능해 재귀 함수에 적합합니다. Semaphore는 카운터 기반으로 제한된 개수의 동시 접근을 허용하여 커넥션 풀 관리에 유용하며, Condition Variable은 특정 조건을 대기하고 신호를 보내는 생산자-소비자 패턴에 적합합니다. 데드락 방지를 위해서는 락 획득 순서를 일관되게 유지하고, timeout 설정, 락 계층 구조 정의, 그리고 try-finally로 반드시 락을 해제해야 합니다.
- • Lock은 기본 뮤텍스, RLock은 재진입 가능한 락으로 재귀 호출에 적합
- • Semaphore는 제한된 자원 풀 관리, Condition은 조건 기반 대기/알림
- • 데드락 방지: 락 순서 일관성, timeout, 락 계층화, context manager 사용
- • threading.local()로 스레드별 독립 저장소 활용
asyncio 환경에서는 스레드 기반 락 대신 어떤 동기화 메커니즘을 사용해야 하며, 그 이유는 무엇인가요?
Q. Python의 리스트 컴프리헨션, 제너레이터 표현식, map/filter 함수의 성능 특성과 메모리 사용 패턴을 비교하고, 각각을 선택해야 하는 상황을 설명해주세요. 특히 대용량 데이터 처리 시 어떤 선택이 적절한지 근거와 함께 제시해주세요.
리스트 컴프리헨션은 전체 결과를 메모리에 즉시 생성하므로 작은 데이터셋에서 가장 빠르지만 메모리 사용량이 큽니다. 제너레이터 표현식은 lazy evaluation으로 필요할 때마다 값을 생성하여 메모리 효율적이며, 대용량 데이터나 무한 시퀀스 처리에 적합합니다. map/filter는 함수형 스타일로 가독성이 좋고 제너레이터를 반환하지만, 람다 함수 사용 시 컴프리헨션보다 느릴 수 있습니다. 대용량 데이터 처리 시에는 제너레이터 표현식이나 itertools를 활용한 파이프라인 구성이 메모리 효율성과 성능 면에서 가장 우수합니다.
- • 리스트 컴프리헨션: 빠르지만 메모리 사용량 큼, 즉시 평가
- • 제너레이터: lazy evaluation으로 메모리 효율적, 대용량 데이터에 적합
- • map/filter: 함수형 스타일, 제너레이터 반환하지만 람다 사용 시 오버헤드
- • itertools를 활용한 체이닝으로 메모리 효율적 파이프라인 구성
NumPy 배열이나 Pandas DataFrame을 사용할 때는 이러한 Python 내장 기능 대신 벡터화 연산을 사용하는 것이 좋은데, 그 이유와 성능 차이를 설명해주세요.
Q. Python에서 Metaclass를 활용한 Singleton 패턴, 데코레이터를 활용한 Singleton 패턴, 그리고 모듈 레벨 Singleton의 차이점과 각각의 장단점을 설명하고, 멀티스레딩 환경에서 thread-safe하게 구현하는 방법을 제시해주세요. 실무에서는 어떤 방식을 선호하시나요?
Metaclass 방식은 클래스 생성 과정을 제어하여 __call__ 메서드를 오버라이드해 인스턴스 생성을 통제하며, 가장 강력하지만 복잡합니다. 데코레이터 방식은 클래스를 래핑하여 인스턴스를 캐싱하는 방식으로 가독성이 좋고 간결합니다. 모듈 레벨 Singleton은 Python의 모듈 임포트 특성을 활용하여 가장 pythonic하고 간단합니다. Thread-safe 구현을 위해서는 threading.Lock과 double-checked locking 패턴을 사용하거나, __new__ 메서드에서 락을 사용합니다. 실무에서는 모듈 레벨 Singleton이 가장 간단하고 명확하여 선호되며, 복잡한 초기화가 필요한 경우 데코레이터 방식을 사용합니다.
- • Metaclass: 가장 강력하지만 복잡, 클래스 생성 과정 제어
- • 데코레이터: 가독성 좋고 간결, 인스턴스 캐싱 방식
- • 모듈 레벨: 가장 pythonic하고 단순, Python 모듈 특성 활용
- • Thread-safe: Lock과 double-checked locking, __new__ 메서드 활용
Singleton 패턴이 테스트 가능성을 저해한다는 비판이 있는데, 이를 해결하기 위한 대안으로 어떤 설계 방식을 사용할 수 있나요?
Q. Python 애플리케이션의 성능 병목을 찾고 최적화하기 위해 사용할 수 있는 프로파일링 도구들(cProfile, line_profiler, memory_profiler, py-spy 등)의 특징과 사용 시나리오를 비교하고, 프로덕션 환경에서 성능 이슈를 디버깅할 때의 접근 방법과 주의사항을 설명해주세요.
cProfile은 함수 단위 호출 통계를 제공하는 표준 라이브러리로 오버헤드가 적어 전체적인 병목 파악에 적합합니다. line_profiler는 라인 단위 분석으로 특정 함수 내부의 세밀한 병목을 찾을 때 유용하지만 오버헤드가 큽니다. memory_profiler는 메모리 사용량을 라인별로 추적하여 메모리 누수나 과다 사용을 찾습니다. py-spy는 샘플링 기반으로 실행 중인 프로세스에 attach하여 프로덕션 환경에서도 안전하게 사용할 수 있습니다. 프로덕션 환경에서는 py-spy나 APM 도구를 사용하고, 로깅과 메트릭을 결합하여 점진적으로 범위를 좁혀가며, 반드시 스테이징 환경에서 재현 후 상세 분석을 진행해야 합니다.
- • cProfile: 함수 단위 통계, 낮은 오버헤드, 전체 병목 파악
- • line_profiler/memory_profiler: 세밀한 분석, 높은 오버헤드, 개발 환경 사용
- • py-spy: 샘플링 기반, 프로덕션 안전, 실행 중 프로세스 분석
- • 프로덕션 접근법: APM 도구, 로깅/메트릭 결합, 스테이징 재현
Python 애플리케이션의 CPU 사용률은 정상인데 응답 시간이 느린 경우, 어떤 원인들을 의심하고 어떻게 진단하시겠습니까?
아직 댓글이 없습니다. 첫 번째 댓글을 남겨보세요!