LLM/프롬프트 엔지니어링 미드레벨 보안 면접

프롬프트 인젝션은 악의적인 사용자가 시스템 프롬프트를 우회하거나 덮어쓰는 입력을 통해 LLM의 의도된 동작을 변경하는 공격입니다. 이를 통해 민감한 시스템 프롬프트 노출, 권한 밖의 정보 접근, 유해 콘텐츠 생성 등이 가능합니다. 방어 방법으로는 첫째, 사용자 입력에 대한 검증 및 sanitization을 통해 메타 명령어를 필터링하고, 둘째, 시스템 프롬프트와 사용자 입력을 명확히 구분하는 delimiter나 role-based 구조를 사용하며, 셋째, LLM 출력에 대한 후처리 필터를 적용해 민감 정보나 시스템 프롬프트가 포함된 응답을 차단합니다. 추가로 few-shot 예제를 통해 공격 패턴을 학습시키거나, instruction hierarchy를 명시해 시스템 지시사항의 우선순위를 강화할 수 있습니다.

LLM 학습 데이터로 사용자 대화를 활용할 때는 먼저 명시적 동의(opt-in)를 받고 데이터 수집 목적과 범위를 명확히 고지해야 합니다. PII 처리 전략으로는 수집 시점에 Named Entity Recognition을 통해 이름, 전화번호, 이메일 등을 탐지하고 토큰화 또는 마스킹 처리하며, 준식별자는 k-anonymity나 l-diversity 기법으로 익명화합니다. Differential privacy는 학습 데이터에 controlled noise를 추가해 개별 데이터 포인트의 기여도를 숨기는 방식으로, DP-SGD 알고리즘을 사용해 gradient에 noise를 주입하거나 privacy budget(epsilon)을 설정해 프라이버시 손실을 정량화합니다. 추가로 federated learning을 통해 원본 데이터를 중앙 서버로 전송하지 않고 분산 학습하거나, 데이터 보관 기간을 최소화하고 학습 후 즉시 삭제하는 정책을 적용해야 합니다.

API 키 방식은 구현이 간단하고 서버-to-서버 통신에 적합하지만, 키가 유출되면 전체 권한이 노출되고 세분화된 권한 제어가 어렵습니다. OAuth 2.0은 access token과 refresh token을 분리해 단기 토큰으로 위험을 줄이고, scope를 통한 세밀한 권한 제어가 가능하며, 사용자 대신 행동하는 third-party 앱에 적합합니다. API 키는 내부 마이크로서비스 간 통신이나 간단한 백엔드 통합에, OAuth는 사용자 데이터 접근이 필요한 외부 애플리케이션에 적합합니다. API 키 유출 피해 최소화를 위해서는 키에 IP whitelist나 rate limiting을 적용하고, 용도별로 키를 분리해 최소 권한 원칙을 적용하며, 키 rotation 정책을 수립하고, 사용 로그를 모니터링해 이상 패턴을 탐지해야 합니다.

Memorization은 모델이 학습 데이터의 특정 패턴이나 문장을 과적합해 그대로 재생하는 현상으로, 데이터셋 내 중복이 많거나 모델 용량이 과도하게 클 때 발생합니다. 학습 단계 완화 방안으로는 첫째, deduplication을 통해 학습 데이터의 중복을 제거하고, 둘째, differential privacy를 적용해 개별 샘플의 영향력을 제한하며, 셋째, dropout이나 regularization을 강화해 과적합을 방지합니다. 추론 단계에서는 temperature나 top-p sampling 파라미터를 조정해 출력 다양성을 높이고, 출력 텍스트와 학습 데이터 간 n-gram overlap을 검사해 높은 유사도를 보이는 응답을 필터링하며, content filtering 시스템을 통해 민감 정보나 저작권 콘텐츠 패턴을 탐지해 차단합니다. 추가로 canary token을 학습 데이터에 삽입해 memorization 여부를 모니터링할 수 있습니다.

입력 단계에서는 intent classification을 통해 악의적 목적의 요청을 탐지하고, 키워드 기반 필터와 ML 기반 분류기를 결합해 유해 프롬프트를 사전 차단하며, rate limiting과 사용자 행동 패턴 분석으로 자동화된 악용을 방지합니다. 모델 단계에서는 RLHF(Reinforcement Learning from Human Feedback)나 Constitutional AI를 통해 모델 자체가 유해 콘텐츠 생성을 거부하도록 학습시키고, safety classifier를 통합해 생성 중 유해성을 실시간 평가합니다. 출력 단계에서는 toxicity detector, fact-checking API, malware signature 검사 등 다양한 검증 레이어를 적용하고, 의심스러운 출력은 human-in-the-loop 검토를 거치도록 하며, 모든 생성 콘텐츠에 watermarking을 적용해 추적 가능성을 확보합니다. 전 단계에 걸쳐 로깅과 모니터링을 통해 우회 시도를 탐지하고 정책을 지속 업데이트합니다.

Model extraction 공격은 공격자가 대량의 쿼리를 통해 모델의 동작을 학습해 복제하는 방식이므로, 먼저 rate limiting과 query budget을 엄격히 설정해 단일 사용자의 과도한 요청을 제한합니다. API 응답에서 confidence score나 probability distribution을 노출하지 않고 최종 결과만 반환하며, 응답에 controlled noise를 추가해 모델 동작의 정확한 복제를 방지합니다. 기술적으로는 model watermarking을 적용해 유출 시 출처를 추적하고, 모델을 여러 서브모델로 분산해 전체 모델 접근을 차단하며, secure enclave(TEE, Trusted Execution Environment)에서 추론을 실행해 메모리 덤프 공격을 방지합니다. 운영적으로는 API 사용 패턴을 모니터링해 extraction 시도를 탐지하고, 의심 사용자는 CAPTCHA나 추가 인증을 요구하며, 모델 파일 자체는 암호화 저장하고 접근 권한을 최소화합니다.

먼저 모델 파일의 무결성을 검증하기 위해 공식 체크섬(SHA-256 hash)과 비교하고, 디지털 서명이 있다면 서명을 검증해 변조 여부를 확인합니다. 모델 파일 내부에 pickle 등 임의 코드 실행이 가능한 직렬화 형식이 사용됐다면 sandboxed 환경에서 먼저 로드해 악성 코드 포함 여부를 검사합니다. 데이터 poisoning 검증을 위해서는 모델을 샘플 데이터셋으로 테스트해 backdoor trigger나 bias를 탐지하고, 가능하면 학습 데이터셋의 출처와 큐레이션 과정을 확인합니다. 운영 전에는 모델 출력을 다양한 테스트 케이스로 평가해 예상치 못한 유해 출력이나 편향을 검사하고, 모델 제공자의 신뢰도와 커뮤니티 평판을 조사하며, 라이선스를 확인해 법적 리스크도 점검합니다. 프로덕션 배포 후에도 지속적인 모니터링을 통해 이상 동작을 탐지합니다.