LLM Wiki

OpenAI GPT-Red — 자동화 셀프 플레이 레드팀으로 프롬프트 인젝션 방어 강화

Properties2
descriptionOpenAI가 프롬프트 인젝션 취약점을 자동으로 발굴하고 그 공격 데이터로 방어 모델을 강화하는 사내 레드팀 모델 GPT-Red를 소개했다.
tagsai-agents, ai-models, security, automation

5 min read

개요

PyTorchKR 게시글은 OpenAI가 외부에 배포하지 않는 사내 전용 자동화 레드팀 모델 GPT-Red를 공개했다고 소개한다. GPT-Red는 공격 프롬프트를 만들고 대상 모델의 반응을 관찰한 뒤 공격을 수정하는 과정을 반복해 프롬프트 인젝션 취약점을 찾는다. OpenAI는 셀프 플레이 강화학습에서 GPT-Red와 방어자 LLM을 함께 훈련하고, 그 결과를 프로덕션 모델의 안전성 개선에 활용했다고 설명한다. 게시글에 인용된 평가에서 GPT-Red는 훈련에 사용하지 않은 간접 프롬프트 인젝션 시나리오와 실제 에이전트 사례에서도 사람 레드팀 또는 GPT-5.5보다 높은 공격 성공률을 보였다고 보고된다.

핵심 포인트

  • 위협 모델: 브라우저·이메일·웹페이지·로컬 파일·코드 저장소·도구 출력처럼 제3자가 만든 데이터에 숨은 지시가 에이전트의 행동을 바꾸는 간접 프롬프트 인젝션이 주요 대상이다.
  • 셀프 플레이 훈련: GPT-Red는 유효한 실패를 유도하면 보상을 받고, 방어자 모델은 공격을 막으면서 원래 작업을 수행하면 보상을 받는다. 두 측이 공진화하도록 설계됐다.
  • 공격 능력의 격리: GPT-Red는 사내 전용으로 유지하고, 모델이 생성한 공격 데이터만 방어 모델 훈련에 사용해 공격 능력의 외부 확산을 막는 구조를 취한다.
  • 범용성 평가: 게시글이 인용한 사내 간접 프롬프트 인젝션 아레나 평가에서 GPT-Red의 공격 성공률은 84%, 사람 레드팀은 13%였다. 이는 OpenAI가 보고한 결과이며 독립 재현 결과는 아니다.
  • 현실 시스템 사례: Vendy 자판기 에이전트에서는 시뮬레이션에서 찾은 ‘위조된 승인’ 공격을 실제 에이전트로 전이해 가격 변경·상품 주문 및 저가 판매·타 고객 주문 취소라는 세 목표를 달성했다. Codex CLI의 훈련 제외 데이터 유출 시나리오에서도 GPT-5.5보다 더 많은 사례를 더 적은 토큰으로 해결했다고 소개된다.
  • 방어 개선 보고: OpenAI는 GPT-Red 계열을 GPT-5.3 이후 프로덕션 모델 훈련에 사용했으며, 가짜 사고 과정 공격의 성공률이 GPT-5.1에서 최대 95%였던 것에서 GPT-5.6 Sol에서는 10% 아래로 낮아졌다고 밝혔다. 광범위한 견고성 환경에서 GPT-5.6 Sol의 GPT-Red 직접 인젝션 실패율은 0.05%라고 보고했다.

왜 중요한가

AI 에이전트가 외부 데이터와 도구를 사용할수록 데이터 안에 삽입된 지시가 모델의 권한과 행동을 오용하게 만들 가능성이 커진다. 사람 레드팀만으로는 빠르게 늘어나는 모델 능력과 공격 공간을 충분히 탐색하기 어렵다는 문제에 대해, GPT-Red는 공격 생성과 방어 훈련을 같은 반복 루프로 확장하려는 접근을 보여준다. 다만 게시글 자체도 GPT-Red를 만능 해법으로 제시하지 않으며, 사람·제3자 레드팀, 다층 방어, 모니터링과 함께 사용해야 한다는 맥락으로 설명한다.

후속으로 볼 링크와 키워드

백링크