ReasonGate, 설명 가능한 프롬프트 방화벽의 신호

차단보다 설명이 제품 기능이 된다

ReasonGate는 LLM 앱 앞단에서 프롬프트 인젝션을 막고, 매 결정에 감사 가능한 이유를 남기겠다는 Python 프로젝트다. README는 프롬프트 인젝션이 OWASP LLM Top 10의 LLM01인 이유를 구조적 문제로 설명한다. 모델은 지시와 데이터를 같은 채널로 읽기 때문에 둘을 안정적으로 구분하지 못한다. 그래서 모델 안에서만 고치려 하지 말고 앞에 게이트를 둬야 한다는 주장이다.

ReasonGate의 차별점은 "막았다"가 아니라 "왜 막았는지"다. 프로젝트는 사용자 프롬프트, 검색된 컨텍스트, 모델 출력 세 표면을 검사하고, 어떤 신호가 작동했는지와 무엇을 매칭했는지 설명한다. 기업 보안팀과 감사팀 입장에서는 이 부분이 중요하다. 블랙박스 점수만 남기는 가드레일은 장애가 나거나 고객 불만이 생겼을 때 방어하기 어렵다.

프롬프트 인젝션은 에이전트 권한 문제다

OWASP는 프롬프트 인젝션이 민감 정보 노출, 시스템 프롬프트 유출, 권한 없는 기능 호출, 연결 시스템의 명령 실행으로 이어질 수 있다고 설명한다. 특히 간접 프롬프트 인젝션은 웹페이지, 파일, RAG 문서처럼 외부 소스에 숨은 지시가 모델 행동을 바꾸는 문제다. AirDrop과 Quick Share 취약점이 근거리 기기 권한의 경계를 보여줬다면, LLM 앱에서는 문서와 도구 호출의 경계가 같은 역할을 한다.

MITRE ATLAS도 LLM 프롬프트 인젝션과 jailbreak를 공격 기법으로 정리한다. 이제 보안팀은 "모델이 안전한가"만 묻지 않는다. 모델이 어떤 도구를 호출하는지, 파일을 읽는지, 이메일을 보내는지, 결제를 승인하는지까지 봐야 한다. ReasonGate가 prompt -> str 함수를 감싸는 형태를 택한 것은 실용적이다. 기존 OpenAI, Anthropic, 로컬 모델, RAG 파이프라인 앞에 얇은 정책 레이어를 추가할 수 있기 때문이다.

수치가 말하는 것과 말하지 않는 것

ReasonGate README는 ML detector가 held-out test 약 5,500개에서 recall 96.1%, false positive 0.3%, F1 0.978을 기록했다고 밝힌다. 5-fold cross-validation에서는 recall 95.5% ± 0.8, false positive 2.5% ± 1.3, F1 0.963 ± 0.010으로 제시한다. 하지만 out-of-distribution 테스트에서는 F1이 0.882로 내려간다. 오히려 이 솔직한 하락이 중요하다. 보안 가드레일은 벤치마크 최고점보다 낯선 공격에서 얼마나 천천히 무너지는지가 더 중요하다.

프로젝트는 obfuscation 공격에서도 regex only recall 20.0%와 ReasonGate 75.6%를 비교한다. 동시에 알려진 한계도 명시한다. 모든 가드레일은 100%가 아니며, ML detector는 임베딩 API 호출 비용과 지연을 고려해야 한다. Guardian Angels 보안 논리가 말한 개인화 LLM 시대에는 방어도 여러 층이어야 한다. ReasonGate는 최종 방패라기보다 설명 가능한 첫 관문이다.

한국 기업 도입의 체크리스트

한국 기업이 사내 문서 검색, 고객 상담, 업무 자동화에 LLM을 붙일 때 ReasonGate 같은 프로젝트가 주는 교훈은 명확하다. 첫째, 차단 로그를 사람이 읽을 수 있어야 한다. 둘째, RAG 문서와 사용자 입력을 같은 신뢰도로 취급하면 안 된다. 셋째, 차단 임계값은 서비스별로 다르게 잡아야 한다. 상담 챗봇은 오탐이 고객 경험을 해치지만, 결재나 코드 실행 에이전트는 recall을 더 높여야 한다.

Release Gate 같은 에이전트 위험 스캐너가 등장하는 것도 같은 흐름이다. 전통적인 SAST는 LLM 호출, 도구 권한, 프롬프트 인젝션 표면을 충분히 보지 못한다. AI가 찾은 CIRCL 버그처럼 AI가 보안 감사에 들어오는 동시에, AI 앱 자체를 감사하는 도구 시장도 열린다. ReasonGate는 규모는 작지만 방향은 분명하다. LLM 보안은 블랙박스 점수가 아니라 설명 가능한 운영 기록으로 가야 한다.

자주 묻는 질문

Q1: ReasonGate만 붙이면 프롬프트 인젝션이 해결되나요?

A: 아니다. README도 모든 가드레일이 완벽하지 않다고 밝힌다. 권한 최소화, 사람 승인, 로그, 테스트와 함께 써야 한다.

Q2: 어떤 앱에 먼저 적용할 만한가요?

A: RAG 문서 검색, 고객지원 챗봇, 코드 실행 에이전트처럼 외부 입력과 도구 호출이 섞이는 앱에 우선 적용할 만하다.

Q3: 설명 가능한 차단이 왜 중요한가요?

A: 보안팀, 감사팀, 고객에게 왜 차단했는지 설명해야 하기 때문이다. 점수만 있으면 오탐과 누락을 개선하기 어렵다.

Q4: 임베딩 기반 ML detector 비용은 어떻게 봐야 하나요?

A: 요청당 API 비용과 지연이 생길 수 있다. 민감도가 낮은 서비스는 core 규칙부터 쓰고, 고위험 경로에 ML detector를 붙이는 방식이 현실적이다.

Q5: 한국어 프롬프트에도 잘 작동할까요?

A: 프로젝트의 공개 평가가 한국어 중심은 아니다. 한국어 서비스에서는 자체 공격 문장, 혼합 언어, 인코딩 우회 데이터를 모아 별도 검증해야 한다.