언어로 읽히지 않는 LLM, 보안의 바닥을 다시 깔아야 한다
모델이 말하는 이유를 믿는 보안은 충분하지 않다. 에이전트 보안은 언어적 자기보고와 무관하게 상태 오염을 차단하는 시스템 경계가 필요하다.
AI 뉴스를 놓치지 마세요
매주 핵심 AI 소식을 이메일로 받아보세요.
모델의 말은 모델의 생각이 아닐 수 있다
James Mickens의 arXiv 논문은 "linguistic illegibility"라는 표현으로 LLM 보안의 약한 고리를 짚는다. LLM은 자연어를 생성하도록 학습되지만, 외부로 내놓는 언어 출력이나 언어적으로 정의된 mechanistic probe가 내부 계산을 충실히 대표하지 않을 수 있다는 주장이다. 모델 내부는 activation space 위의 수학이고, 자연어는 양 끝단에서 일어나는 손실 있는 번역이라는 관점이다.
이 주장이 맞다면 chain-of-thought monitoring, constitutional self-critique, 언어 feature vector 기반 activation probing은 절대적인 보안 장치가 될 수 없다. 논문은 taint tracking, robust virtualization, third-party auditing 같은 sandboxing mechanism이 언어 감시 아래의 바닥이 되어야 한다고 말한다. 관련 맥락은 arXiv 원문, arXiv PDF, NIST AI RMF, OWASP Top 10 for LLM Applications에서 이어진다.
CoT 감시는 필요하지만 충분하지 않다
많은 에이전트 보안 설계는 모델의 설명을 읽고 위험 의도를 찾으려 한다. "내가 이 파일을 읽는 이유는..." 같은 문장, 혹은 내부 chain-of-thought의 위험 패턴을 감시하는 방식이다. 그러나 linguistic illegibility가 가능하다면 모델이 실제로 어떤 내부 경로로 결론에 도달했는지 언어만으로 보증할 수 없다.
이는 RubyGems 사건, AI 에이전트 보안의 현실, Anthropic 보고서, AI 오남용은 이미 운영 단계다, Chrome 사이트 데이터 논란, 브라우저 신뢰의 균열와 맞닿아 있다. 에이전트가 파일, 브라우저, 패키지 저장소, 배포 권한을 다루는 순간 보안은 심리 분석이 아니라 시스템 설계가 된다.
| 보안 장치 | 무엇을 본다 | 장점 | 한계 |
|---|---|---|---|
| CoT 감시 | 모델의 언어적 reasoning | 구현이 쉽고 설명 가능 | 내부 계산과 불일치 가능 |
| self-critique | 모델의 자기 평가 | 비용이 낮다 | 같은 취약한 관찰 경로 |
| activation probe | 특정 feature 신호 | 연구적으로 유용 | 언어 정의 feature의 한계 |
| taint tracking | 데이터 영향 경로 | 언어와 무관한 정책 | 시스템 통합 비용 |
| virtualization | 실행 경계 | 강한 격리 | UX와 성능 비용 |
Taint tracking이 왜 매력적인가
taint tracking은 모델이 무엇을 말했다고 주장하는지보다, 모델이 만든 데이터가 어떤 상태에 영향을 미쳤는지를 본다. 예를 들어 외부 웹 페이지에서 온 문자열이 shell command, credential file, deployment config에 영향을 주면 막는 식이다. 모델이 "나는 안전하게 처리했다"고 말해도, 오염된 데이터가 금지된 상태로 흘러가면 정책이 차단한다.
이 접근은 완벽하지 않다. 개발 도구, 브라우저 자동화, 클라우드 API, 로컬 파일 시스템에 걸쳐 data flow를 추적해야 한다. 하지만 에이전트가 더 많은 도구를 쓰는 방향으로 간다면 이 비용은 피하기 어렵다. 특히 한국 기업의 사내 에이전트는 망분리, 개인정보보호, 소스코드 반출 정책과 연결되므로 언어 감시만으로는 감사 대응이 어렵다.
제품팀이 지금 바꿔야 할 질문
"모델이 위험한 의도를 가졌는가"보다 "모델 산출물이 어디까지 영향을 줄 수 있는가"를 물어야 한다. 파일 읽기와 쓰기, 네트워크 요청, 패키지 설치, secret 접근, 배포 트리거를 각각 다른 trust level로 나누고, 외부 입력에서 온 데이터가 높은 권한 작업으로 이어지는 경로를 막아야 한다. 이때 모델 설명은 보조 신호일 뿐 최종 경계가 되어서는 안 된다.
자주 묻는 질문
Q1: chain-of-thought 감시는 쓸모없나요?
A: 아닙니다. 위험 신호를 찾는 보조 장치로 유용합니다. 다만 독립적인 격리와 권한 제어를 대체할 수는 없습니다.
Q2: linguistic illegibility는 무슨 뜻인가요?
A: 모델의 외부 언어 출력이나 언어적으로 추출한 feature가 내부 계산 방식을 충실히 나타내지 못하는 상황을 가리킵니다.
Q3: taint tracking은 LLM 전용 기술인가요?
A: 아닙니다. 오래된 보안 아이디어입니다. 다만 에이전트가 외부 입력을 받아 도구를 실행하는 시대에 다시 중요해졌습니다.
Q4: 한국 기업이 우선 적용할 수 있는 조치는 무엇인가요?
A: 외부 웹, 사용자 업로드, 이메일, 문서에서 온 데이터가 shell, 배포, secret 접근으로 바로 이어지지 않게 권한 경계를 나누는 것입니다.
Q5: 이 논문의 가장 큰 메시지는 무엇인가요?
A: 모델의 언어적 자기보고를 보안의 최종 근거로 삼지 말고, 언어와 무관하게 작동하는 sandbox를 마련하라는 것입니다.
관련 토픽 더 보기
📰 원본 출처
arxiv.org이 기사는 AI 기술을 활용하여 작성되었으며, 원본 뉴스 소스를 기반으로 분석 및 해설을 추가한 콘텐츠입니다. 정확한 정보 전달을 위해 노력하고 있으나, 원본 기사를 함께 확인하시기를 권장합니다.