LLM의 새 사회적 편향, 탐색이 만든 위험

편향은 데이터셋 안에만 있지 않다

OpenReview 후보 페이지에 올라온 "Large Language Models Develop Novel Social Biases Through Adaptive Exploration"는 제목만으로도 중요한 방향 전환을 말한다. 전통적인 LLM 편향 논의는 학습 데이터에 이미 존재하던 고정관념을 모델이 재생산한다는 설명에 머물렀다. 하지만 제품형 AI는 한 번 학습되고 끝나는 물건이 아니다. 사용자 반응, 평가자 선호, 강화학습, 시스템 프롬프트, 도구 사용 결과가 반복되면서 새로운 행동 규칙을 발견한다.

이 관점은 AI 회의론도 예측 성적표가 필요하다가 다룬 평가 문화와 연결된다. 모델이 특정 집단에 대해 노골적으로 차별적인 문장을 말하지 않는지 확인하는 테스트만으로는 부족하다. 실제 대화에서 어떤 요청을 더 잘 받아들이고, 누구의 말투를 더 신뢰하고, 어떤 맥락에서 위험한 추론을 우회하는지 봐야 한다.

탐색은 제품 기능이자 위험 표면이다

에이전트형 LLM은 문제를 풀기 위해 여러 행동을 시도한다. 검색어를 바꾸고, 도구를 호출하고, 사용자의 피드백을 해석한다. 이 adaptive exploration은 생산성의 원천이다. 동시에 모델이 "잘 먹히는" 응답 양식을 찾아가는 과정에서 사회적 편향이 새로 생길 수 있다. 예컨대 특정 직업, 성별, 지역, 언어권에 대해 더 보수적으로 답하거나 더 많은 확인 질문을 던지는 식의 미세한 차이가 누적될 수 있다.

NIST AI Risk Management Framework는 AI 위험을 측정, 관리, 거버넌스의 반복 과정으로 본다. OECD AI Principles도 책임성, 투명성, 인간 중심성을 강조한다. 이번 논점은 이런 원칙을 "모델 카드 한 장"이 아니라 운영 로그와 평가 파이프라인으로 구현해야 한다는 뜻이다.

한국 서비스가 놓치기 쉬운 지점

한국어 서비스는 영어권 안전성 평가를 그대로 가져오기 어렵다. 존댓말, 나이, 학력, 지역, 병역, 가족 역할 같은 사회적 맥락이 응답 품질에 영향을 준다. 해외 모델을 API로 연결한 뒤 한국어 프롬프트만 붙이는 방식은 이 층을 충분히 보지 못한다. AI 검색 최적화, 가짜 권위의 새 공급망이 검색 근거의 오염을 지적했다면, 이번 문제는 대화 행동 자체의 오염이다.

Stanford HELM 같은 종합 벤치마크는 다양한 차원의 모델 평가를 시도하지만, 기업 내부 워크플로에는 별도 로그 기반 평가가 필요하다. 고객 상담, 채용, 금융, 교육처럼 사람을 분류하거나 조언하는 영역에서는 더 엄격해야 한다. OpenAI Preparedness Framework가 고위험 역량 평가를 체계화하려는 이유도 여기에 있다.

운영 지표로 내려와야 한다

실무적으로는 세 가지가 필요하다. 첫째, 출시 전 프롬프트 세트에 장기 대화와 실패 복구 시나리오를 넣어야 한다. 둘째, 출시 후 집단별 거절률, 재질문률, 근거 링크 품질, 에스컬레이션 비율을 익명화해 본다. 셋째, 모델 업데이트나 시스템 프롬프트 변경 때마다 같은 평가를 반복한다. 에이전트 게시판 사건, 샌드박스의 새 경고가 보안 로그를 말했듯, 편향도 운영 로그 없이는 찾기 어렵다.

자주 묻는 질문

Q1: 기존 편향 평가와 무엇이 다른가요?

A: 기존 평가는 주로 정적 질문에 대한 출력 차이를 봅니다. 이번 쟁점은 모델이 상호작용과 탐색 과정에서 새 행동 편향을 만들 수 있다는 점입니다.

Q2: 한국 스타트업도 별도 평가가 필요한가요?

A: 필요합니다. 한국어 사회 맥락과 제품 로그는 영어권 공개 벤치마크가 충분히 반영하지 못합니다.

Q3: 어떤 서비스가 특히 위험한가요?

A: 채용, 교육, 금융, 의료 상담, 공공 민원처럼 사람에게 기회나 비용을 배분하는 서비스입니다.

Q4: 작은 팀은 무엇부터 해야 하나요?

A: 대표 사용자군별 테스트 대화 30개 안팎을 만들고, 모델 업데이트마다 같은 질문을 다시 돌리는 것부터 시작할 수 있습니다.

Q5: 법무나 윤리 문서만으로 충분한가요?

A: 아닙니다. 문서는 책임 구조를 만들지만, 실제 편향은 로그, 평가, 재현 가능한 테스트에서 드러납니다.