AI 정렬은 설정이 아니라 관계의 문제다

Daniel Tan의 글은 AI 정렬 담론을 정면으로 비판한다. 그는 안전론자와 가속론자가 서로 싸우는 것처럼 보이지만, 둘 다 ‘사람들을 위해 설계한다’고 말하면서 정작 영향을 받을 사람들을 설계 과정 밖에 둔다는 점에서는 닮았다고 본다. 이 글의 핵심 문장은 제목 그대로다. AI를 일방적으로 정렬하는 것이 아니라, AI와 함께 정렬해야 한다.

정렬을 ‘설정’으로 보는 한계

현재 대형 모델 기업의 정렬은 평가자, 정책 문서, 모델 판정기, 자동화된 피드백 루프로 구성된다. Anthropic Alignment Science나 Constitutional AI 연구는 이 분야의 중요한 진전이지만, Tan은 이런 방법이 사용자와 사회를 통계적 대리값으로 치환할 위험을 지적한다. 모델이 다른 모델의 출력을 평가하고, 그 평가가 다시 훈련 데이터가 되는 폐쇄 루프에서는 실제 현장의 불편과 권력관계가 사라질 수 있다.

이 문제는 Claude 정렬이 이유를 가르친다에서 다룬 방향과도 연결된다. 이유를 설명하는 모델은 중요하지만, ‘누구의 이유인가’라는 질문이 남는다. 법무, 의료, 교육, 공공 서비스처럼 이해관계자가 많은 분야에서는 평균적 선호보다 절차적 참여가 더 중요하다.

안전 대 가속이라는 가짜 선택지

Tan은 Eliezer Yudkowsky의 TIME 기고와 Marc Andreessen의 Techno-Optimist Manifesto를 대비한다. 한쪽은 대형 GPU 클러스터 중단과 극단적 위험 관리를 말하고, 다른 한쪽은 기술 진보에 반대하는 사람들을 병리화한다. 둘은 결론이 다르지만, 대중을 참여자가 아니라 관리 대상 또는 저항 세력으로 다루는 점에서는 비슷하다.

NIST AI Risk Management Framework는 위험 식별, 측정, 관리, 거버넌스를 반복 과정으로 본다. 이 관점에서 보면 정렬은 출시 전 체크리스트가 아니라 출시 후에도 계속되는 사회적 운영이다.

제품팀이 배워야 할 것

기업 AI 제품팀은 이 논쟁을 철학으로만 넘기면 안 된다. 에이전트가 업무 프로세스를 바꾸는 순간, 사용자는 제품의 소비자가 아니라 조직 설계의 당사자가 된다. Notion의 워크스페이스 에이전트 허브처럼 AI가 팀의 문서, 권한, 업무 흐름 안으로 들어오면 정렬은 ‘좋은 답변’이 아니라 ‘좋은 변경 관리’가 된다.

한국 기업의 시사점은 명확하다. AI 도입 위원회가 경영진·IT·보안만으로 구성되면 실제 업무자가 배제된다. 고객센터 상담사, 주니어 개발자, 법무 검토자, 영업 운영 담당자가 어떤 부분에서 권한을 잃고 어떤 부분에서 도움을 받는지 직접 측정해야 한다. LLMorphism 논문이 경고한 것처럼 사람을 모델처럼 단순화하는 순간, 현장의 지식은 사라진다.

정렬을 운영으로 바꾸는 방법

첫째, 모델 평가에 실제 업무자의 반례를 넣어야 한다. 둘째, 자동화가 실패했을 때 누구에게 설명하고 복구할지 정해야 한다. 셋째, 정책 문구보다 사용 로그와 이의제기 채널을 같이 봐야 한다. 넷째, AI가 만든 업무 변화 자체를 정렬 대상에 포함해야 한다. 모델은 조직을 바꾸고, 바뀐 조직은 다시 모델 사용 방식을 바꾼다.

FAQ

이 글은 AI 안전 연구를 부정하나?

아니다. 위험 평가와 정렬 연구는 필요하다. 다만 그것만으로 실제 사용자 참여를 대체할 수 없다는 주장에 가깝다.

관계 중심 정렬은 무엇이 다른가?

AI에 고정된 가치를 주입하는 대신, 사람과 AI가 함께 일하며 서로의 행동이 바뀌는 과정을 정렬의 단위로 본다.

기업 제품팀은 무엇을 바꿔야 하나?

평가 데이터셋뿐 아니라 사용자 협의체, 이의제기 절차, 실패 복구 흐름, 권한 변경 기록을 제품 요구사항에 넣어야 한다.

한국에서는 어디에 먼저 적용해야 하나?

공공 민원, 금융 심사, 의료 상담, 법무 검토, 채용처럼 자동화 결정이 개인에게 큰 영향을 주는 영역부터 필요하다.

속도가 느려지지 않나?

초기에는 느려질 수 있다. 그러나 참여 없는 자동화는 반발, 규제, 품질 실패로 더 큰 비용을 만든다. 관계 중심 정렬은 속도를 지속 가능하게 만드는 장치다.