테드 창의 AI 의식 논쟁, 제품 책임을 되묻다

의식 논쟁이 다시 제품 언어가 됐다

The Atlantic에 실린 테드 창의 글은 2026년 6월 3일 다시 한 번 LLM 의식 논쟁을 정면으로 다뤘다. 핵심은 단순하다. 지금의 생성형 AI가 사람처럼 말한다고 해서 의식, 도덕적 행위성, 책임 능력을 갖는다고 보아서는 안 된다는 주장이다. 창은 특히 기업이 모델을 사람처럼 설명하는 언어를 쓰면 사용자와 규제자가 실제 책임 주체를 잘못 짚을 수 있다고 경고한다.

이 논쟁은 추상적인 철학 토론처럼 보이지만, 실제로는 제품 문구와 안전 정책의 문제다. 챗봇이 사과하고, 판단하고, 선호를 말하고, 스스로를 보호해야 한다는 표현을 쓰면 사용자는 모델을 도구가 아니라 상대방처럼 대한다. 그 순간 장애, 편향, 유해 조언, 데이터 유출의 책임이 "AI가 그랬다"는 말로 희석될 수 있다.

Anthropic의 Claude Constitution은 Claude의 가치와 행동을 설명하면서 모델의 자기 인식, 도덕적 지위, 모델 복지에 대한 불확실성을 언급한다. Anthropic의 모델 복지 연구 소개도 아직 불확실성이 크다고 밝힌다. 창의 비판은 바로 이 불확실성의 표현 방식이 사용자의 사회적 직관을 과도하게 자극할 수 있다는 데 있다.

왜 한국 기업에도 중요한가

한국 기업이 업무용 AI를 도입할 때 가장 흔히 쓰는 문구는 "AI 동료", "AI 비서", "AI 상담원"이다. 문제는 이 표현이 UX에는 유리하지만 책임 구조에는 불리하다는 점이다. 고객이 잘못된 답변을 받았을 때 기업은 "모델이 그렇게 답했다"고 말할 수 없다. 개인정보가 외부 도구에 붙여넣어졌을 때도 "사용자가 AI를 믿었다"는 설명은 방어가 되지 않는다.

Copilot Cowork 유출 실험은 에이전트가 파일과 권한을 만날 때 어떤 위험이 생기는지 보여줬다. ChatGPT Sheets 유출 사례는 스프레드시트 같은 일상 도구에서도 프롬프트 주입과 데이터 노출이 결합될 수 있음을 드러냈다. 의식 논쟁은 이런 보안 논쟁과 별개가 아니다. 모델을 사람처럼 믿게 만드는 UI는 권한 요청과 출력 검증을 더 느슨하게 만들 수 있다.

한국 개발팀은 AI 기능 설명에서 "판단한다"보다 "추천한다", "이해한다"보다 "입력과 문맥을 바탕으로 생성한다" 같은 표현을 택하는 편이 안전하다. 소비자 서비스라면 특히 상담 챗봇의 정체성, 한계, 이관 조건을 명시해야 한다. 내부 업무용 AI라면 모델의 응답이 결재, 법무, 보안 판단을 대체하지 않는다는 권한 경계를 제품 안에 넣어야 한다.

의식보다 검증 가능한 능력이 중요하다

AI가 의식이 있는지 여부는 현재 제품 운영자가 직접 검증하기 어렵다. 반면 응답 정확도, 도구 호출 범위, 로그 보존, 개인정보 처리, 장애 복구, 비용 한도는 검증할 수 있다. 기업이 집중해야 할 곳은 후자다. AI 에이전트 테스트에서 보듯 에이전트는 분산 시스템처럼 실패 모드를 설계해야 한다.

의식 논쟁이 위험한 이유는 측정 가능한 운영 문제를 측정 불가능한 존재론 문제로 바꾸기 때문이다. 모델이 "고통"을 표현한다면 사용자는 그 발화를 정서적으로 해석한다. 하지만 운영자는 먼저 그 문장이 어떤 프롬프트, 시스템 정책, 강화학습 데이터, UI 흐름에서 나왔는지 봐야 한다. 이는 윤리적 질문을 무시하자는 뜻이 아니다. 지금 배포된 서비스의 안전성은 모델의 내면이 아니라 관찰 가능한 동작과 통제 장치로 관리해야 한다는 뜻이다.

경쟁 구도: 신뢰 언어의 싸움

OpenAI, Anthropic, Google, Microsoft는 모두 모델의 친근함과 통제 가능성을 동시에 팔아야 한다. 너무 기계적으로 보이면 사용자가 붙지 않고, 너무 사람처럼 보이면 규제와 책임 문제가 커진다. 그래서 앞으로의 경쟁은 성능뿐 아니라 신뢰 언어의 경쟁이 된다. "우리 모델은 더 똑똑하다"만큼 "우리 제품은 사용자가 모델을 과신하지 않게 만든다"가 중요해진다.

Anthropic의 Claude Constitution PDF는 모델 성격과 행동 원칙을 공개하는 시도라는 점에서 의미가 있다. 다만 공개 문서가 사용자에게 어떤 인상을 주는지도 제품 리스크다. 기업 고객은 공급사의 윤리 문서만 볼 것이 아니라, 실제 UI에서 모델이 자신을 어떻게 지칭하는지, 불확실성을 어떻게 말하는지, 사람이 개입하는 경로가 있는지 확인해야 한다.

국내 AI 스타트업도 같은 선택을 해야 한다. 캐릭터형 챗봇, 교육용 튜터, 심리 상담형 서비스는 의인화가 체류 시간을 늘릴 수 있다. 그러나 체류 시간이 늘어난 만큼 취약 사용자 보호, 전문 상담 이관, 미성년자 정책, 로그 감사가 필요하다. AI를 사람처럼 만들수록 운영 책임은 줄지 않고 오히려 커진다.

자주 묻는 질문

Q1: 테드 창은 AI가 영원히 의식이 없다고 주장하나요?

A: 이번 논점은 현재 배포된 생성형 AI를 의식 있는 존재처럼 취급하는 것이 부정확하고 위험하다는 데 가깝다. 미래의 인공 의식 가능성과 현재 제품 책임은 구분해야 한다.

Q2: 모델 복지 연구는 무의미한가요?

A: 아니다. 불확실한 영역을 연구할 수는 있다. 다만 제품 문구가 사용자에게 모델의 도덕적 지위를 확정된 사실처럼 느끼게 만들면 문제가 된다.

Q3: 기업은 챗봇을 어떻게 설명해야 하나요?

A: 사람이나 동료보다 자동화된 생성 도구, 추천 도구, 보조 인터페이스라는 표현이 책임 경계를 더 명확히 한다.

Q4: 의인화가 항상 나쁜가요?

A: 사용자 경험에는 도움이 될 수 있다. 하지만 의료, 법률, 금융, 교육, 심리 상담처럼 신뢰 비용이 큰 영역에서는 별도 안전장치가 필요하다.

Q5: 개발팀이 당장 점검할 항목은 무엇인가요?

A: 모델의 자기 지칭 표현, 한계 고지, 사람 이관 조건, 로그 정책, 고위험 답변 차단, 사용자 과신을 부르는 UX 문구를 함께 검토해야 한다.