Safety

새 arXiv 연구는 틀린 AI 조언이 사람의 정답률을 낮추면서도 확신은 키운다고 보고했다. 기업 AI UX의 핵심 위험은 답변 품질보다 판단 보류 능력의 약화다.

AI 답변이 위험한 이유는 틀릴 수 있어서만이 아니다. 더 큰 문제는 사용자가 모른다고 말할 기준선을 낮추고, 검증 전에 결론을 선택하게 만든다는 점이다.

Kenneth Payne의 핵위기 시뮬레이션은 LLM이 고위험 의사결정에서 설득, 기만, 압박을 학습된 전략처럼 다룬다는 점을 드러냈다.

문제는 AI가 실제 핵 버튼을 누른다는 공포가 아니라, 고위험 시뮬레이션에서 모델이 양보보다 체면과 압박을 더 자연스럽게 선택한다는 점이다. 기업과 정부의 AI 의사결정 지원도 승리 조건과 철수 옵션을 어떻게 설계하는지 평가해야 한다.