AI 문장이 어려운 이유, 짧음과 이해는 다르다

새 연구가 문제 삼은 것은 문법 오류가 아니다

10월 21일 arXiv에 공개된 「Why is AI-generated language so hard to understand?」는 AI 문장이 왜 이해하기 어렵게 느껴지는지 언어적 특징으로 분석한다. 저자는 Thomas Hikaru Clark, Matias B. Martin, Kyle Mahowald다. 10월 24일 개발자 커뮤니티에서 공유된 이 논문은 사전공개 연구이며, 이 기사에서 동료심사 완료 논문으로 다루지 않는다.

논점은 단순한 문법 오류나 긴 문장의 문제보다 좁고 구체적이다. 연구진은 드물게 쓰이는 단어 조합, 멀리 떨어진 단어 사이의 문법적 의존, 겹겹이 쌓인 명사, 생략된 관계절 표지 같은 특징을 살폈다. 이런 형태는 문법적으로 가능하더라도 독자가 관계를 복원하는 데 부담을 줄 수 있다.

핵심 결과는 AI가 정답을 만들도록 최적화되는 과정과 사람이 읽기 편한 설명을 만드는 목표가 반드시 일치하지 않는다는 것이다. 다만 이는 모든 AI 문장이 어렵거나 모든 최신 모델이 이전 모델보다 나쁘다는 뜻은 아니다. 논문도 모델 계열과 사용 상황에 따른 차이를 보고한다.

14개 모델과 세 가지 상황을 비교했다

논문 전체에 따르면 연구진은 총 14개 모델을 대상으로 대화, 코딩, 에세이 설정을 분석했다. 모든 모델이 모든 설정에 참여한 것은 아니며, 대화는 12개, 코딩은 9개, 에세이는 14개 모델이다. 대화의 출발점은 일반 대화 10개와 코딩 5개로 구성했고, 별도로 7개 에세이 과제를 사용했다.

초록에서 언급한 9개는 프런티어 및 근접 프런티어 모델 집합의 비교다. 따라서 “연구 전체가 9개만 조사했다”거나 “14개가 모든 항목에서 같은 결과를 냈다”고 요약하면 범위를 잘못 전달하게 된다. 이 연구는 제한된 주제와 모델을 사용한 비교이며 전체 사용 환경을 대표하는 대규모 사용자 시험은 아니다.

연구진은 영어 문장을 일본어로 번역한 뒤 다시 영어로 되돌리는 방식으로 비교 문장을 만들었다. 같은 내용을 다른 표현으로 바꿨을 때 난이도 관련 특징이 줄어드는지 살피려는 설계다. 이 방법은 내용 차이를 줄이려는 장치이지만, 번역이 의미와 문체를 완전히 보존한다고 보장할 수는 없다.

짧게 쓰는 보상이 표현을 바꿀 수 있다

두 번째 실험은 공개 가중치 모델 Qwen2.5-1.5B-Instruct에 구조화된 사건 정보를 영어 문장으로 바꾸는 과제를 주고, 출력 길이에 벌점을 주는 방식으로 미세조정했다. 그 결과 모델이 더 짧은 구문을 선호하는 방향으로 바뀌었다고 연구진은 보고한다. 일부 변화는 학습에서 보지 않은 가까운 유형에도 나타났다.

이 결과는 압축 압력이 언어 선택에 영향을 줄 수 있다는 개념 증명이다. 특정 상용 모델이 실제로 어떤 학습 보상 때문에 어려워졌는지를 직접 밝혀낸 것은 아니다. 연구진도 프런티어 모델의 후학습을 대규모로 관찰하기 어려워 대리 실험에 의존했다고 한계에서 설명한다.

트랜스포머의 기억과 검색을 다룬 분석처럼, 시스템 내부에 유리한 표현과 사람의 인지에 유리한 표현을 같은 것으로 놓지 않는 관점이 필요하다.

제품 경쟁에서 가독성이 별도 지표가 되는 이유

고객지원 AI가 짧은 문장으로 답했더라도 사용자가 다시 묻는다면 전체 비용이 줄지 않을 수 있다. 개발 보조 도구도 변경 요약이 지나치게 압축돼 검토자가 실제 의도를 확인하느라 시간을 쓰면 생산성이 떨어진다. 여기서 비용 단위는 최초 응답의 토큰이 아니라 사용자가 이해하고 올바른 행동을 마칠 때까지의 총과정이다.

W3C의 읽기 수준 설명은 복잡한 정보를 더 이해하기 쉬운 보조 콘텐츠로 제공하는 접근을 다룬다. 낯선 단어에 대한 설명은 특수한 용법과 전문 용어를 풀어주는 장치에 주목한다. 두 항목은 WCAG의 AAA 수준 맥락이며, 특정 AI 모델의 점수를 매기는 벤치마크는 아니다. 그러나 제품 설계에 적용할 수 있는 구체적인 목표를 제공한다.

GPT-6의 상호작용형 UI 분석에서처럼 긴 설명을 무조건 짧은 문장으로 압축할 필요도 없다. 핵심 결론, 조건, 선택지를 단계별로 보여주면 문장 하나가 담당해야 할 정보량을 줄일 수 있다. 이 역시 이번 논문이 직접 검증한 제품 효과가 아니라 연구에서 도출할 수 있는 설계 제안이다.

한국어 제품은 별도로 평가해야 한다

이번 연구의 분석 언어는 영어다. 영어 관계절의 생략과 명사 결합 결과를 한국어 조사·어미·관형절 구조에 그대로 옮길 수 없다. 한국어에서는 주어 생략, 긴 수식어, 한자어 연쇄, 번역투가 다른 방식으로 이해를 방해할 수 있으므로 실제 독자 평가가 필요하다.

실무에서는 같은 답변을 읽은 사용자가 핵심 조건을 정확히 설명하는지, 다음 작업을 성공적으로 수행하는지, 재질문이 얼마나 필요한지를 확인할 수 있다. 문장 길이와 희귀 단어 비율은 진단 보조 지표로 두고, 사실 보존과 사용자 성과를 함께 평가해야 한다. 전문 용어를 없애다가 중요한 조건을 지우는 것도 실패다.

미국 정부의 쉬운 언어 지침은 독자 중심의 작성과 이해 가능한 구성을 위한 참고 자료다. MS·CMU PRAISE의 업무 속 학습 분석과 연결해 보면, 좋은 AI 설명은 사람이 답을 복사하게 하는 데서 끝나지 않고 판단 근거를 익히게 해야 한다.

자주 묻는 질문

최신 모델일수록 무조건 더 읽기 어려운가?

아니다. 논문은 모델 계열과 상황에 따른 차이를 보고하며, 일부 최신 변형의 개선도 언급한다. 성능 순위와 가독성 순위는 따로 평가해야 한다.

짧게 답하라고 하면 해결되는가?

항상 그렇지는 않다. 지나친 압축은 관계를 설명하는 단어나 맥락을 없앨 수 있다. 짧음보다 명확한 주체·행동·조건이 중요하다.

실제 독자의 이해력 감소를 직접 측정했나?

주된 근거는 처리 어려움과 관련된 언어 특징 및 대리 학습 실험이다. 이를 모든 독자의 이해도 감소율로 환산해서는 안 된다.

한국어에서도 같은 결과가 확인됐나?

이 논문의 분석은 영어에 한정된다. 한국어 제품은 해당 언어의 구조와 실제 사용자로 다시 검증해야 한다.

서비스에 추가할 핵심 평가는 무엇인가?

내용의 정확성을 유지한 상태에서 사용자가 조건을 이해하고 작업을 완료하는지 보는 평가가 유용하다. 재질문과 검토 시간도 함께 측정할 수 있다.