AI가 장애를 고칠수록 엔지니어는 멀어진다

평균 MTTR 뒤의 빈칸

Sylvain Kalache는 AI handles incidents, engineers lose touch with their systems에서 AI 기반 장애 대응 도구의 역설을 짚었다. 저자는 LinkedIn SRE 경험과 Rootly AI Labs 맥락을 바탕으로, AI가 alert 조사, telemetry 질의, 배포 상관관계 분석, 수정 제안까지 처리할수록 엔지니어가 시스템을 직접 만질 기회를 잃는다고 말한다. 글의 메타 설명처럼 AI는 MTTR을 낮출 수 있지만 복잡한 장애 앞의 인간 준비도를 약화시킬 수 있다.

이 문제는 한국의 플랫폼, 금융, 커머스 팀에도 곧 현실이 된다. 야간 알림을 줄이는 자동화는 환영받지만, routine incident는 온콜 엔지니어가 안전하게 실패를 배우는 훈련장이기도 하다. 좋은 문화가 AI보다 큰 생산성 해킹이라는 주장에서 본 것처럼 생산성은 도구가 아니라 조직 학습의 결과다.

자동화의 아이러니

Kalache가 인용한 Lisanne Bainbridge의 1983년 논문 The Ironies of Automation은 자동화가 운영자의 일상 훈련 기회를 줄이면서 비정상 상황의 책임은 사람에게 남긴다고 설명한다. 항공 분야에서는 이를 시뮬레이터로 보완한다. 글은 현대 터빈 엔진의 in-flight shutdown이 10만 engine flight hours당 1건 미만일 정도로 드물지만, 조종사는 6개월마다 recurrent training이나 proficiency check를 받는다고 설명한다.

AI SRE를 trainer로 써도 충분하지 않다

AI에게 어떤 신호를 봤는지, 왜 해당 원인을 의심했는지 설명하게 하는 것은 유용하다. Rootly나 Uptime Labs 같은 회사가 incident simulation을 도입하는 흐름도 자연스럽다. 그러나 설명을 듣는 것과 압박 속에서 직접 판단하는 것은 다르다. 장애는 기술 문제이면서 커뮤니케이션, 우선순위, 권한 위임의 문제이기 때문이다.

ORCA Bench, 온콜 에이전트 신뢰성의 빈틈이 지적한 것처럼 온콜 에이전트 평가는 정답률만으로 충분하지 않다. 잘못된 가설을 얼마나 빨리 폐기하는지, 사람에게 언제 넘기는지, 고객 커뮤니케이션을 어떻게 보존하는지가 더 중요하다.

한국 팀의 운영 체크리스트

첫째, AI가 처리한 모든 장애에 human-readable timeline을 남겨야 한다. 둘째, 자동 복구된 사건 중 일부를 샘플링해 사람이 다시 재현하게 해야 한다. 셋째, 분기마다 SEV0급 시뮬레이션을 운영하고 incident commander, comms lead, subject matter expert 역할을 분리해 훈련해야 한다. 넷째, AI가 실패했을 때 수동 runbook으로 돌아가는 drill을 해야 한다.

추론 엔진 취약점, LLM이 자기 실행 호스트를 노릴 수 있다에서 본 보안 위험까지 고려하면 AI SRE는 production 권한을 가진 에이전트다. 따라서 도입 기준은 자동화율이 아니라 통제 가능한 전환, 감사 로그, 사람의 숙련도 유지여야 한다. Google SRE 책의 원칙처럼 운영은 반복 업무 제거와 학습 보존을 동시에 달성해야 한다.

자주 묻는 질문

Q1: AI SRE를 쓰지 말아야 하나요?

A: 아닙니다. routine incident 자동화는 가치가 큽니다. 다만 인간 훈련과 전환 절차를 함께 설계해야 합니다.

Q2: 가장 위험한 지표는 무엇인가요?

A: 평균 MTTR만 보는 것입니다. 복잡한 장애의 복구 시간과 인간 개입 품질을 따로 봐야 합니다.

Q3: 시뮬레이션은 얼마나 자주 해야 하나요?

A: 핵심 서비스는 분기 1회 이상, 신입 온콜 투입 전에는 별도 실습을 권합니다.

Q4: AI의 설명 로그만으로 학습이 되나요?

A: 도움이 되지만 충분하지 않습니다. 실제 압박 속에서 손으로 진단하고 커뮤니케이션하는 연습이 필요합니다.

Q5: 한국 플랫폼 팀의 우선순위는 무엇인가요?

A: 자동 복구 도입과 동시에 온콜 readiness, 수동 복구 drill, AI 권한 감사 로그를 운영 지표에 포함하는 것입니다.