Claude-real-video, 로컬 비디오 인식의 우회로

LLM이 비디오를 본다는 말의 실체

GitHub 프로젝트 claude-real-video는 "Claude나 어떤 LLM도 실제로 비디오를 보게 한다"는 목표를 내세운다. 방식은 단순하지만 실용적이다. 비디오 URL이나 로컬 파일에서 장면 변화가 있는 프레임을 뽑고, 가까운 중복 프레임을 제거하고, 오디오 transcript와 manifest를 만들어 사용자가 Claude, ChatGPT, Gemini 같은 모델에 넣을 수 있게 한다.

이 접근은 중요한 구분을 만든다. 비디오 이해는 모델 내부 기능만의 문제가 아니라 입력 압축 문제다. 긴 영상 전체를 모델에 올리는 대신 의미 있는 장면과 음성을 정리해 넘기면, 네이티브 비디오 모델이 아니어도 많은 업무를 처리할 수 있다.

1fps의 한계와 장면 기반 샘플링

Google Gemini API의 비디오 이해 문서는 기본적으로 시각 설명을 위해 초당 1프레임을 샘플링한다고 설명한다. 대부분의 영상에는 충분할 수 있지만, 빠른 컷, 화면 전환이 많은 튜토리얼, 게임 플레이, 제품 데모에서는 중요한 장면을 놓칠 수 있다. claude-real-video는 고정 간격 대신 장면 변화를 기준으로 프레임을 고른다는 점에서 다른 비용 곡선을 만든다.

OpenAI의 GPT-4o 발표가 보여준 방향은 텍스트, 이미지, 오디오를 하나의 경험으로 묶는 것이다. 하지만 모든 조직이 영상을 외부 클라우드에 올릴 수 있는 것은 아니다. 로컬 전처리 도구는 그 사이를 메운다.

개발자 도구로서의 의미

이 프로젝트는 대형 제품보다 작지만, 개발자 워크플로에는 즉시 의미가 있다. 버그 재현 영상, UX 리서치 녹화, 교육 영상, 보안 카메라 클립, 게임 플레이를 에이전트가 읽게 만들 수 있기 때문이다. Gemini Spark 맥 출시, 데스크톱 에이전트 전쟁에서 본 것처럼 데스크톱 에이전트의 다음 입력은 파일과 브라우저를 넘어 화면 기록으로 확장된다.

한국 기업에서도 비디오 데이터는 이미 많다. 콜센터 화면 녹화, 공장 설비 점검 영상, 모바일 앱 사용성 테스트, 온라인 강의가 대표적이다. 이 데이터를 모두 전용 멀티모달 SaaS로 보내지 않고, 로컬에서 장면과 transcript로 변환한 뒤 내부 승인된 모델에 넣는 구조는 보안과 비용 측면에서 설득력이 있다.

프라이버시와 저작권은 여전히 남는다

로컬 처리라고 해서 모든 문제가 사라지는 것은 아니다. YouTube URL이나 사내 녹화 파일을 처리할 때는 저작권, 개인정보, 영업비밀을 구분해야 한다. Venice AI 유니콘, 프라이버시 AI의 시장성이 말한 프라이버시 수요도 결국 "어디서 처리되고 무엇이 남는가"라는 질문이다.

또 하나의 리스크는 에이전트가 프레임 선택 과정을 과신하는 것이다. 선택되지 않은 장면에 결정적 정보가 있을 수 있다. 따라서 중요한 의사결정에는 원본 영상 위치, 추출된 프레임 목록, transcript 타임스탬프를 함께 보관해야 한다. Brain2Qwerty v2, 비침습 BCI의 현실적 진전처럼 신호를 텍스트로 바꾸는 모든 시스템은 압축 과정의 손실을 관리해야 한다.

자주 묻는 질문

Q1: claude-real-video가 Claude 자체를 바꾸나요?

A: 아니다. 로컬에서 프레임과 transcript를 만들어 기존 LLM에 넣기 쉽게 하는 전처리 도구다.

Q2: Gemini 같은 네이티브 비디오 모델과 경쟁하나요?

A: 직접 경쟁이라기보다 보완이다. 네이티브 모델이 필요 없는 업무나 외부 업로드가 어려운 환경에서 유용하다.

Q3: 장면 변화 기반 추출이 항상 더 좋은가요?

A: 아니다. 회의처럼 화면 변화가 적고 음성이 중요한 영상은 transcript 중심 처리가 더 효율적일 수 있다.

Q4: 기업에서 바로 써도 되나요?

A: 라이선스와 보안 정책을 확인해야 한다. 특히 영상에 개인정보나 고객 데이터가 있으면 저장 위치와 삭제 정책이 필요하다.

Q5: 개발팀의 첫 실험은 무엇이 좋나요?

A: 버그 재현 영상 5-10개를 프레임, transcript, manifest로 변환해 기존 이슈 템플릿과 연결해보는 것이다.