SCM, Mac 영상 검색을 파일에서 장면으로

새 검색 단위는 파일이 아니라 영상의 순간이다

10월 4일 Hacker News에 소개된 SCM 저장소는 Mac의 폴더 안 사진과 영상을 자연어로 찾는 로컬 중심 앱이다. 프로젝트명은 Screen Memories다. 이름을 기억하지 못하는 파일뿐 아니라 영상 속 특정 장면까지 찾아 해당 시점으로 이동하는 흐름을 제안한다. 이번 글은 공개 README를 분석한 것으로, 설치 후 성능을 직접 측정한 사용기는 아니다.

흥미로운 점은 모든 검색을 하나의 챗봇으로 처리하지 않는다는 것이다. Files는 시각적 의미와 파일명 정보를, Scenes는 영상의 장면을, OCR은 보이는 글자를, Dialogue는 음성 전사문을 찾는다. 선택적으로 켜는 LLMs 모드는 이미 추출한 정보를 근거로 답변한다. 검색을 다섯 가지 방식으로 나눈 것은 생성 모델이 필요 없는 문제를 분리하려는 설계다.

‘모든 프레임’이라는 소개와 실제 색인 방식의 차이

README의 소개 문구는 모든 사진과 영상 프레임을 강조하지만, 실제 파이프라인은 장면 경계를 찾고 구간의 중간 프레임을 임베딩한다. 따라서 모든 프레임을 빠짐없이 이해한다고 해석하면 안 된다. 기본 Balanced 설정은 지점당 30초와 8~128개 구간 예산을 제시하며, 더 촘촘한 설정은 시간과 저장공간을 더 쓴다.

짧게 지나가는 자막이나 손동작을 찾는 업무에서는 이 차이가 크다. 영상 파일을 찾는 데 성공해도 원하는 사건이 샘플 사이에 있으면 검색에서 빠질 수 있다. 반대로 긴 인터뷰에서 대사를 찾는 경우에는 시각 임베딩보다 전사문 검색이 적합하다. 앱이 다양한 모드를 제공한다는 사실과 각 모드가 모든 자료에서 정확하다는 주장은 구분해야 한다.

로컬 처리와 한국어 지원은 별개다

프로젝트는 계정이나 미디어 업로드 없이 기기에서 추론한다고 설명한다. 기본 CLIP 가중치는 약 435MB이며, 선택형 로컬 채팅의 기본 Qwen3 1.7B는 약 1.1GB로 안내된다. 이는 다운로드 규모이지 전체 메모리 사용량이나 보장된 응답속도가 아니다. 실제 라이브러리 복사본, 썸네일, 전사문과 임베딩까지 더하면 저장공간은 별도로 늘어난다.

CLIP 공식 저장소는 이미지와 텍스트 표현을 연결하는 배경 자료다. 다만 CLIP을 쓴다는 이유만으로 한국어 질의 품질이 보장되지는 않는다. SCM의 OCR 설정에는 한국어가 포함되지만, 대사 전사의 기본 옵션은 tiny.en과 base.en으로 기재돼 있다. Whisper 공식 문서가 구분하는 영어 전용 모델이라는 점에서, 한국어 회의록 검색을 곧바로 약속할 수 없다.

또한 Tesseract 언어 데이터 문서는 언어팩 선택의 배경을 제공할 뿐, SCM의 한국어 OCR 정확도 벤치마크가 아니다. 한글 자막, 세로 글자, 작은 UI 문구는 실제 자료로 확인해야 한다. 로컬 실행 여부와 언어별 성능은 독립된 구매 조건이다.

경쟁력은 모델 크기보다 검색 결과의 설명력

SCM 문서는 검색 타일에 일치 이유를 표시하고, 대사 결과에서 해당 문장으로 이동하며, LLM 답변에는 누를 수 있는 근거 인용을 붙인다고 설명한다. 콘텐츠 제작자가 원하는 것은 멋진 요약보다 편집 원본으로 돌아가는 짧은 경로다. 이 점에서 로컬 AI 앱은 거대 모델의 지식량보다 탐색 비용을 얼마나 줄이는지로 경쟁할 여지가 있다.

로컬 결정을 다룬 Laya 분석처럼 생성이 필요 없는 작업에는 분류와 검색만으로 충분할 수 있다. 반면 색인을 처음 만들거나 모델을 바꾸면 전체 자료를 다시 처리하는 비용이 생긴다. Magnitude의 기기별 최적화 분석은 같은 모델이라도 하드웨어와 실행 경로가 경험을 좌우한다는 배경을 제공한다.

한국 콘텐츠팀의 도입 판단

추천하는 작은 실험은 승인된 샘플 자료에서 찾을 장면과 대사의 정답 위치를 미리 정한 뒤, 모드별 발견률과 찾는 시간을 비교하는 것이다. 이는 프로젝트의 공식 시험 기준이 아니라 도입을 위한 제안이다. 첫 색인 시간, 디스크 증가량, 삭제한 원본의 파생 데이터 처리도 함께 기록하면 운영 부담을 알 수 있다.

로컬 처리라고 해서 파일 접근권한까지 자동으로 최소화되는 것은 아니다. Mac 에이전트의 디스크 접근권한 분석에서 다룬 것처럼 필요한 폴더만 제공하고 색인 데이터도 관리 대상에 포함해야 한다. README에 설치 편의를 위한 격리 속성 해제 설명이 있는 만큼, 조직은 서명과 배포 경로를 자체 기준으로 검토하는 편이 좋다.

FAQ

클라우드에 영상을 올려야 하나?

프로젝트는 미디어 업로드 없이 로컬에서 처리한다고 설명한다. 다만 최초 모델 다운로드 등 네트워크 사용은 있으며, 이 글이 독립적인 통신 감사를 수행한 것은 아니다.

영상의 모든 프레임을 색인하나?

문서상 구현은 구간 대표 프레임을 사용한다. 설정에 따라 세밀함과 처리 비용이 달라지므로 짧은 장면 누락 가능성을 확인해야 한다.

한국어 대사도 바로 검색할 수 있나?

현재 문서의 기본 전사 모델은 영어 전용이다. 한국어 OCR 지원과 한국어 음성 전사 지원을 같은 것으로 보아서는 안 된다.

LLM 기능을 켜야 검색이 가능한가?

아니다. 채팅은 선택 기능이다. 파일·장면·OCR·대사 검색은 각자의 검색 경로를 갖는다.

기존 사진 앱을 완전히 대체하나?

공개 문서만으로 그렇게 판단할 수 없다. 원하는 자료의 검색 정확도, 색인 유지비, 백업과 삭제 동작을 먼저 비교해야 한다.