local-ai 관련 AI 뉴스와 분석 기사를 모아놓은 토픽 페이지입니다.
Apple이 MLX와 Thunderbolt RDMA로 Mac Studio 여러 대에서 대형 모델을 실행한 결과를 공개했다. Muse Spark Open의 초당 36.73토큰이 나온 정밀도·문맥·장비 조건과 한국 개발팀이 비교할 지연·총비용을 분석한다.
분산 로컬 추론은 모델을 메모리에 담는 문제와 응답을 빠르게 만드는 문제를 나누어 봐야 한다. 장비 수보다 병렬화 방식과 요청 특성이 비용을 결정한다.
PS5LM이 탈옥한 PS5의 GPU에서 GGUF 모델을 실행하고 로컬 API를 제공한다. 개발자가 제시한 메모리·생성 속도와 공식 지원 여부를 구분하며, 한국 개발자가 유휴 하드웨어를 AI 서버로 재활용할 때 확인할 비용과 운영 조건을 분석한다.
이미 가진 하드웨어의 추론 가능성과 장기간 운영할 서버의 적합성은 다르다. 로컬 AI의 경제성은 토큰 속도뿐 아니라 메모리 여유와 유지보수에서 갈린다.
Tim Dettmers의 dlab은 소수 GPU와 로컬 장비로 125B·550B급 모델, 장기 에이전트, 자율 연구를 시연하겠다고 예고했다. 과감한 성능 주장과 작은 연구실의 전략을 검증 관점에서 분석한다.
작은 연구실의 경쟁력은 대규모 사전학습이 아니라 압축·추론·에이전트 하네스를 결합해 값싼 문제를 빠르게 푸는 데 있다. 다만 공개 전 성능 주장은 코드·모델·평가셋으로 재현돼야 한다.
Liquid AI의 LFM2.5-8B-A1B는 38T 토큰, 128K 컨텍스트, 도구 호출을 내세운 온디바이스 MoE 모델이다. 로컬 에이전트 경쟁을 분석한다.
Liquid의 새 모델은 로컬 모델이 단순 오프라인 챗봇을 넘어 도구 호출 에이전트가 되려는 흐름을 보여준다. 기업은 가장 큰 모델을 어디에 쓸지보다 작은 모델을 어디까지 믿고 배치할지를 정해야 한다.