애플, 유휴 맥으로 내부 GPU 클라우드 구축 — AI추론 대기시간 단축

애플 연구진이 arXiv 논문을 통해 사내 유휴 맥(Mac)들을 활용하는 가상 GPU 클라우드 시스템 '미니언즈(Minions)'를 공개했다. 이 시스템은 10시간 넘게 걸리던 사내 GPU 대기열 작업을 네트워크에 연결된 맥들에 분산시켜 대기 시간을 수 분 단위로 줄인다. 미니언 서버·미니언 실행기·미니언 워치독으로 구성되며, 애플 실리콘 기반 AI 추론만 처리한다. 작업은 허깅페이스 트랜스포머 모델 임베딩과 올라마(Ollama)를 통한 LLM 텍스트 생성 두 종류로 나뉘고, 중앙 스케줄러 없이 각 맥이 REST API로 하위 작업을 직접 가져가는 풀 기반 방식으로 동작한다. 워치독은 5분마다 전송되는 하트비트를 추적해 맥이 절전·오프라인 상태가 되면 해당 작업을 대기열로 되돌린다.

이 글에 나온 것