엔비디아 PAIR, PC 유휴 GPU 활용해 에이전틱 추론 분산

엔비디아가 가정이나 사무실 내 여러 PC의 유휴 GPU 자원을 활용해 AI 추론 작업을 분산 처리하는 무료 오픈소스 소프트웨어 'PAIR'를 공개했다. 엔비디아는 미국 가정 중 절반 이상이 PC를 두 대 이상 보유하고 있지만 상당한 연산 성능이 활용되지 않고 있다고 설명했다. PAIR는 올라마, LM스튜디오를 지원하며 내부 네트워크에 연결된 PC들에 에이전틱 AI 관련 작업을 나눠 처리하는 방식으로 작동한다. 다만 여러 PC의 GPU 메모리를 하나로 합쳐 사용하는 방식은 아니며, 개별 추론 요청은 특정 시스템에서 처리된다. 지포스 RTX 20 시리즈 이후 GPU와 RTX 프로 워크스테이션 GPU, DGX 스파크, 애플 M4 이후를 지원하고 윈도·맥OS·리눅스에서 이용할 수 있다.

이 글에 나온 것