PS5 해킹 LLM 구동, GPU 네이티브 전환으로 속도 향상

레딧 유저 AdIllustrious7246이 해킹된 PS5에서 llama.cpp를 구동하는 PS5LM 프로젝트를 포크해 네이티브 앱으로 전환했다. 기존 cobanov의 버전은 CPU 페이로드 방식으로 동작해 메모리가 약 6.25GiB로 제한됐지만, 이번 포크는 PS5_Vulkan 드라이버로 GPU를 직접 활용해 Qwen3.8-27B, Gemma 4 E4B, Llama 3.2 3B 등 모델을 더 빠른 속도로 돌릴 수 있게 됐다. 메모리 사용 가능량도 최대 11.4GiB로 늘었고, 토큰 생성 속도·GPU·CPU 사용률 등을 보여주는 대시보드와 브라우저 기반 웹UI도 추가됐다.

이 글에 나온 것