Entwickler nutzt gehackte PS5 als lokalen KI-Server

Ein Entwickler namens abhi245y hat eine modifizierte PlayStation 5-Konsole so angepasst, dass sie als lokaler KI-Server fungiert. Das Projekt, PS5LM Plus genannt, ermöglicht die Ausführung großer Sprachmodelle, wie des Qwen3.8-27B mit 27 Milliarden Parametern, direkt auf der GPU der Konsole.

Frühere Versionen des PS5LM-Projekts nutzten hauptsächlich die CPU und erreichten bei dem Modell mit 27 Milliarden Parametern nur etwa ein Token pro Minute. Diese Verbesserung nutzt AMDs Open-Source-Treiber und die Vulkan-Compute-Schnittstelle, wodurch der nutzbare Speicher von etwa 6 GB auf 11,4 GB erhöht wird. Dies ermöglicht den Betrieb von stark quantisierten Versionen großer Modelle.

Dank der erheblichen Speicherbandbreite der PS5 (448 GB/s) kann das Qwen3.8-27B-Modell eine Generierungsgeschwindigkeit von 20,9 Tokens pro Sekunde erreichen. Während der Tests erreichte die GPU-Auslastung 100 %, während die CPU-Auslastung nur 2 % betrug. Kleinere Modelle wie Gemma 4 E4B können Geschwindigkeiten von bis zu 61 Tokens pro Sekunde erzielen.

PS5LM Plus bietet auch eine webbasierte Chat-Oberfläche und einen API-Dienst, der über den LAN-Port 8081 zugänglich ist. Es unterstützt die Formate der OpenAI- und Anthropic-APIs und erleichtert die Integration mit verschiedenen Werkzeugen. Obwohl dies das Potenzial der PS5-Hardware über das Spielen hinaus zeigt, begrenzt der 16 GB große vereinheitlichte Speicher der Konsole weiterhin die Modellauswahl und -qualität. Die Modifikation der Konsole erfordert Jailbreaking, was Risiken wie Sperrungen der Konsole oder des PSN-Kontos birgt.