Un développeur utilise une PS5 piratée comme serveur IA local

Un développeur, abhi245y, a adapté une console PlayStation 5 modifiée pour fonctionner comme un serveur d'IA local. Le projet, baptisé PS5LM Plus, permet l'exécution de grands modèles de langage, tels que le Qwen3.8-27B de 27 milliards de paramètres, directement sur le GPU de la console.

Les premières versions du projet PS5LM reposaient principalement sur le CPU, atteignant des vitesses d'environ un token par minute pour le modèle à 27 milliards de paramètres. Cette amélioration utilise les pilotes open-source d'AMD et l'interface de calcul Vulkan, augmentant la mémoire utilisable d'environ 6 Go à 11,4 Go. Cela permet le fonctionnement de versions fortement quantifiées de grands modèles.

Bénéficiant de la bande passante mémoire substantielle de la PS5 (448 Go/s), le modèle Qwen3.8-27B peut atteindre des vitesses de génération de 20,9 tokens par seconde. Lors des tests, l'utilisation du GPU a atteint 100 %, tandis que l'utilisation du CPU est restée à seulement 2 %. Des modèles plus petits, comme Gemma 4 E4B, peuvent atteindre des vitesses allant jusqu'à 61 tokens par seconde.

PS5LM Plus comprend également une interface de chat basée sur le web et un service API accessible via le port LAN 8081. Il prend en charge les formats API OpenAI et Anthropic, facilitant l'intégration avec divers outils. Bien que cela démontre le potentiel matériel de la PS5 au-delà du jeu, les 16 Go de mémoire unifiée de la console imposent toujours des limites sur la sélection et la qualité des modèles. La modification de la console nécessite un jailbreak, ce qui comporte des risques de bannissement de la console ou du compte PSN.