Cluster de Mac : Kimi K2 Thinking fonctionne sur quatre Mac Studio

Apple a mis à jour son système d'exploitation macOS pour permettre la formation de clusters d'IA en connectant plusieurs ordinateurs Mac. La dernière version de macOS, nommée Tahoe, permet d'utiliser du matériel combiné avec une faible latence via l'interface IA propriétaire MLX d'Apple et le logiciel Exo Labs.

Lors d'une démonstration, Apple a connecté quatre Mac Studio M3 Ultra en réseau via Thunderbolt 5. Chaque machine était équipée de 512 Go de RAM. Cette configuration a permis d'exécuter localement le modèle d'IA Kimi K2 Thinking, développé par la société chinoise Moonshot AI, qui dépasse un téraoctet de taille. Le modèle est considéré comme étant presque au niveau de GPT-5.

Cependant, cette solution représente un coût considérable. Un seul Mac Studio M3 Ultra avec 512 Go de RAM et un SSD de 1 To coûte environ 11 674 euros. Un cluster de quatre de ces machines s'élèverait à près de 47 000 euros, offrant ainsi aux chercheurs et développeurs professionnels disposant d'un budget conséquent la capacité d'exécuter de grands modèles d'IA locaux.

La consommation électrique maximale du cluster a été enregistrée à 500 watts, soit un dixième de celle d'un cluster GPU comparable. Thunderbolt 5 permet un débit de données de 80 Gbit/s et une faible latence. Cette technologie peut également être appliquée au Mac Mini M4 Pro, plus abordable, bien que celui-ci soit limité à 64 Go de RAM par unité.