Mac-klusteri pyörittää Kimi K2 Thinking -tekoälymallia
Apple esitteli macOS Tahochen päivityksessä uuden tavan luoda tekoälyklustereita Mac-koneista Thunderbolt 5 -teknologian avulla. Neljä Mac Studiota pystyi pyörittämään Kimi K2 Thinking -mallia.
Apple on parantanut macOS-käyttöjärjestelmäänsä siten, että useista Mac-tietokoneista voidaan muodostaa tekoälyklustereita. Uusi macOS Tahoe -versio mahdollistaa yhdistetyn laitteiston hyödyntämisen pienellä viiveellä Apple MLX -rajapinnan ja Exo Labs -ohjelmiston avulla.
Demonstraatiossa Apple yhdisti neljä Mac Studio M3 Ultra -konetta Thunderbolt 5 -verkoksi. Jokaisessa koneessa oli 512 Gt muistia. Tällä kokoonpanolla pystyttiin ajamaan Kiinasta kotoisin olevan Moonshot AI:n yli teratavun kokoinen Kimi K2 Thinking -tekoälymalli. Malli on arvioitu lähes GPT-5:n tasoiseksi.
Ratkaisu on kuitenkin kallis. Yksi Mac Studio M3 Ultra 512 Gt muistilla ja 1 Tt SSD-levyllä maksaa noin 11 674 euroa. Neljän koneen klusterin hinnaksi muodostuu lähes 47 000 euroa. Apple tarjoaa tällä tavoin mahdollisuuden suuriin paikallisiin tekoälymalleihin tutkijoille ja ammattikehittäjille, joilla on riittävä budjetti.
Klusterin huipputehonkulutus oli 500 wattia, mikä on vain kymmenesosa verrattavasta GPU-klusterista. Thunderbolt 5 mahdollistaa 80 Gb/s tiedonsiirtonopeuden ja matalan viiveen. Samaa teknologiaa voidaan käyttää myös edullisemmilla Mac Mini M4 Pro -koneilla, joissa on kuitenkin vain 64 Gt muistia per yksikkö.