Uudet muistiratkaisut parantavat tekoälyn suorituskykyä 82%
Tutkijat ovat esitelleet V-Die- ja MOSAIC-muistiratkaisuja, jotka parantavat tekoälykiihdyttimien kaistanleveyttä ja jäähdytystä. V-Die saavuttaa 82,43 % paremman suorituskyvyn kuin HBM4.
Tutkimusryhmä on esitellyt kaksi uutta muistiratkaisua, V-Die ja MOSAIC, jotka on suunniteltu ratkaisemaan tekoälykiihdyttimien kohtaamia muistin jäähdytys- ja kaistanleveysongelmia. Nämä ratkaisut pyrkivät parantamaan merkittävästi tekoälylaitteiden suorituskykyä.
V-Die-ratkaisun keskeinen innovaatio on DRAM-sirujen pystysuora sijoittaminen perinteisen pinoamisen sijaan. Tämä menetelmä vähentää pinoamisesta aiheutuvaa lämpökuormaa. V-Die eliminoi TSV-rakenteet (Through-Silicon Via) ja käyttää sen sijaan sirujen alareunan I/O-liitäntöjä. Sirujen väliin on lisätty nestemäisen jäähdytyksen kanavat.
Tutkimuksen mukaan V-Die saavutti GPT-3-skaalaisessa työkuormassa 540 tokenia sekunnissa, mikä on 82,43 % enemmän kuin HBM4-muistin 296 tokenia sekunnissa. Lisäksi muistin lukuaika lyheni 37 %, ja simulaatiot osoittivat ensimmäisen tokenin viiveen laskeneen 32 % verrattuna H100-tason laitteisiin.
MOSAIC-ratkaisun, jota johti Tokion yliopisto, tavoitteena on parantaa sivusuunnassa pinottujen sirujen valmistettavuutta. Se hyödyntää ortogonaalista sirujen pinoamista ja kontaktitonta sirujen välistä yhteydenmuodostusta, jossa metallikontaktien sijaan käytetään mikroskooppisia induktiokeloja. Ratkaisun on raportoitu mahdollistavan jopa kaksi kertaa HBM4-tason kapasiteetin DRAM-on-GPU-rakenteissa.