Apple i samtal med startup som krymper AI-modeller för iPhone

Apple för samtal med ett litet Silicon Valley-baserat företag som hävdar att de kan krympa kraftfulla artificiell intelligens (AI)-modeller tillräckligt för att köras direkt på en iPhone, enligt företagets VD. PrismML, ett bolag backat av Khosla Ventures och en avknoppning från California Institute of Technology, har släppt komprimerade versioner av Alibabas open-source Qwen-modell. Företaget uppger att de har minskat modellens storlek från cirka 54 GB till under 4 GB, vilket möjliggör körning av alla 27 miljarder parametrar på en iPhone 15 eller nyare.

PrismML:s VD Babak Hassibi beskrev diskussionerna med Apple som mycket tidiga men framåtskridande. Tekniken utvärderas med avseende på hastighet, energieffektivitet och prestanda på enheter. Denna utveckling kan vara avgörande för att göra Siri snabbare och mer privat genom att behandla mer data lokalt på enheten istället för att skicka den till molnet. Detta skulle minska latensen, sänka molnkostnaderna och stärka Apples integritetsargument.

Om PrismML:s påståenden håller i verkliga tester, kan tekniken omforma efterfrågan på minne och datorkraft i datacenter. Analysten Carolina Milanesi från Creative Strategies menar att mindre modeller kan möjliggöra mer krävande funktioner direkt på iPhonen, såsom avancerad fotobehandling, videogenerering och hälsorelaterade verktyg som hanterar känslig personlig data.

PrismML komprimerar AI-modeller genom att förenkla lagringen av intern information, vilket minskar mängden minne som krävs. De komprimerade modellerna använder enligt företaget 10-15 gånger mindre minne, ger svar 6-8 gånger snabbare och förbrukar 3-6 gånger mindre energi. Hassibi medger dock en liten prestandaförlust på några procentenheter, där faktabaserad återkallelse försämras något.