LG Uplus och OptAI samarbetar kring optimering av AI-tokens
Sydkoreanska telekombolaget LG Uplus och AI-specialisten OptAI har inlett ett samarbete för att utveckla ny teknik. Syftet är att öka effektiviteten i AI:s databehandling och samtidigt minska användningen av beräkningsresurser som GPU:er.
Det sydkoreanska telekommunikationsföretaget LG Uplus har meddelat ett strategiskt partnerskap med OptAI, ett företag specialiserat på optimering av AI-modeller. Samarbetet fokuserar på att utveckla teknik för att förbättra effektiviteten hos de datatoken som AI-system bearbetar. Målet är att öka AI:ns bearbetningshastighet samtidigt som användningen av grafikkort (GPU) och energiförbrukningen minskar avsevärt.
Tokens utgör de grundläggande dataenheterna som AI använder vid hantering av användarförfrågningar och generering av svar. OptAI kommer att fokusera på att utveckla lättare och snabbare verktyg för exekvering av AI-modeller, medan LG Uplus kommer att använda sin egen AI-tjänsteoperation för att testa och implementera den nya tekniken.
I tidigare arbeten med en liten språkmodell baserad på LG AI Researchs Exaone-modellfamilj lyckades företagen få modellen att köras på smartphone-processorer (NPU). Enligt rapporter uppnådde detta en prestanda jämförbar med CPU-baserade metoder, men minskade energiförbrukningen med 78 procent och modellstorleken med 82 procent.
Nu utvidgar företagen sitt arbete till GPU-miljöer för servrar. LG Uplus uppskattar att den nya tekniken kan möjliggöra upp till fyra gånger fler tokens som bearbetas på en enda GPU jämfört med befintliga metoder. Detta kan leda till betydande förbättringar i effektivitet och skalbarhet för datacenter som används för AI-applikationer.