AI: Ny metod gör språkmodeller kapabla att se varje bokstav
Forskare har utvecklat ett sätt att omvandla AI-språkmodeller så att de kan bearbeta text bokstav för bokstav, vilket förbättrar deras förståelse för språkets struktur.
Forskare vid Ludwig-Maximilians-Universität München (LMU) har utvecklat en ny metod som gör det möjligt att omvandla stora språkmodeller (LLM) så att de kan bearbeta text som enskilda bokstäver, eller bytes. Traditionellt delar LLM:er upp text i ord eller ordfragment, vilket innebär att de inte direkt ser de enskilda bokstäverna. Denna nya "byteification"-process kräver mindre än en procent av den vanliga träningstiden och bibehåller större delen av den ursprungliga modellens prestanda.
Metoden åtgärdar en betydande begränsning i nuvarande språkmodeller som kämpar med uppgifter som kräver teckennivåförståelse, såsom att stava ett ord baklänges. De nya modellerna visar sig vara betydligt bättre på sådana uppgifter. Utvecklingen är ett viktigt steg mot en djupare förståelse av språk inom AI och kan öppna nya forskningsområden.
Forskningen, som även involverade forskare från Allen Institute for AI, University of Cambridge, University of Washington och Imperial College London, publicerades i den ansedda tidskriften Nature. De färdiga modellerna, koden och träningsdatan är offentligt tillgängliga, vilket främjar öppen vetenskap och fortsatt utveckling.
Valentin Hofmann, biträdande professor vid LMU München och studiens sisteförfattare, betonar att byte-baserade modeller har potential att övervinna långvariga brister hos LLM:er. Särskilt inom vetenskapliga tillämpningar, som att arbeta med kod eller biologiska sekvenser, är en korrekt representation av textens lågnivåstruktur avgörande.