Prefrontal-Labor präsentiert neue Methode zur Beschleunigung von KI-Modellen
Die Forscher von Prefrontal haben eine Methode vorgestellt, um die Verarbeitungsgeschwindigkeit von KI-Systemen bei der Analyse großer Datenmengen zu erhöhen.
Professor James Whittington und Dr. Ruairidh Battleday, Mitbegründer des britischen KI-Forschungslabors Prefrontal, haben eine neue Methode namens Latent Sparse Attention (LSA) vorgestellt. Ziel des Verfahrens ist es, die Rechenaufwände bei sogenannten Aufmerksamkeitsmechanismen zu reduzieren, die derzeit die Verarbeitungskapazität von KI-Modellen bei großen Kontextfenstern begrenzen.
Anstatt Millionen von Dateneinheiten sequenziell zu durchsuchen, organisiert die LSA-Methode Informationen nach ihrer inhaltlichen Bedeutung. Laut den Forschungsergebnissen ermöglicht dies eine bis zu 72,4-mal schnellere Verarbeitung in den Aufmerksamkeitsschichten im Vergleich zu herkömmlichen Methoden, ohne die Genauigkeit signifikant zu beeinträchtigen. Dies ist für den Einsatz von KI in der wissenschaftlichen Forschung von Bedeutung, da dort oft riesige Datenmengen korreliert werden müssen.
Die Entwicklung schließt an das Projekt DiG-bench an, mit dem die Forscher bereits die Fähigkeit von KI-Systemen untersuchten, durch Experimente neue Erkenntnisse zu gewinnen. Die Ergebnisse verdeutlichten die Defizite aktueller Modelle bei der autonomen Regelfindung im Vergleich zum menschlichen Lernen.
Das in der Stealth-Phase operierende Labor Prefrontal konzentriert sich auf die Entwicklung von KI-Architekturen, die von menschlichen kognitiven Prozessen inspiriert sind. Die nun vorgestellte Technologie soll als Grundlage für zukünftige Anwendungen dienen, die komplexere wissenschaftliche Aufgaben bewältigen können.