SenseTime veröffentlicht Open-Source-KI mit Layer-Wiederverwendung
SenseTime hat das Modell SenseNova Loop-9B-Preview vorgestellt, das durch die mehrfache Nutzung von Dekoder-Schichten die Verarbeitungstiefe erhöht.
Am 30. Oktober veröffentlichte SenseTime das Modell SenseNova Loop-9B-Preview, ein multimodales System mit etwa neun Milliarden Parametern. Durch das zweimalige Durchlaufen eines gemeinsamen Blocks von 24 Dekoder-Schichten erreicht das Modell eine höhere Rechentiefe, ohne die Anzahl der Modellgewichte zu verdoppeln.
Die Anwendung umfasst die Analyse von Dokumenten, das Schreiben von Programmcode sowie die Integration externer Werkzeuge. Das Modell unterstützt Kontexte von bis zu 262 144 Token, was für eine KI dieser Parametergröße bemerkenswert ist. Die Architektur zielt darauf ab, Effizienz bei der Verarbeitung komplexer Eingabedaten zu steigern.
SenseTime stellt die Modellgewichte, Inferenz-Anleitungen und Trainingshinweise unter der Apache 2.0-Lizenz zur Verfügung. Damit folgt das Unternehmen dem Trend, spezialisierte KI-Methoden der Entwicklergemeinschaft zur weiteren Erprobung und Anpassung zugänglich zu machen.