Ant Group stellt KI-Modell Ling-3.1-flash als Open Source bereit

Ant Group hat die Gewichte seines KI-Modells Ling-3.1-flash zur Verfügung gestellt, sodass Entwickler es auf ihrer eigenen Infrastruktur einsetzen können. Das Modell verfügt über insgesamt rund 560 Milliarden Parameter, wobei etwa 25 Milliarden pro Token aktiviert werden, und unterstützt ein beachtliches Kontextfenster von bis zu einer Million Tokens.

Die Veröffentlichung folgt auf die frühere Einführung des Modells und beinhaltet Unterstützung für die Implementierung über gängige Inferenz-Frameworks wie SGLang und vLLM. Es richtet sich an Aufgaben wie Codierung, Agenten-Workflows und professionelle Anwendungen, die die Verarbeitung langer Dokumente und die Interaktion mit externen Tools erfordern.

Das Team von Ant Group hat zudem einen Ansatz für die Implementierung mit gemischter Präzision entwickelt, der den Speicherbedarf für die Modellgewichte erheblich reduziert, von etwa 534 GB auf 292 GB. In einer berichteten Hopper-GPU-Konfiguration verringerte diese Änderung die Anzahl der benötigten GPUs von acht auf vier.