Tencent veröffentlicht KI-Modell Hy4 flash mit Fokus auf Kosteneffizienz
Tencent hat mit Hy4 flash ein neues Sprachmodell vorgestellt, das durch Optimierungen in der Architektur Betriebskosten senken soll.
Tencent hat das KI-Modell Hy4 flash auf den Markt gebracht, das auf eine Gesamtparameterzahl von 224 Milliarden bei 12 Milliarden aktivierten Parametern pro Token setzt. Das Modell ist für multimodale Eingaben konzipiert, unterstützt eine Kontextlänge von einer Million Token und zielt darauf ab, die API-Kosten im Vergleich zu früheren Versionen deutlich zu reduzieren.
Die Effizienzgewinne basieren auf einer architektonischen Optimierung, bei der unter anderem die KV-Cache-Größe massiv reduziert wurde. Durch den Einsatz von 4-Bit-Quantisierung und speziellen Beschleunigungstechniken erreicht das System eine Dekodierungsgeschwindigkeit von über 150 Token pro Sekunde.
In internen Benchmarks zeigte sich, dass das Modell bei alltäglichen Aufgaben eine hohe Leistung bei signifikant geringeren Betriebskosten erbringt. Hy4 flash wurde bereits in mehrere Tencent-Dienste integriert; eine Open-Source-Veröffentlichung ist laut Unternehmensangaben in Planung.