Tencent lanserar kostnadseffektiv AI-modell Hy4 flash
Tencent har presenterat Hy4 flash, en ny språkmodell optimerad för hög prestanda och minskade driftskostnader.
Tencent har officiellt lanserat Hy4 flash, en modell som kombinerar 224 miljarder totala parametrar med 12 miljarder aktiva parametrar per token. Systemet stöder multimodala indata och en kontextlängd på en miljon tokens, med fokus på att sänka API-priserna avsevärt för slutanvändare.
Genom optimeringar under förträning, efterträning och inferens har Tencent lyckats reducera KV-cache-storleken och optimera svarstiderna. Användningen av tekniker som 4-bitars kvantisering möjliggör en avkodningshastighet på över 150 tokens per sekund, vilket syftar till att underlätta storskalig driftsättning.
Interna utvärderingar visar att modellen presterar konkurrenskraftigt i vardagliga uppgifter som dokumentbearbetning och kodning. Hy4 flash har redan integrerats i Tencents ekosystem och företaget har uttryckt avsikten att göra modellen tillgänglig via öppen källkod framöver.