Un chercheur d'OpenAI salue la solution d'inférence IA d'AMD et Cerebras

Une nouvelle solution d'inférence IA développée par AMD en partenariat avec Cerebras a reçu les éloges du chercheur d'OpenAI, Jeffrey Wang, qui a qualifié ses performances d'"incroyables". La solution est conçue pour traiter des scénarios d'inférence IA à latence ultra-faible, combinant la solution rack Helios d'AMD avec la technologie de moteur à l'échelle de la plaquette de Cerebras.

Le système Helios est destiné à servir de moteur de débit performant et évolutif, gérant principalement le traitement des invites et les grandes fenêtres de contexte. Le moteur à l'échelle de la plaquette de Cerebras se concentre sur les étapes de génération et de décodage de jetons, qui nécessitent une bande passante mémoire considérable et exigent une latence ultra-faible. Utilisé conjointement, le système est estimé pouvoir multiplier par cinq le débit de jetons par watt.

M. Wang a souligné la vitesse impressionnante de la solution, affirmant que des tâches qui prenaient auparavant plusieurs minutes sont maintenant accomplies "instantanément" lors de l'exécution de certains modèles OpenAI sur les puces Cerebras. Cette amélioration significative de la vitesse accroît directement l'efficacité du travail pour les chercheurs et les développeurs.

La collaboration entre AMD et Cerebras vise à offrir une alternative compétitive sur le marché du matériel d'IA, en particulier face aux offres de NVIDIA et Groq. L'accent mis sur l'inférence à faible latence est crucial à mesure que les applications d'IA deviennent plus sophistiquées et nécessitent des temps de réponse plus rapides.

Cette évolution intervient alors que la demande de matériel d'IA efficace continue de croître. Le partenariat devrait renforcer la position d'AMD dans le secteur de l'IA en proposant des solutions spécialisées pour des tâches informatiques exigeantes.