AMD veut briser la dominance Cuda avec ROCm 7

AMD met à disposition une nouvelle version de la plateforme logicielle ROCm. La nouvelle version prend en charge l’inférence distribuée, de nouveaux formats de précision et des outils d’entreprise pour la gestion.

AMD annonce la disponibilité de ROCm 7. ROCm est une plateforme logicielle qui prend en charge les puces IA d’AMD et constitue la réponse à Nvidia Cuda. Avec ROCm 7.0, AMD se concentre sur la complexité et l’échelle croissantes des charges de travail IA.

La mise à jour est optimisée pour les nouveaux GPU Instinct MI350, basés sur l’architecture CDNA 4. Ces GPU disposent d’une bande passante mémoire élevée et de cœurs de calcul améliorés pour l’entraînement et l’inférence IA intensifs.

IA à grande échelle

ROCm 7.0 introduit la prise en charge de types de données de faible précision tels que FP4, FP6 et FP8, qui offrent de meilleures performances et des exigences mémoire réduites. Des exemples de modèles pris en charge sont DeepSeek R1, Llama 3.3 70B et gpt-oss-120b. Ceux-ci sont disponibles via AMD Quark.

Pour un démarrage rapide, AMD propose des images Docker préconstruites pour des frameworks tels que vLLM et SGLang. Ces conteneurs sont adaptés aux GPU Instinct MI355, MI350, MI325 et MI300, et permettent l’évaluation directe des modèles.

Diviser pour régner

ROCm 7.0 étend les capacités d’inférence distribuée. Cela signifie que vous répartissez les modèles sur plusieurs GPU, ce qui améliore la scalabilité et le temps de réponse. Des frameworks comme SGLang prennent en charge cette approche et utilisent des techniques d’optimisation telles que Mixture of Experts (MoE) et de nouveaux formats de précision.

Pour les entreprises, AMD introduit deux nouveaux outils : un Resource Manager et l’AI Workbench. Le Resource Manager simplifie la gestion des ressources GPU dans les environnements Kubernetes et Slurm, tandis qu’AI Workbench offre une plateforme de développement et de déploiement pour l’entraînement et l’ajustement fin des modèles. Les deux outils sont conçus en tenant compte de la scalabilité et de l’intégration dans les architectures d’entreprise existantes.

Battre Cuda (et Nvidia)

AMD tente depuis longtemps de briser la dominance IA de Nvidia. Sortir des puces et accélérateurs équivalents n’est qu’une partie du puzzle, et AMD semble progressivement s’en rendre compte. La force de Nvidia réside dans la fermeture complète de l’écosystème.