CUDA Tile est une nouvelle couche de programmation de Nvidia pour faciliter la programmation GPU.
CUDA Tile permet d’écrire des algorithmes à un niveau d’abstraction plus élevé, indépendamment du matériel comme les cœurs tensoriels. NVIDIA lance cette technologie dans le cadre de CUDA 13.1.
Nouveau modèle de programmation pour GPU
CUDA Tile est une nouvelle couche de programmation dans la plateforme CUDA existante de Nvidia. Cette couche introduit un modèle où les développeurs écrivent des algorithmes basés sur des ‘tuiles’, ou blocs de données. Le compilateur et le runtime s’occupent ensuite de l’exécution sur le matériel sous-jacent, comme les cœurs tensoriels. Cela devrait faciliter le développement de code performant sur différentes architectures GPU, sans que le développeur ait à se préoccuper des détails matériels.
CUDA Tile constitue une alternative au modèle SIMT (single-instruction, multiple-thread) existant, qui offre un contrôle fin sur le parallélisme GPU, mais implique aussi une plus grande complexité. Au lieu d’attribuer manuellement les données aux threads et aux blocs, le développeur divise les données en blocs plus grands, que le compilateur attribue ensuite. L’idée est similaire à la façon dont les bibliothèques Python comme NumPy travaillent avec les matrices.
Couche sous-jacente et intégration avec les outils existants
La technologie est construite autour de CUDA Tile IR (intermediate representation), un jeu d’instructions virtuel qui prend en charge les opérations sur les tuiles. Cette nouvelle couche fonctionne aux côtés de PTX qui supporte les programmes SIMT actuels. CUDA Tile IR est destiné aux développeurs de compilateurs, de bibliothèques ou de langages spécifiques à un domaine. Pour la plupart des programmeurs, l’utilisation se fera via des couches logicielles supérieures, comme cuTile Python de Nvidia.
CUDA Tile est compatible avec les générations actuelles et futures de matériel Nvidia équipé de cœurs tensoriels. La technologie ne remplace pas SIMT, mais offre une option de programmation complémentaire. Les développeurs peuvent combiner les deux modèles selon la nature de leur application.
CUDA Tile est disponible à partir de CUDA 13.1. La documentation, le code d’exemple et le logiciel sont disponibles sur la page officielle CUDA Tile de Nvidia.