Un GPU SIMT compilé dans les poids d’un modèle de langage

qwenGPU est une démonstration technique où Vixhal (@TheVixhal) a inséré un processeur graphique SIMT (Single Instruction Multiple Thread) directement dans les poids du modèle Qwen3.5-2B. Contrairement aux approches classiques où le GPU est un composant matériel externe, ici, les 45 premières couches du modèle sont compilées en code CUDA (NVIDIA PTX), exécutable lors des passes avant (forward passes) sans nécessiter d’entraînement supplémentaire. Selon MarkTechPost, ces couches utilisent les architectures existantes de Qwen3.5-2B : des réseaux Gated DeltaNet pour simuler la mémoire et les registres du GPU, et des SwiGLU MLPs pour les calculs. Le résultat est un modèle capable de générer du code CUDA fonctionnel, comme en témoigne la reproduction exacte de 49 noyaux CUDA sur un NVIDIA Tesla T4 lors des tests.

qwenGPU compile un GPU SIMT directement dans les poids de Qwen3.5-2B, exécutant du CUDA réel lors des passes avant sans entraînement supplémentaire.

Fonctionnement technique : une émulation de GPU en temps réel

Le projet repose sur une architecture hybride où le modèle Qwen3.5-2B original (24 couches) est précédé de 45 couches compilées, totalisant 69 couches au total. Ces couches supplémentaires simulent un GPU avec des caractéristiques matérielles précises : des warps à 4 lanes, un pipeline à 4 étages, 15 registres par lane et 126 mots de mémoire globale, le tout géré via des états récurrents DeltaNet. Comme l’explique Vixhal sur X, le modèle écrit chaque étape du lancement CUDA, incluant les registres, les branches et les écritures mémoire, token par token. En mode avancé, qwenGPU génère un noyau CUDA correct dès la première tentative dans 4 cas sur 5, une performance soulignée par daily.dev.

Compatibilité et limites : une démonstration académique pour l’instant

qwenGPU est conçu comme une preuve de concept et non comme un runtime opérationnel. Il fonctionne sur des environnements variés : Apple silicon (avec une vitesse de 10 à 15 tokens/seconde sur MPS), NVIDIA GPU ou CPU, à condition de disposer de 16 Go de mémoire libre. La divergence textuelle par rapport au modèle original Qwen3.5-2B est minime (7e-4 en divergence de KL), selon MarkTechPost. Cependant, le projet présente des limites : aucune version quantifiée n’est disponible, et le modèle 2B reste peu fiable pour des applications critiques. Pour l’utiliser, un build local est nécessaire via la commande just build, avec des dépendances comme Python 3.11+, uv et clang pour le backend NVPTX.

Ce que cela change ici : vers des architectures IA-matériel plus intégrées en Afrique de l’Ouest

Pour les entreprises et administrations béninoises ou ouest-africaines utilisant des infrastructures critiques (centres de données, systèmes bancaires ou santé), qwenGPU ouvre des perspectives sur l’optimisation matérielle des modèles de langage. Une telle intégration pourrait réduire la dépendance aux GPU externes coûteux en embarquant une partie de la logique d’accélération directement dans le modèle, à condition de disposer de ressources suffisantes (16 Go de RAM minimum). Les acteurs locaux devront cependant évaluer la maturité du projet, encore expérimental, et son adéquation avec leurs besoins en termes de performance et de fiabilité. Les institutions publiques pourraient s’intéresser à ce type d’architectures pour des applications comme la traduction automatique ou l’analyse de données locales, où la latence et les coûts énergétiques sont des critères clés.