Les hackathons GPU permettent à des équipes de trois ou quatre développeurs ou chercheurs d'améliorer les performances de leurs codes HPC ou IA sous la houlette d'un ou plusieurs mentors, experts en programmation GPU et issus des universités, de laboratoires nationaux, de centres de calcul, d'institutions gouvernementales et de constructeurs.
Vous aurez à cette occasion accès aux ressources de calcul de l'IDRIS, afin de pouvoir tester votre code sur des GPU récents allant jusqu'aux NVIDIA H100.
Pour les projets HPC, il peut aussi bien s'agir de commencer le portage d'un code sur GPU en utilisant OpenACC, OpenMP, Kokkos, des bibliothèques GPU, CUDA, etc que d'optimiser une implémentation GPU existante. Dans le cas d'un code de taille importante, il est recommandé de préparer une mini-application représentative pour pouvoir être plus efficace pendant l'événement.
Pour les projets d'IA, ce hackathon offre une occasion unique d’explorer le finetuning, le développement ou l’évaluation de modèles de pointe tels que les LLM et les applications GenAI. Vous pourrez optimiser vos modèles grâce à des techniques avancées comme la précision mixte, la parallélisation multi-GPU ou multi-nœuds (DDP, PP, TP, CP), en utilisant des frameworks de base comme PyTorch ou TensorFlow, ou des outils spécialisés tels que DeepSpeed, Megatron-LM, Nanotron ou encore NVIDIA NeMo. Bien qu'un préentraînement complet soit hors de portée dans la durée du hackathon, préparer un code de préentraînement pour des modèles de grande échelle reste possible.
Pour vous inscrire : https://www.openhackathons.org/s/siteevent/a0CUP00000sO9LV2A0/se000364.
La date limite d'inscription est le 4 mars 2025.