Theory and practice of large language models

6 ECTS | Validation : CC + examen | Mutualisé avec : M1 LI (Linguistique)

(Cours en anglais)

Ce cours explore la théorie et la pratique des grands modèles de langage (LLMs). Les étudiants étudieront l’architecture des transformers, les mécanismes d’attention, les techniques de pré-entraînement et de fine-tuning, ainsi que les applications pratiques et les considérations éthiques liées à l’utilisation des LLMs.

Sujets abordés

• Architecture des transformers
• Mécanismes d’attention
• Techniques de pré-entraînement
• Fine-tuning et adaptation de domaine
• Applications pratiques des LLMs
• Considérations éthiques et limitations
• Évaluation et métriques
• Tendances futures