Réseaux de neurones et Deep Learning : comprendre en profondeur pour concevoir, entraîner et déployer ses modèles en connaissance de cause

Contenu de la formation

• Partie 1 — Du neurone au réseau : comprendre la mécanique (apports théoriques)

  • Positionnement IA / ML / DL: définitions, familles de tâches, panorama des usages industriels et critères pour décider (ou non) de recourir au deep learning.
  • Le neurone formel: du modèle statique au perceptron apprenant; formalisation mathématique, panorama des fonctions d’activation, liens avec les régressions linéaire et logistique, et limite fondamentale du perceptron.
  • Le perceptron multicouche (MLP) : pourquoi empiler des couches, rôle indispensable de la non-linéarité, théorème d’approximation universelle

• Partie 1 — Du neurone au réseau : comprendre la mécanique (ateliers et travaux pratiques)

  • Établir pas à pas le calcul du gradient sur un cas simple de classification, puis le vérifier en Python pour assimiler durablement le principe de la descente de gradient.
  • Apprentissage des poids : fonctions de coût, principes de la descente de gradient, règle de la chaîne et rétropropagation expliquée pas à pas.
  • Implémentation d’un réseau, sans bibliothèque spécialisée, pour un problème de régression. Mettre en évidence ses limites ainsi que l’effet des fonctions d’activation et de la profondeur.

• Partie 2 — Entraîner, régler, diagnostiquer : maîtriser la boîte noire (apports théoriques)

  • Choisir la sortie et la fonction de coût adaptées : MSE, cross-entropy, softmax, etc. adéquation de la fonction de coût à la tâche.
  • Le sur-apprentissage et ses parades : apprentissage par mini-batch, régularisation L1 / L2, dropout, early stopping, batch normalization, etc.
  • Les difficultés de l’optimisation par le gradient : minima locaux, plateaux, points-selles; heuristiques modernes (décroissance du taux d’apprentissage, momentum, AdaGrad, RMSProp, Adam); disparition et explosion du gradient, rôle de l’initialisation et de la normalisation.

• Partie 2 — Entraîner, régler, diagnostiquer : maîtriser la boîte noire (ateliers et travaux pratiques)

  • Construction et entraînement d’un MLP en PyTorch sur données réelles: apprentissage par mini-lots, comparaison d’optimiseurs, effet des régularisations, réglage des hyperparamètres et bonnes pratiques (découpage entraînement / validation / test, reproductibilité).
  • Interpréter et diagnostiquer des courbes d’apprentissage (entraînement / validation). Reconnaître le sur- et le sous-apprentissage, taux d’apprentissage mal réglé, etc. ; méthodologie de réglage des hyperparamètres.

• Partie 3 – Architectures profondes (CNN, RNN, autoencodeurs, Transformers) (apports théoriques)

  • Réseaux convolutifs (CNN) : intuition de la convolution et du pooling, partage de poids et invariances, raisons de leur efficacité sur l’image et le signal ; architectures de référence et transfer learning.
  • Réseaux récurrents (RNN) : spécificité des données séquentielles, RNN / LSTM / GRU et leurs limites.
  • Transformers et mécanisme d’attention : intuition de l’attention, raisons pour lesquelles les Transformers ont largement supplanté les RNN sur les séquences et s’imposent aussi en vision (ViT).
  • Autoencodeurs : principe encodeur-décodeur ; usages industriels (réduction de dimension, détection d’anomalies, débruitage, compression, etc.).

• Partie 3 – Architectures profondes (CNN, RNN, autoencodeurs, Transformers) (ateliers et travaux pratiques)

  • Classification d’images avec un CNN et transfer learning (PyTorch).
  • Modèle séquentiel (RNN / LSTM) sur série temporelle / court corpus de texte.
  • Détection d’anomalies par autoencodeur (PyTorch) : un schéma directement transposable à la maintenance prédictive et au contrôle qualité.

• Partie 4 – Efficacité des réseaux de neurones (apports théoriques)

  • Métriques d’efficacité : énergie consommée et empreinte carbone, temps de calcul et latence, mémoire et taille du modèle, nombre d’opérations, etc.
  • Entraînement et inférence : coût ponctuel de l’entraînement vs coût récurrent de l’inférence, et leviers d’optimisation associés ; vue d’ensemble des grandes familles d’approches.
  • Focus sur la compression de modèles : élagage (pruning) structuré ou non structuré, quantification, distillation de connaissances, etc.
  • Focus sur la conception et recherche d’architectures efficaces : recherche automatique d’architecture (NAS), neural growing, etc.
  • Aperçu des autres familles de solutions pour l’efficacité.

• Partie 4 – Efficacité des réseaux de neurones (ateliers et travaux pratiques)

  • Compression d’un réseau (PyTorch) : à partir d’un modèle déjà entraîné, appliquer et comparer plusieurs techniques de compression, avec mesure du compromis taille / latence / performance.
  • Synthèse et clôture : Quel modèle et quelle architecture pour quel problème, grille de choix des hyperparamètres, points de vigilance pour la mise en production (coût de calcul, sobriété, robustesse).