🧠 Visualisation des méthodes de descente de gradient

Comparez SGD, BGD et Mini-batch GD avec 4 échantillons et 2 lots

Échantillon 1
Entrée : [0,2, 0,8, 0,5, 0,3]
Objectif : [0,9, 0,1]

Échantillon 2
Entrée : [0.7, 0.3, 0.6, 0.4]
Objectif : [0.2, 0.8]

Échantillon 3
Entrée : [0.4, 0.6, 0.2, 0.7]
Objectif : [0.8, 0.2]

Échantillon 4
Entrée : [0.9, 0.1, 0.8, 0.2]
Objectif : [0.3, 0.7]

Lot 1 : Échantillons 1-2 | Lot 2 : Échantillons 3-4

SGD

Prêt

Mises à jour des poids : 4 par époque (une après chaque échantillon)
Processus : Pour chaque échantillon → Passage avant → Passage arrière → Mise à jour immédiate des poids
Avantages : Mises à jour rapides, peut échapper aux minima locaux, adapté aux grands jeux de données
Inconvénients : Estimations du gradient bruyantes, convergence instable

Échantillon actif

Dans le lot courant

Activation forte

Flux du gradient

Mise à jour des poids