Apprentissage profond

John Samuel
CPE Lyon

Year: 2022-2023
Email: john(dot)samuel(at)cpe(dot)fr

Exemple: Tensorflow

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.optimizers import SGD

# Créer un modèle séquentiel
model = Sequential()
model.add(Dense(4, activation='relu', input_shape=(3,)))
model.add(Dense(units=2, activation='softmax'))

# Compilation du modèle
sgd = SGD(lr=0.01)
model.compile(loss='mean_squared_error',
   optimizer=sgd,metrics=['accuracy'])

Feedforward neural network

• Les connexions entre les nœuds ne forment pas un cycle
• Les informations se déplacent des nœuds d'entrée vers les nœuds de sortie, en passant par les nœuds cachés (le cas échéant).
• L'information ne circule que dans un seul sens, vers l'avant

Perceptron simple couche

Rétropropagation du gradient (Backpropagation)

• La rétropropagation est une méthode permettant d'ajuster les poids de connexion pour compenser chaque erreur constatée lors de l'apprentissage
• Le montant de l'erreur est effectivement réparti entre les connexions.
• calcule le gradient de la fonction de perte par rapport aux poids du réseau pour un seul exemple d'entrée-sortie.
• fonctionne en calculant le gradient de la fonction de perte par rapport à chaque poids selon la règle de la chaîne

Réseau de neurones récurrents

• Un réseau de neurones où les connexions entre les nœuds forment un graphe dirigé le long d'une séquence temporelle, lui permettant de présenter un comportement dynamique temporel.
• Ils peuvent utiliser leur état interne (mémoire) pour traiter des séquences d'entrées de longueur variable
• Applications
  • la reconnaissance de l'écriture manuscrite
  • la reconnaissance vocale

Réseau de neurones récurrents

Réseau récurrent à mémoire court et long terme

Long short-term memory (LSTM) network

Réseau récurrent à mémoire court et long terme

Long short-term memory (LSTM) network

• LSTM a des connexions de retour d'information
• Une unité LSTM commune est composée d'une cellule, d'une porte d'entrée, d'une porte de sortie et d'une porte d'oubli.
• La cellule se souvient de valeurs sur des intervalles de temps arbitraires et les trois portes régulent le flux d'informations entrant et sortant de la cellule.

Réseau récurrent à mémoire court et long terme

Long short-term memory (LSTM) network

• LSTM a des connexions de retour d'information

Réseaux de neurones convolutionnels

Réseaux de neurones convolutionnels

• Analyse des images
• Utilise la convolution, une opération mathématique linéaire
• Une couche d'entrée et une couche de sortie
• Plusieurs couches cachées, constituées de couches convolutives

Réseaux de neurones convolutionnels

• Ils considèrent le modèle hiérarchique des données et assemblent des modèles plus complexes en utilisant des modèles plus petits et plus simples.
• Un réseau neuronal convolutif est constitué d'une couche d'entrée et d'une couche de sortie, ainsi que de plusieurs couches cachées.
• Les couches cachées d'un CNN consistent généralement en une série de couches convolutionnelles qui se convoluent avec une multiplication
• La fonction d'activation est généralement une couche RELU, et est ensuite suivie par des convolutions supplémentaires telles que des couches de regroupement, des couches entièrement connectées et des couches de normalisation

Articles de recherche

• [Aly 2005] Aly, Mohamed. Survey on Multiclass Classification Methods. 2005.
• [Jaakkola 2019] Jaakkola, H., et al. “Artificial Intelligence Yesterday, Today and Tomorrow.” 2019 42nd International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO), 2019, pp. 860–67. IEEE Xplore
• [Pan 2016] Pan, Yunhe, “Heading toward Artificial Intelligence 2.0.” Engineering, vol. 2, no. 4, Dec. 2016, pp. 409–13. www.sciencedirect.com,

Web

• https://en.wikipedia.org/wiki/Perceptron
• https://en.wikipedia.org/wiki/Multiclass_classification
• http://scikit-learn.org/stable/
• https://en.wikipedia.org/wiki/Multilayer_perceptron
• https://en.wikipedia.org/wiki/Feedforward_neural_network
• https://en.wikipedia.org/wiki/Recurrent_neural_network
• https://en.wikipedia.org/wiki/Long_short-term_memory
• https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.Perceptron.html
• https://en.wikipedia.org/wiki/Activation_function

Couleurs

• Color Tool - Material Design

Images

• Wikimedia Commons