Apprentissage machine

John Samuel
CPE Lyon

Année: 2024-2025
Courriel: john(dot)samuel(at)cpe(dot)fr

Objectifs

1.2. Les fondements de l'IA

• 1.2.1. Logique et raisonnement
• 1.2.2. Représentation des connaissances
• 1.2.3. Agents intelligents
• 1.2.4. Apprentissage machine
• 1.2.5. Apprentissage profond

Logique et raisonnement

• Logique propositionnelle : La logique propositionnelle est un système formel qui permet de représenter et d'évaluer des propositions en utilisant des connecteurs logiques (comme ET, OU, NON) pour déterminer leur vérité.
• Logique du premier ordre : La logique du premier ordre, également appelée logique des prédicats, est une extension de la logique propositionnelle qui permet de représenter des propositions plus complexes en introduisant des variables, des constantes, des fonctions et des prédicats.
• Logique modale : La logique modale est une extension de la logique qui permet de représenter des notions de possibilité, de nécessité, de croyance et d'autres modalités.
• Raisonnement automatisé : Le raisonnement automatisé fait référence à l'utilisation de systèmes informatiques pour effectuer des inférences logiques et déduire de nouvelles informations à partir de connaissances existantes.
• Problèmes de décision et résolution de problèmes : Les problèmes de décision se réfèrent à des situations où une décision doit être prise parmi plusieurs options possibles, généralement sous contraintes. La résolution de problèmes implique la recherche d'une solution à un problème donné en utilisant des méthodes algorithmiques ou heuristiques pour atteindre un objectif spécifique.

Logique propositionnelle

Les propositions dans la logique propositionnelle sont des déclarations qui peuvent être vraies (V) ou fausses (F). Supposons que nous ayons deux propositions simples : P, Q. Nous pouvons utiliser des connecteurs logiques pour créer des propositions plus complexes à partir de ces propositions simples.

• NON (¬) : La négation (NON) inverse la valeur de vérité d'une proposition. Si P est vrai, alors NON P est faux, et si P est faux, alors NON P est vrai.
• ET (ET logique, ∧) : L'opérateur ET (ou ET logique) est vrai seulement si toutes les propositions connectées par ET sont vraies. Si P est vrai et Q est vrai, alors P ET Q est vrai. Sinon, P ET Q est faux.
• OU (OU logique, ∨) : L'opérateur OU (ou OU logique) est vrai si au moins l'une des propositions connectées par OU est vraie. Si P est vrai ou Q est vrai (ou les deux), alors P OU Q est vrai. Si les deux sont faux, alors P OU Q est faux.

Logique propositionnelle

• Implication (=>) : L'implication (=>) exprime une relation où la vérité de la première proposition entraîne la vérité de la seconde. Si P est vrai, alors P => Q est vrai, peu importe la valeur de Q. Si P est faux, alors P => Q est toujours vrai, car il ne dit rien sur Q.
• Équivalence (<=>) : L'équivalence (<=>) signifie que deux propositions ont la même valeur de vérité dans toutes les situations. Si P est vrai et Q est vrai, ou si P est faux et Q est faux, alors P <=> Q est vrai. Sinon, c'est faux.

Logique propositionnelle

Supposons que nous ayons quatre propositions simples : P, Q, R et S.

• P : Présence de l'eau.
• Q : Présence de sable.
• R : Présence d'oiseaux marins.
• S : Présence de bateaux.

Logique propositionnelle

Avec ces propositions, nous pouvons définir des règles pour déterminer si une image représente la mer :

• Si l'eau est présente (P), alors il est possible que l'image soit celle de la mer.
• Si en plus il y a du sable (Q), cela renforce la probabilité que l'image soit une plage de mer.
• Si des oiseaux marins sont présents (R), cela renforce également la probabilité que la scène soit liée à la mer.
• Si des bateaux sont visibles (S), cela suggère une forte probabilité que la scène soit maritime.

nous pouvons utiliser des opérateurs logiques pour combiner ces propositions et déterminer si l'image est celle de la mer :

Image de la mer : (P ET Q) OU (P ET R) OU (P ET S)

Logique du premier ordre

Contrairement à la logique propositionnelle, qui traite uniquement de la vérité ou de la fausseté de propositions simples, la logique du premier ordre permet de représenter des informations structurées sur des objets et leurs relations. Voici quelques concepts clés de la logique du premier ordre :

• Variables : Les variables sont des symboles qui représentent des objets ou des éléments non spécifiés d'un domaine. Elles sont utilisées pour généraliser des expressions et représenter des objets de manière générique.
• Constantes : Les constantes sont des symboles qui représentent des objets spécifiques et immuables d'un domaine.
• Fonctions : Les fonctions sont des opérations qui prennent un ou plusieurs arguments et renvoient un résultat.

Utilisez des parenthèses pour indiquer la priorité des opérations et la structure de la formule.

Logique du premier ordre

• Prédicats : Les prédicats sont des expressions qui décrivent des relations entre des objets ou des propriétés de ces objets.
• Quantificateurs : Les quantificateurs, tels que "pour tout" (∀) et "il existe" (∃), sont utilisés pour spécifier la portée de variables dans une expression.
• Opérateurs logiques : Les opérateurs logiques tels que "ET" (∧), "OU" (∨), "NON" (¬), "Implication" (=>), et "Équivalence" (<=>) sont utilisés pour combiner des propositions et construire des formules plus complexes.

Utilisez des parenthèses pour indiquer la priorité des opérations et la structure de la formule.

Logique du premier ordre

Exemple :

• Variables : une variable pourrait être représentée par "x", où "x" peut représenter n'importe quelle mer.
• Constantes : des constantes pourraient être "Mer Méditerranée", "Mer Noire" et "Mer Rouge" pour représenter des mers spécifiques.
• Fonctions : Nous pourrions utiliser une fonction "Profondeur(x)" pour représenter la profondeur de la mer x. Par exemple, "Profondeur(Mer Méditerranée)" pourrait renvoyer la profondeur de la mer Méditerranée.

Logique du premier ordre

Exemple :

• Prédicats : Un prédicat tel que "Salée(x)" pourrait toujours être utilisé pour indiquer si une mer donnée (x) est salée ou non. Par exemple, "Salée(Mer Méditerranée)" serait vrai car la mer Méditerranée est salée..
• Quantificateurs : Les quantificateurs définissent la portée des variables dans une expression logique.
  • "∀x Salée(x)" signifierait que toutes les mers sont salées.
  • "∃x Superficie(x) > 100 000 km²" signifierait qu'il existe une mer dont la superficie est supérieure à 100 000 kilomètres carrés.

Les fonctions sont utilisées pour attribuer des valeurs à des objets ou effectuer des opérations, tandis que les prédicats sont utilisés pour exprimer des relations ou des propriétés entre des objets et renvoient une valeur booléenne indiquant si la relation est vraie ou non.

Logique du premier ordre

Utilisons l'exemple des règles pour confirmer qu'une image représente effectivement une mer.

• Constantes : Nos constantes pourraient être les noms d'images spécifiques ou d'autres identifiants uniques pour des images particulières.
• Variables : Nous pourrions utiliser une variable, disons "x", pour représenter une image générique.
• Prédicats : Les prédicats sont des expressions qui décrivent des relations entre des objets ou des propriétés de ces objets.
  • Un prédicat "ContientEau(x)" pourrait être utilisé pour indiquer si l'image x contient de l'eau.
  • Un prédicat "ContientSable(x)" pourrait être utilisé pour indiquer si l'image x contient du sable.
  • Un prédicat "ContientBateaux(x)" pourrait être utilisé pour indiquer si l'image x contient des bateaux.
  • Un prédicat "ContientOiseauxMarins(x)" pourrait être utilisé pour indiquer si l'image x contient des oiseaux marins.
• Quantificateurs : Nous pourrions utiliser des quantificateurs tels que "∃x" (il existe une image) ou "∀x" (pour toutes les images) pour spécifier la portée de nos règles.

Logique du premier ordre

1. Pour déterminer si une image représente une scène de mer, nous pourrions utiliser une règle du type

∀x (ContientEau(x) ∧ ContientSable(x) => EstMer(x))

2. Nous pourrions également ajouter des règles spécifiques pour détecter des éléments spécifiques :

∀x (ContientBateaux(x) => EstPort(x))

∀x (ContientOiseauxMarins(x) => EstPlage(x))

Logique du premier ordre

3. Il existe au moins une image x telle que l'image contienne de l'eau et du sable.

∃x (ContientEau(x) ∧ ContientSable(x))

Logique modale

La logique modale est une extension de la logique classique qui permet de raisonner sur la notion de "modalités", c'est-à-dire des catégories de propositions qui expriment des modalités ou des qualités spécifiques, telles que la nécessité, la possibilité, l'obligation, la croyance, etc

Opérateurs modaux : Les opérateurs modaux sont utilisés pour exprimer des modalités. Les deux opérateurs modaux les plus courants sont :

• ◻ (carré) : Il exprime la nécessité, indiquant que quelque chose est nécessairement vrai.
• ◇ (losange) : Il exprime la possibilité, indiquant que quelque chose est possible, mais pas nécessairement vrai.

Logique modale

En logique modale, les termes "nécessaire", "contingent", "possible" et "impossible" sont utilisés pour décrire les modalités ou les qualités d'une proposition.

• Nécessaire : Une proposition est dite "nécessaire" si elle est vraie dans toutes les situations possibles, c'est-à-dire qu'elle ne peut pas être fausse dans aucune situation imaginable. En notation modale, on utilise l'opérateur "◻" (carré) pour représenter la nécessité. Ainsi, "◻(P)" signifie "Il est nécessaire que P soit vrai."
• Contingent : Une proposition est dite "contingente" si elle est vraie dans certaines situations possibles et fausse dans d'autres. En d'autres termes, sa vérité dépend du contexte ou des conditions. Les propositions contingentes ne sont ni nécessairement vraies ni nécessairement fausses.

Logique modale

• Possible : Une proposition est dite "possible" si elle est vraie dans au moins une situation possible, même si elle n'est pas nécessairement vraie dans toutes les situations possibles. En notation modale, on utilise l'opérateur "◇" (losange) pour représenter la possibilité. Ainsi, "◇(Q)" signifie "Il est possible que Q soit vrai."
• Impossible : Une proposition est dite "impossible" si elle est fausse dans toutes les situations possibles, c'est-à-dire qu'elle ne peut pas être vraie dans aucune situation imaginable. En notation modale, l'opérateur de négation "¬" peut être utilisé en conjonction avec l'opérateur de possibilité "◇" pour représenter l'impossibilité. Ainsi, "¬◇(R)" signifie "Il est impossible que R soit vrai."

Logique modale

Exemple

• Nécessaire : "◻(Toute mer est salée)" signifie que dans toutes les situations possibles, toutes les mers sont salées.
• Contingent : "◇(Il peut y avoir des mers calmes)" signifie qu'il est possible d'avoir des mers calmes, mais elles ne sont pas nécessairement calmes dans toutes les situations possibles.
• Possible : : "◇(Il est possible qu'il y ait des tempêtes en mer)" signifie qu'il est possible qu'il y ait des tempêtes en mer, mais elles ne sont pas nécessaires dans toutes les situations possibles.
• Impossible : "¬◇(Toutes les mers sont douces)" signifie qu'il est impossible que toutes les mers soient douces.

Raisonnement automatisé

Le raisonnement automatisé est un domaine de l'intelligence artificielle (IA) qui concerne la création de systèmes informatiques capables de tirer des conclusions logiques et de résoudre des problèmes de manière autonome, similaire à la manière dont les humains utilisent leur raisonnement pour résoudre des problèmes.

• Objectif : L'objectif principal du raisonnement automatisé est de permettre aux machines de prendre des décisions, de résoudre des problèmes et de répondre à des questions en utilisant des règles logiques et des connaissances préalables.
• Inférence logique : Les moteurs d'inférence sont des composants logiciels qui appliquent des règles logiques et des axiomes pour déduire de nouvelles informations à partir des connaissances existantes. Cela implique souvent l'utilisation de la logique formelle, telle que la logique propositionnelle, la logique du premier ordre ou la logique modale.

Raisonnement automatisé

Le raisonnement automatisé peut être expliqué en utilisant différentes logiques, notamment la logique propositionnelle, la logique du premier ordre et la logique modale.

• Raisonnement automatisé en logique propositionnelle : Les connaissances sont représentées sous forme de propositions atomiques et de règles logiques qui décrivent comment ces propositions sont liées. Les moteurs d'inférence en logique propositionnelle appliquent des règles logiques pour tirer des conclusions à partir des propositions existantes.
• Raisonnement automatisé en logique du premier ordre logique : Les connaissances sont représentées de manière plus expressive, ce qui permet de modéliser des relations complexes entre objets et d'exprimer des généralisations. Les moteurs d'inférence en logique du premier ordre utilisent des règles de déduction plus sophistiquées, notamment l'utilisation de quantificateurs tels que "∀" (pour tout) et "∃" (il existe).
• Raisonnement automatisé en logique modale : : Les connaissances sont représentées avec des opérateurs modaux pour exprimer des propriétés modales, ce qui permet de traiter l'incertitude et la nécessité. Les moteurs d'inférence en logique modale utilisent des règles modales spécifiques pour tirer des conclusions en tenant compte des modalités.

Introduction

La représentation des connaissances joue un rôle central dans la manière dont les systèmes informatiques comprennent, raisonnent et interagissent avec le monde. La représentation des connaissances désigne le processus de capture, de structuration et de stockage des informations et des connaissances de manière à les rendre utilisables par des systèmes informatiques. Cela implique de transformer des données brutes ou des concepts en une forme que les ordinateurs peuvent comprendre et exploiter pour résoudre des problèmes, prendre des décisions ou interagir avec les utilisateurs.

• Résolution de Problèmes : Une représentation adéquate des connaissances permet aux systèmes informatiques de modéliser des problèmes complexes et de les résoudre de manière efficace. Elle facilite la manipulation et la déduction logique des informations pertinentes.
• Prise de Décisions Les machines doivent comprendre le monde qui les entoure pour interagir avec lui de manière significative. Une représentation des connaissances permet de modéliser des concepts tels que les objets, les relations, les événements et les règles.
• Communication Homme-Machine Lorsque des systèmes IA interagissent avec des utilisateurs humains, une représentation des connaissances claire et conviviale est essentielle pour rendre ces interactions compréhensibles et productives.

Types de connaissances

Les types de connaissances peuvent être classés en plusieurs catégories, notamment les connaissances déclaratives, les connaissances procédurales, les connaissances explicites et les connaissances tacites.

• Connaissances déclaratives : Les connaissances déclaratives se rapportent à "ce que nous savons". Elles sont constituées de faits, d'informations et de déclarations qui décrivent le monde ou une partie de celui-ci. Ces connaissances sont souvent exprimées sous forme de propositions ou de déclarations qui peuvent être vraies ou fausses.
• Connaissances procédurales Les connaissances procédurales concernent "comment faire quelque chose". Elles sont liées aux compétences, aux savoir-faire et aux procédures nécessaires pour accomplir des tâches ou des activités spécifiques. Ces connaissances sont généralement implicites et liées à l'expérience pratique.

Types de connaissances

• Connaissances explicites Les connaissances explicites sont des connaissances qui sont clairement exprimées et documentées. Elles sont généralement formelles et structurées de manière à être transmises et partagées facilement. Ces connaissances sont souvent consignées dans des manuels, des livres, des bases de données, ou d'autres formes de documentation.
• Connaissances tacites Les connaissances tacites sont des connaissances qui sont difficiles à exprimer verbalement ou à documenter de manière formelle. Elles résident souvent dans l'expérience personnelle, l'intuition, ou les compétences pratiques. Ces connaissances sont souvent difficiles à transférer d'une personne à une autre et sont souvent acquises par l'expérience.

Représentation des connaissances déclaratives

Dans la représentation des connaissances déclaratives, les faits, les informations et les connaissances sont exprimés sous forme de propositions logiques.

• Logique propositionnelle
• Logique du premier ordre

Représentation des connaissances déclaratives

Graphes de Connaissances (Ontologies): Les ontologies sont des structures de données hiérarchiques qui organisent et hiérarchisent les connaissances en utilisant des concepts, des classes, des propriétés et des relations.

• Concepts : Les ontologies définissent des concepts qui représentent des entités ou des idées du monde réel.
• Classes : Les concepts sont souvent organisés en classes.
• Propriétés : Les ontologies spécifient des propriétés et des relations entre les concepts.
• Relations : Les ontologies capturent les relations entre les concepts.

Introduction

Les agents intelligents sont des entités logicielles ou matérielles capables de percevoir leur environnement, de prendre des décisions, et d'agir pour atteindre des objectifs spécifiques. Un agent intelligent est un système informatique ou une entité physique qui possède certaines caractéristiques clés :

• Perception : Un agent intelligent est capable de percevoir son environnement à travers des capteurs ou d'autres moyens. Il collecte des informations sur l'état du monde qui l'entoure.
• Raisonnement : L'agent intelligent peut traiter les informations perçues, effectuer des calculs, et prendre des décisions basées sur ces données. Il peut utiliser des algorithmes, des méthodes d'apprentissage automatique, ou des règles de raisonnement formelles pour cela.
• Action : En réponse à ses décisions, l'agent intelligent peut agir sur son environnement en utilisant des actionneurs ou en émettant des commandes. Ses actions ont pour objectif d'atteindre des buts ou des objectifs spécifiques.
• Objectifs : Les agents intelligents sont souvent dotés d'objectifs ou de buts à atteindre. Ces objectifs définissent ce que l'agent tente d'accomplir dans son environnement.

Types d'agents intelligents

Les agents intelligents peuvent être classés en différents types en fonction de leurs caractéristiques et de leurs capacités.

• Agents réactifs simples : Les agents réactifs simples sont des agents intelligents qui réagissent directement aux stimuli de leur environnement sans avoir une représentation interne complexe du monde.
  • Ils prennent des décisions en se basant sur des règles préétablies qui associent des entrées (perceptions) à des sorties (actions).
  • Ces agents sont souvent utilisés pour des tâches spécifiques où la réactivité immédiate est cruciale, comme dans la robotique industrielle.
  • Cependant, ils ont tendance à manquer de capacité à anticiper ou à planifier des actions à long terme en l'absence de modèles internes complexes du monde.

Types d'agents intelligents

• Agents basés sur des modèles : Les agents basés sur des modèles utilisent une représentation interne du monde, généralement sous forme de modèles ou de cartes conceptuelles, pour comprendre leur environnement.
  • Ils utilisent ces modèles pour anticiper les conséquences de leurs actions, planifier des séquences d'actions et prendre des décisions éclairées.
  • Ces agents sont couramment utilisés dans des domaines tels que la planification automatisée, la simulation, et la modélisation de systèmes complexes.
  • Ils sont plus flexibles que les agents réactifs simples, mais leur performance dépend de la qualité de leurs modèles et de la capacité à anticiper les résultats.

Types d'agents intelligents

• Agents basés sur les buts : Les agents basés sur les buts ont des objectifs ou des buts à atteindre, et leur comportement est guidé par la poursuite de ces buts.
  • Ils évaluent régulièrement l'état de l'environnement et déterminent les actions à entreprendre pour se rapprocher de leurs objectifs.
  • Ces agents peuvent planifier et ajuster leurs actions en fonction de l'évolution de la situation pour maximiser leurs chances de succès. Ils sont couramment utilisés dans des domaines tels que la planification de parcours, les systèmes de recommandation, et les agents d'assistance personnelle.

Types d'agents intelligents

• Agents hybrides : Certains agents intelligents combinent des caractéristiques de plusieurs types d'agents pour tirer parti des avantages de chacun.
  • Par exemple, un agent hybride pourrait être réactif dans des situations immédiates, mais basé sur des modèles ou basé sur des buts pour des tâches plus complexes ou à long terme.
  • L'hybridation permet de créer des agents plus polyvalents capables de s'adapter à une variété de scénarios.

3 approches

1. Apprentissage supervisé:
   • Un modèle est formé à partir d'un ensemble de données de formation qui sont étiquetées, c'est-à-dire que chaque exemple de données est associé à une étiquette ou une catégorie connue.
   • L'objectif du modèle est d'apprendre à faire des prédictions en utilisant ces étiquettes de manière à pouvoir généraliser et faire des prédictions précises sur de nouvelles données non vues.
   • Par exemple, la classification d'images, la prédiction de prix, et la détection de spam dans les emails.
2. Apprentissage non supervisé:
   • Il n'y a pas de données de formation labellisées.
   • Le modèle doit découvrir des structures, des modèles ou des regroupements dans les données par lui-même.
   • Par exemple, la segmentation de clients en groupes, la réduction de la dimensionnalité, ou la détection d'anomalies.

3 approches

3. Apprentissage semi-supervisé:
   • Il repose sur un petit ensemble de données de formation étiquetées et une grande quantité de données non étiquetées.
   • Le modèle utilise les données étiquetées pour apprendre à faire des prédictions, mais il peut également tirer parti des données non étiquetées pour améliorer sa performance.
   • Cela peut être particulièrement utile lorsque l'obtention de données étiquetées est coûteuse ou difficile.

Apprentissage profond

Dans l'apprentissage profond, le terme profond fait référence à la présence de multiples couches dans le réseau neuronal. Contrairement aux modèles plus simples, tels que les perceptrons monocouche, les réseaux profonds ont la capacité d'apprendre des représentations hiérarchiques complexes à partir de données brutes.

• Perceptron linéaire et XOR : Un perceptron linéaire simple ne peut pas être un classificateur universel. Il est incapable de résoudre des problèmes non linéaires complexes, comme le problème XOR. Cependant, en ajoutant des couches et des non-linéarités (fonctions d'activation) aux perceptrons, on peut construire des réseaux neuronaux capables de résoudre des problèmes plus complexes.
• Extraction progressive de caractéristiques : Une caractéristique clé de l'apprentissage profond est la capacité à extraire progressivement des caractéristiques complexes à partir de données brutes. Chaque couche du réseau peut apprendre des représentations de plus en plus abstraites, permettant au modèle de comprendre des niveaux de complexité croissants dans les données.

Articles de recherche

• [Aly 2005] Aly, Mohamed. Survey on Multiclass Classification Methods. 2005.
• [Jaakkola 2019] Jaakkola, H., et al. “Artificial Intelligence Yesterday, Today and Tomorrow.” 2019 42nd International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO), 2019, pp. 860–67. IEEE Xplore
• [Pan 2016] Pan, Yunhe, “Heading toward Artificial Intelligence 2.0.” Engineering, vol. 2, no. 4, Dec. 2016, pp. 409–13. www.sciencedirect.com,

Web

1. Google acquiert DNNresearch, spécialisé dans les réseaux de neurones profonds: https://www.lemondeinformatique.fr/actualites/lire-google-acquiert-dnnresearch-specialise-dans-les-reseaux-de-neurones-profonds-52829.html
2. Pourquoi Microsoft rachète Linkedin: https://www.lemondeinformatique.fr/actualites/lire-pourquoi-microsoft-rachete-linkedin-65136.html
3. Scikit-learn: http://scikit-learn.org/stable/
4. Perceptron: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.Perceptron.html

Wikipédia

• Perceptron: https://en.wikipedia.org/wiki/Perceptron
• Multiclass Classification: https://en.wikipedia.org/wiki/Multiclass_classification
• Multilayer Perceptron: https://en.wikipedia.org/wiki/Multilayer_perceptron
• Feedforward Neural Network: https://en.wikipedia.org/wiki/Feedforward_neural_network
• Recurrent Neural Network: https://en.wikipedia.org/wiki/Recurrent_neural_network
• Long Short-Term Memory: https://en.wikipedia.org/wiki/Long_short-term_memory
• Activation Function: https://en.wikipedia.org/wiki/Activation_function
• Logique et Raisonnement Mathématique: https://fr.wikipedia.org/wiki/Logique_et_raisonnement_math%C3%A9matique
• Représentation des Connaissances: https://fr.wikipedia.org/wiki/Repr%C3%A9sentation_des_connaissances

Wikipédia

• Agent Intelligent: https://fr.wikipedia.org/wiki/Agent_intelligent
• Calcul des Propositions: https://fr.wikipedia.org/wiki/Calcul_des_propositions
• Calcul des Prédicats: https://fr.wikipedia.org/wiki/Calcul_des_pr%C3%A9dicats
• Logique Modale: https://fr.wikipedia.org/wiki/Logique_modale
• Raisonnement Automatisé: https://fr.wikipedia.org/wiki/Raisonnement_automatis%C3%A9
• Connaissance: https://fr.wikipedia.org/wiki/Connaissance
• Gestion des connaissances: https://fr.wikipedia.org/wiki/Gestion_des_connaissances

Couleurs

• Color Tool - Material Design

Images

• Wikimedia Commons