Big Data
Le fonctionnement du Big Data

John Samuel
CPE Lyon

Année: 2017-2018
Courriel: john(dot)samuel(at)cpe(dot)fr

Objectifs

Histoire scientifique
Les phases macroscopiques du Big Data
Fouille de données

Cadran solaire

Système de numération

Machine à calculer de Blaise Pascal à six chiffres

Machine à différences de Charles Babbage

L'ENIAC (photo prise entre 1947 et 1955).

Disquettes 8 pouces, 5,25 pouces et 3,5 pouces

Croissance de la capacité mondiale de stockage de données et informations

Acquisition
Extraction
Nettoyage
Stockage
Analysis
Visualisation

Questionnaires

Questionnaires face à face
Questionnaires en ligne

Capteurs¹

Température, pression, humidité
Acoustique, navigation
Proximité, capteurs de présence

Réseau sociaux
Vidéo de surveillance
Web

Different types of data acquistion techniques

https://en.wikipedia.org/wiki/List_of_sensors

Licences, Ethiques et la vie privé

Droits d'utilisation des données
Confidentiality et la vie privée
Ethiques

import requests
url = "https://api.github.com/users/johnsamuelwrites"

response = requests.get(url)
print(response.json())

from SPARQLWrapper import SPARQLWrapper, JSON

sparql = SPARQLWrapper("http://query.wikidata.org/sparql")
sparql.setQuery("""
SELECT ?item WHERE {
  ?item wdt:P31 wd:Q9143;
}
LIMIT 10
""")
sparql.setReturnFormat(JSON)
results = sparql.query().convert()

for result in results["results"]["bindings"]:
    print(result)

Web des données (Linked Open data cloud)

Erreurs de syntaxe
Erreurs sémantiques
Erreurs de couverture

Erreurs lexicales
Erreurs de formatage
Erreurs d'irrégularité

Violation des contraintes d'intégrité
Erreurs de contradiction
Erreurs de duplication
Erreurs de donnée invalide

Valeur manquante
Donnée manquante

Big Data

Volume
Variété
Vélocité
Verité
Valeur

Formats

Fichiers textuelles et binaires
CSV/TSV
XML
JSON
Média (Images/Audio/Vidéo)

Types de données

Données structurées
Données non-structurées
Données semi-structurées

Fichiers
Base de données (Rélationnels et NoSQL)
Blockchain

Bases de données relationnelles
Base de données orientée objet
NoSQL
NewSQL

Base de données orientée colonnes
Base de données orientée documents
Base de données clé-valeur
Base de données orientée graphe

Approche manuelle
Les outils et applications (e.g., Tableur, Hadoop)

Biologie/médecine
Astronomie
Robotique industrielle
Securité

Un robot industriel Motoman SDA10, robot d'assemblage

Voiture autonome dont on distingue certains capteurs sur le toit.

Enjeux du réchauffement climatique: 1880(à gauche)/ 1980 (à droite), (US EPA), 2012

Cycle de vie des données

Données
Connaissances
Perspectives
Actions

Usine 4.0

Régularités naturelles

Symétrie
Arbres, fractales
Spirales
Chaos
Ondes
Bulles, mousse
Pavages
Ruptures
Taches, bandes

Créations humaines

Bâtiments (Symétrie)
Villes
Environnement virtuel (e.g., jeux de vidéo)

Création

Répétition
Fractales
- Ensemble de Julia: f(z) = z² + c

Synonymes

Fouille de données
Forage de données
Extraction de connaissances à partir de données
Data mining
Machine learning
Apprentissage automatique

Identifier des motifs informatiques à partir de données brutes
Approches
1. Apprentissage supervisé: Apprentissage automatique qui utilise un ensemble de données étiquetées
2. Apprentissage non-supervisé: Apprentissage automatique qui utilise un ensemble de données non-étiquetées
3. Apprentissage semi-supervisé: Apprentissage automatique qui utilise un ensemble de données étiquetées et non-étiquetées

Activités

Classification
Partitionnement de données (Clustering)
Régression
Détection d'anomalies

Catégorisation algorithmique d'objets.
Attribuer une classe ou catégorie à chaque objet (ou individu)
Classification binaire ou classification en classes multiples

Applications

Filtrage de contenu (e.g., spam/pourriel)
Classification de documents
Reconnaissance de l'écriture manuscrite
Reconnaissance automatique de la parole
Moteurs de recherche

Classificateur

Algorithme de classification
Deux types de classificateurs
- Classificateur binaire Attribuer une des deux classes ou catégories à chaque objet (ou individu)
- Classificateur en classes multiples Attribuer une des plusieurs classes ou catégories à chaque objet (ou individu)

Diviser un ensemble de données en différents « paquets » homogènes,
Les données de chaque sous-ensemble partagent des caractéristiques communes

Applications

Analyse des réseaux sociaux
Segmentation d'image
Systèmes de recommandation

Méthodes de partitionnement des données

Méthodes basées centroïdes
Regroupement hiérarchique

Analyser la relation d'une variable par rapport à une ou plusieurs autres.
Attribuer une valeur réelle à chaque entrée

Applications

Prévisions météorologiques
Prévisions de ventes
Apprentissage machine
Finance

Identification de données inhabituelles
Approches
1. Détection supervisé
2. Détection non-supervisé
3. Détection semi-supervisé

Applications

Détection d'intrusion
Détection de fraude
System health monitoring
Détection d'événements dans les réseaux de capteurs
Détection d'abus dans un système d'information

Synthèse courte d'un ensemble de données
Génération de rapports

Applications

Extraction des mots-clès
Récapitulation de documents
Moteurs de recherche
Récapitulation d'images
Récapitulation de vidéos: découvrir des événements principaux dans une vidéo

Inspirée du fonctionnement des neurones biologiques
Composé d'une succession de couches dont chacune prend ses entrées sur les sorties de la précédente
Chaque couche i est composée de N_i neurones.
Chaques couche prenne leurs entrées sur les N_i-1 neurones de la couche précédente.
Le signal entre les neurones est une valeur
Le sortie d'une neurone est la somme de ses entrées

Perceptron

Classificateur binaire

Réseaux neuronaux profonds (Deep neural networks)

Plusieurs couches cachées entre la couche d'entrée et la couche de sortie.

Applications

Vision par ordinateur (reconnaissance de formes)
Reconnaissance automatique de la parole
Conception de médicament
Traitement automatique du langage naturel
Traduction automatique

Réseau neuronal convolutif

Convolutional deep neural networks en Anglais
est inspiré par le cortex visuel des animaux
Empilage multicouche de perceptrons
L'objectif de chaque empil est de prétraiter de petites quantités d'informations.
L'avantage pricipale est de faire évoluer tout seul ses propres filtres

Apprentissage par renforcement

Reinforcement learning (en Anglais)
Inspirée de théories de psychologie animale
Un agent autonome plongé au sein d'un environnement,
L'agent doit prendre des décisions en fonction de son état courant.
L'environnement procure à l'agent une récompense, qui peut être positive ou négative.
L'objectif est de maximiser la somme des récompenses au cours du temps.

https://fr.wikipedia.org/wiki/Big_data

Big Data Le fonctionnement du Big Data

Big Data

Objectifs

1. Histoire scientifique

Cadran solaire

1. Histoire scientifique

Système de numération

1. Histoire scientifique

1. Histoire scientifique

1. Histoire scientifique

1. Histoire scientifique

1. Histoire scientifique

1. Histoire scientifique

1. Histoire scientifique

2. Les phases macroscopiques

2.1 L'acquisition de données

2.1 L'acquisition de données

2.1 L'acquisition de données

2.1 L'acquisition de données

2.1 L'acquisition de données

2.1 L'acquisition de données

2.1 L'acquisition de données

Licences, Ethiques et la vie privé

2.2 L'integration et l'extraction de données

2.2 L'integration et l'extraction de données

2.2 L'integration et l'extraction de données

2.2 L'integration et l'extraction de données

2.2 L'integration et l'extraction de données

2.3 Nettoyage de données

2.3 Nettoyage de données: Erreurs de syntaxe

2.3 Nettoyage de données: Erreurs sémantiques

2.3 Nettoyage de données: Erreurs de couverture

2.4 Stockage de données

Big Data

2.4 Stockage de données

Formats

2.4 Stockage de données

Types de données

2. Stockage de données

2.4 Stockage de données

2.4 Stockage de données: NoSQL

2.5 Analyse des données

2.5 Analyse des données: images

2.5 Analyse des données: Robotique industrielle

2.5 Analyse des données: Véhicule autonome

2.5 Analyse des données: Détection d'objet

2.6 Visualisation

2.6 Visualisation

2.6 Visualisation

2.6 Visualisation

3. Fouille de données

Cycle de vie des données

3. Fouille de données

Usine 4.0

3.1. Régularités

3.1. Régularités

Régularités naturelles

3.1. Régularités

Créations humaines

3.1. Régularités

Création

3.2. Fouille de données

Synonymes

3.2 Reconnaissance de formes

3.2 Reconnaissance de formes

Activités

3.2.1. Classification

3.2.1. Classification

Applications

3.2.1. Classification

Classificateur

3.2.2 Partitionnement de données (Clustering)

3.2.2 Partitionnement de données (Clustering)

Applications

3.2.2 Partitionnement de données (Clustering)

Méthodes de partitionnement des données

3.2.3. Régression

3.2.3. Régression

Applications

3.2.4 Détection d'anomalies

Big Data
Le fonctionnement du Big Data