Chimie et Numérique

Introduction à Big Data

John Samuel
CPE Lyon

Year: 2017-2018
Email: john(dot)samuel(at)cpe(dot)fr

Cours/TP	Dates
1	mai 18
2	mai 25
3	mai 31

Travaux pratiques

• Language de programmation: Python
• Système d'exploitation: Linux
• Editeur: Jupyter
• Programmation en binôme
• Compte-rendu de travail: Notebook Jupyter
• Soumission en-ligne

Evaluation

• 40% Travaux pratiques
• 60% Devoir surveillé

Objectifs

• Histoire scientifique
• Les phases macroscopiques du Big Data
• Science de données

• Volume (zettaoctets de données: 10²¹)
• Variété (textes, PDF, images, vidéos etc.)
• Vélocité (en temps réel: données capteurs)
• Verité
• Valeur (institutions, enterprises)

1. Acquisition
2. Nettoyage
3. Stockage
4. Analysis
5. Visualisation

1. Questionnaires
• Questionnaires face à face
• Questionnaires en ligne
2. Capteurs¹
• Température, pression, humidité
• Acoustique, navigation
• Proximité, capteurs de présence
3. Réseau sociaux
4. Vidéo de surveillance
5. Web

1. https://en.wikipedia.org/wiki/List_of_sensors

1. Erreurs de syntaxe
   • Erreurs lexicales
   • Erreurs de formatage
   • Erreurs d'irrégularité
2. Erreurs sémantiques
   • Erreurs de contradiction
   • Erreurs de duplication
   • Erreurs de donnée invalide
3. Erreurs de couverture
   • Valeur manquante
   • Donnée manquante

2.1. Formats

• Fichiers textuelles et binaires
• CSV/TSV
• XML
• JSON
• Média (Images/Audio/Vidéo)

2.2 Types de données

1. Données structurées
2. Données non-structurées
3. Données semi-structurées

1. Fichiers
2. Base de données (Rélationnels et NoSQL)
3. Blockchain

1. Données
2. Connaissances
3. Perspectives
4. Actions

References

• https://fr.wikipedia.org/wiki/Industrie_4.0

Colors

• Color Tool - Material Design

Images

• Wikimedia Commons