Une bibliothèque historique de la data : Partie 3 - le Big Data

Quelle est l'histoire du Big Data ? Cet article va vous permettre de découvrir son évolution au cours du temps. Cet article est le troisième d'une série d'articles sur l'histoire de la data. Nous vous conseillons d-abord de lire notre article précédent sur l-histoire des analyses.

Les trois V

Commençons par définir ce qu'est le Big Data. La meilleure maniere de définir le Big Data est par les :

• Volume : Avec le Big Data, les données collectées sont en grande quantité. Quand on parle de quantité, on parle du nombre d'octets, généralement mesuré à partir du téraoctet pour le Big Data.
• Variété : Si on travaille avec du Big Data c'est que les données utilisées sont de nature diverses : données chiffrées, image, vidéo, texte ou encore son. Elles peuvent être structurées (données chiffrées par exemple) ou non structurées (texte, image, son, vidéo) et chaque type va alors nécessaire des traités différents
• Vitesse : Qui dit Big Data dit augmentation de la capacité à traiter des gros volumes. Avec des machines Assez vieilles on pourrait traiter 1À de données.. mais en plusieurs années. Le Big Data implique qu'on soit capable de traiter ce Téraocter en quelques minutes, voir quelques secondes.

On parle de plus en plus des5Vavec 2 caractéristiques complémentaires :

• Valeur : Les données recueillies ont une valeur intrinsèque, ce qui n'est pas le cas de toutes, certaines données n'ont pas ou peu d'utilité et les collecteurs n'appartiennent pas grand choisi.
• Véracité : qui va être synonyme de fiabilité. Collecter de nombres données imprécises n'est que peu et peut meuer à des erreurs importantes lors d'analyses et prédictions.

Chronologie du Big Data

Années 70

Bien que le terme de Big Data n'apparaisse pour la première fois qu'en 1997 dans l'ACM (Association for Computing Machinery), la forte augmentation du volume de données à commencé dès les années 70 date à laquelle une course commence entre augmentation de la capacité de stockage suivi directement d'une augmentation de la quantité de données stockées, l'un entrayant l'autre. C'est le début de la course à la donnée.

Depuis les années 2000

L'approche du parallèle dans les années 2000 avec les multi-processeurs multi-cores à l'échelle des ordinateurs ou des machines en réseau avec des clusters de machines ont permis de décomposer des calculs complexes en plusieurs calculs faits séparément. Dans ce type d=architecture, chaque composant peut travailler séparément, c=est le principe du =partagé rien.

C. est aussi à cette période qu'il a été deux éléments fondamentaux pour permettre le développement du Big Data. Une partie, le NoSQL permet de récupérer des contrats par rapport au SQL et de demander des plus gros volumes de données plus rapidement. D'autre part, l'architecture de stockage a été totalement repensée avec des systèmes comme :

• Le lac de données, où on va stocker la donnée dans de nombreux clusters, de gestion brute pour pouvoir l'écrire rapidement.
• Le Cloud Computing qui va gérer cela mais en réseau, créant des services accessibles à la demande sur des ressources partagées.
• Les DFS (distributed file systems) où on va stocker les gros fichiers sur plusieurs sources de données.

C'est vers 2005 qu'ont commencé à apparaître les supercalculateurs. En France, parmi les plus importants, on a celui de Météo-France et celui du CEA - le Commissariat à l'énergie atomique et aux énergies alternatives - ou dans les centres de recherches en France.

En 2010, Eric Schmidt, ancien PDG de Google annonce qu'en 2009-2010, autant de données ont été produits que depuis la naissance de la terre jusqu'à 2003.

Pour l'instant, la quantité de données recueillies continue d'être en croissant chaque année. Aujourd'hui, le numérique constitutif3 à 4 % des émissions de gaz à effet de serre dans le monde.