Data Engineer : Rentrer dans le coeur de la donnée

Présentation

Parfait qualifié « d'ingénieur Big Data », le Data engineer est le premier acteur du processus de traitement de la donnée. Son travail intervient en amont de celui du Data savant, directement après que l'infrastructure technique a été mise en œuvre par les architectes et les administrateurs.

Comme c'est un ingénieur, il comprend et fabrique, mais dans un champ bien spécifique : celui de la donnée. Ainsi, son travail quotidien va consister à se connecter à plusieurs sources de données, croiser les données, effectuer des opérations de nettoyage de données, des filtres, gérer le stock des données dans différentes bases de données, gérer divers types de formats de données, et puissant produit des rapports croisés de ces données. Ses missions

1. Développement et mise en place des processus de collecte, d'organisation, de stockage et de modulation des données.
2. Assurer l'accès aux différentes sources et données et voiler à leur qualité.
3. Mettre en production les modèles de prévision créés par les data savants

Ses compétences clés

• Maîtriser les langages et outils de gestion de bases de données comme Java, Python, R, SQL, NoSQL, Hadoop
• Comprendre et savoir appliquer les techniques de modulation de données
• Jeter de solides compétences en développement informatique et savoir coder propre

Le salaire

tableau, th, td { bord:1px noir massif; rembourrage: 8px;}

Débutant 2-5 ans Expert (+5 ans) 38 000 – 50 000 50 000 - 60 000 60 000 – 85 000

Un ingénieur des données inspirant

Un bon exemple de Data Engineer est Jeffrey Dean, surnommé Jeff Dean. Il a travaillé sur MapReduce, un système pour traiter des données à fort volume, beaucoup utilisé par les data engineer. Il a aussi travaillé sur d'autres systèmes connus de la communauté Data comme Bigtable, un service important de Google Cloud, ou encore Tensorflow, essentiel aujourd'hui en tant qu'outil de prévision.