Offre d'emploi Data engineer (H/F)

Compétences recherchées:

 Compétences techniques

Processus ETL/ELT, gestion des données et modélisation.

• Création et gestion de processus ETL et ELT, utilisation de lacs de données pour optimiser les chargements de données, normaliser les données et garantir la qualité et la protection des données.

• Modélisation d'entrepôts de données dans une architecture distribuée, garantissant un stockage, une récupération et un traitement efficaces d'ensembles de données à grande échelle.

• Mettre en œuvre des pratiques de gouvernance des données, assurer la conformité aux réglementations en matière de confidentialité des données et maintenir la sécurité des données.

• Utilisation d'outils tels qu'Azure Data Factory/Synapse, Talend ou AWS Glue pour orchestrer les flux de travail ETL.

Compétences techniques et outils.

• Création et optimisation de procédures stockées SQL, optimisation des requêtes et gestion des performances de la base de données.

• Développer des composants Python dans un environnement Spark, gérer l'analyse des données (XML, JSON) et l'intégration avec les pipelines d'apprentissage automatique (facultatif mais avantageux).

• Travailler avec des frameworks de calcul distribués tels qu'Apache Spark, Databricks ou Hadoop pour le traitement de grands ensembles de données.

• Utilisation de systèmes de contrôle de version (par exemple, Git) et collaboration dans un environnement d'équipe à l'aide de méthodologies Agile.

Expertise Cloud et API

• Connaissance approfondie des principes DevOps, y compris les pipelines CI/CD à l'aide d'outils tels qu'Azure DevOps, Jenkins ou GitLab CI, et l'infrastructure en tant que code (IaC) à l'aide de Terraform, CloudFormation ou de modèles ARM.

• Compréhension de l'architecture et des services cloud sur les principales plateformes cloud (AWS, Azure, GCP), y compris les solutions de stockage, les ressources de calcul, la mise en réseau et les pratiques de sécurité.

• Compréhension approfondie des API REST, y compris OAuth pour l'authentification, la gestion de la pagination et l'utilisation de Swagger/OpenAPI pour la documentation et la conception des API.

• Mettre en œuvre et gérer des architectures sans serveur, à l'aide de services tels qu'AWS Lambda, Azure Functions ou Google Cloud Functions.

• Débogage et surveillance d'applications à l'aide d'outils tels que CloudWatch, Azure Monitor ou GCP Stackdriver

Une expérience de ces activités dans un environnement Azure est un atout majeur.

Notre client a choisi une organisation distribuée Data Hub (centrale) et Data Spoke (locale) où les Spokes sont des équipes d'usine de données couvrant les besoins en données de plusieurs pays et soutenant les équipes commerciales en fournissant des rapports opérationnels, des analyses ad hoc soutenant la prise de décision et des informations avancées visant à prédire les comportements des clients, des commerçants ou des consommateurs. Le Hub est le centre de données d'excellence, et son rôle principal est de fournir des capacités de données satellites, de définir des politiques, de définir les meilleures pratiques, de diriger des communautés de données et de fournir des produits de données génériques mondiaux à réutiliser par les « spokes ».

 Cette opportunité peut être effectuée en CDI directement chez le client final.