Le poste Data Engineer
Partager cette offre
La Prestation s’effectuera au sein de l’équipe « IS Data Factory » d’une vingtaine de personnes composée de :
Data Engineer, travaillant majoritaire à l’alimentation du Datawarehouse d’entreprise
Data Architect travaillant sur les évolutions de la gestion des données au sein de l’entreprise.
Les données sont principalement gérées au sein
- D’un datawarehouse d’entreprise organisé autour de plusieurs instances de base de données ORACLE
- D’un Datalake s’appuyant sur l’offre cloudera on premise
L’équipe est en charge des évolutions, du support et de la maintenance du datawarehouse.
Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l’administrateur du Data Lakehouse et à mettre en œuvre et valider l’infrastructure de plateforme de données.
Dans ce cadre, le Prestataire contribuera et aura la responsabilité de :
Ø POC Developpement :
o Conception et développement du POC pour notre Data Lakehouse ouvert en utilisant les dernières technologies (Cloudera, NoSQL, NiFi, Apache Iceberg, DBT, Superset, etc.) pour répondre aux exigences de l’entreprise,
Ø L’intégration des données :
o Mise en œuvre des pipelines d’ingestion et d’intégration de données à partir de diverses sources tout en s’assurant la qualité et la cohérence des données.
Ø Du processus ETL/ELT:
o Développement et optimisation des processus ETL/ELT pour soutenir les besoins de data warehousing et d’analyse.
Ø L’optimisation de la performance:
o Analyse et optimisation de la performance des flux de données et des requêtes.
Ø La collaboration :
o Travail en étroite collaboration avec l’administrateur du Data Lakehouse pour assurer l’intégration et la fonctionnalité de l’infrastructure du Data Lakehouse.
Ø La documentation :
o Création et maintenance de documents techniques sur les pipelines de données,
o l’architecture
o les flux de travail.
Ø L’innovation:
o Rester à jour avec les technologies émergentes et les meilleures pratiques pour améliorer continuellement la plateforme de données.
Profil recherché
1.1. Compétences requises
Ø Environnement anglophone qui nécessite la maitrise de l’anglais à l’oral et à l’écrit
Ø Expérience prouvée en ingénierie des données, avec un focus sur la conception et la construction de pipelines de données,
Ø Expertise solide avec les outils et processus ETL/ELT,
Ø Maîtrise des technologies big data telles que Hadoop, Spark et Hive,
Ø Compréhension des architectures Data Lakehouse ouvertes, spécifiquement Apache Iceberg ou Delta Lake.
Ø Compétences de programmation avec la maîtrise des langages de programmation tels que Python, SQL et Java/Scala.
Ø Outils d’intégration de données avec expérience des outils d’intégration de données comme Apache NiFi, ou Kafka
Ø Modélisation des données avec une compréhension solide des modélisations et de l’entreposage des données.
Ø Optimisation de la performance avec l’expérience en optimisation et en amélioration de la performance des pipelines de données et des requêtes.
Ø Excellentes compétences de collaboration pour travailler efficacement avec des équipes croisées, y compris des ingénieurs de données, des scientifiques des données et des administrateurs système.
Environnement de travail
Environnement anglophone qui nécessite la maitrise de l’anglais à l’oral et à l’écrit
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer
SKILL EXPERT
