Mission freelance Data Engineer Big Data - Delta Lake / Spark / Cloudera
Vélizy-Villacoublay (78)
Intuition IT Solutions Ltd.
Le poste Data Engineer Big Data - Delta Lake / Spark / Cloudera
Partager cette offre
Nous recherchons un développeur Big Data avec un compétence sur l'environnement opensource Delta Lake pour une mission de longue durée à Vélizy.
La Prestation s’effectuera au sein de l’équipe « IS Data Factory » du client qui est composée Data Engineer et de Data Architect.
Les personnes sont basées entre Vélizy, Boston (USA) et Pune (Inde)
Les données sont principalement gérées au sein
- D’un datawarehouse d’entreprise organisé autour de plusieurs instances de base de données ORACLE
- D’un Datalake s’appuyant sur l’offre cloudera on premise
L’équipe est en charge des évolutions, du support et de la maintenance du datawarehouse.
Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l’administrateur du Data Lakehouse et à mettre en œuvre et valider l’infrastructure de plateforme de données.
Dans ce cadre, le Prestataire contribuera et aura la responsabilité de la conception et du développement d'un POC pour un Data Lakehouse ouvert en utilisant les dernières technologies (Delta Lake, Cloudera, NoSQL, NiFi, DBT, Superset, etc.) pour répondre aux exigences de l’entreprise,
L’intégration des données :
o Mise en œuvre des pipelines d’ingestion et d’intégration de données à partir de diverses sources tout en s’assurant la qualité et la cohérence des données.
o Développement et optimisation des processus ETL/ELT pour soutenir les besoins de data warehousing et d’analyse.
o Analyse et optimisation de la performance des flux de données et des requêtes.
o Création et maintenance de documents techniques sur les pipelines de données,
o Rester à jour avec les technologies émergentes et les meilleures pratiques pour améliorer continuellement la plateforme de données.
Profil recherché
Environnement anglophone qui nécessite la maitrise de l’anglais à l’oral et à l’écrit
Ø Expérience prouvée en ingénierie des données, avec un focus sur la conception et la construction de pipelines de données,
Ø Expertise solide avec les outils et processus ETL/ELT,
Ø Maîtrise des technologies big data telles que Hadoop, Spark et Hive,
Ø Compréhension des architectures Data Lakehouse ouvertes, spécifiquement Delta Lake.
Ø Compétences de programmation avec la maîtrise des langages de programmation tels que Python, SQL et Java/Scala.
Ø Outils d’intégration de données avec expérience des outils d’intégration de données comme Apache NiFi, ou Kafka
Ø Modélisation des données avec une compréhension solide des modélisations et de l’entreposage des données.
Ø Optimisation de la performance avec l’expérience en optimisation et en amélioration de la performance des pipelines de données et des requêtes.
Ø Excellentes compétences de collaboration pour travailler efficacement avec des équipes croisées, y compris des ingénieurs de données, des scientifiques des données et des administrateurs système.
Ø • Autonomie au travail: Capacité à travailler de manière autonome et à prendre possession des projets.
Ø • Compétences de documentation: Bonnes compétences de documentation pour assurer la clarté et la maintenabilité des flux de travail de données
Environnement de travail
2 jours de remote par semaine après un mois sur site à temps plein
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Big Data - Delta Lake / Spark / Cloudera
Intuition IT Solutions Ltd.
