Le poste Data Engineer
Partager cette offre
Dans une équipe organisée selon la méthodologie Scrum, vous serez en charge d'implémenter et de gérer les flux de données, de l'ingestion à l'exposition via des niveaux de données structurés. Votre rôle sera essentiel dans l'amélioration des processus de transformation et de gestion des données, tout en garantissant la performance, la sécurité et le suivi des coûts.
Tâches :
Concevoir et développer des pipelines d’ingestion de données sur AWS (Step function, S3).
Transformer les données en utilisant Python et Spark Scala sur Databricks.
Assurer la modélisation des données en flocons et leur préparation pour exposition.
Mettre en place les tests unitaires (Python, Spark Scala) et garantir la qualité du code.
Surveiller les pipelines, assurer le monitoring et intervenir sur les éventuels correctifs.
Rédiger et maintenir la documentation technique (Data Galaxy, Confluence).
Gérer les enjeux de performances, de sécurité, et optimiser les coûts liés aux pipelines.
Profil recherché
Un(e) Data Engineer expérimenté(e) dans les technologies suivantes : AWS, Snowflake, Python, Spark Scala, SQL.
Vous maîtrisez les bonnes pratiques de développement et êtes rigoureux(se) sur la surveillance des systèmes et la documentation.
Une bonne maîtrise de l’anglais est requise.
Environnement de travail
AWS (Step function, S3)
Python, Spark Scala
Databricks, Snowflake
Tests unitaires (Python, Spark Scala)
Surveillance, monitoring et documentation (Confluence, Data Galaxy)
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer
Digimatch
