Le poste Data Engineer
Partager cette offre
PAS DE SOUS TRAITANCE // MERCI
Nous recherchons un Data Engineer pour renforcer une équipe technique dans un projet lié à la mesure et à l’optimisation énergétique. Vous collaborerez avec les Data Scientists et les équipes techniques pour concevoir et maintenir des pipelines de données robustes et sécurisés, en utilisant les meilleures pratiques cloud.
Vos missions incluront :
• Conception et déploiement de pipelines de données serverless (e.g., step function, Lambda, S3, Redshift) pour la gestion de données énergétiques en batch et en streaming.
• Structuration des données en zones fonctionnelles sur S3 et optimisation des formats (JSON, Parquet) pour améliorer les performances et réduire les coûts.
• Automatisation de workflows CI/CD/CT avec GitHub Actions pour assurer des déploiements continus, sécurisés et sans interruption.
• Implémentation d’un monitoring avancé pour détecter les anomalies et garantir une maintenance efficace.
• Sécurisation des données sensibles en respectant les normes de sécurité cloud.
• Optimisation des coûts et réduction de l’empreinte carbone en optimisant l’efficacité des ressources cloud.
• Collaboration avec l’équipe Data Science pour faciliter l’accès aux données de qualité et intégrer les modèles dans les applications.
Profil recherché
Compétences requises :
• Solide maîtrise des services AWS, notamment S3, Redshift, step function, IoT Core, et Kinesis.
• Expérience en CI/CD (e.g., GitHub Actions) et monitoring (e.g., CloudWatch).
• Connaissance des formats de données optimisés (JSON, Parquet) et des architectures data-lakehouse.
• Familiarité avec les processus de migration d’applications (e.g., R/Shiny vers des solutions sécurisées).
• Compréhension des enjeux de sécurité, de fiabilité et d’optimisation des coûts dans un environnement cloud.
• Capacité à structurer et organiser de gros volumes de données pour maximiser les performances.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer
Kaïbee