Le poste Data Engineer
Partager cette offre
PAS DE SOUS-TRAITANCE // MERCI
En tant que Data Ingénieur, vous serez responsable de la conception, du déploiement et de la maintenance d'une infrastructure de données basée sur les bonnes pratiques du Well Architected Framework (WAF) d'AWS, en respectant les piliers suivants : Excellence opérationnelle, Sécurité, Fiabilité, Efficacité des performances, Optimisation des coûts, et Développement durable.
Vous travaillerez en étroite collaboration avec le CTO et les Data Scientists pour construire et maintenir des pipelines de données robustes et sécurisés sur AWS.
1. Mise en place de pipelines de données robustes et scalables :
Concevoir des pipelines de données serverless optimisés (e.g., step function, Lambda, S3, Redshift) pour gérer des données provenant de compteurs énergétiques en mode batch et en streaming.
Structurer la donnée en zones fonctionnelles sur S3 (Landing, Raw, Trusted, Curated, Archive) et transformer les formats (e.g., XML en JSON, JSON en Parquet) pour optimiser les performances et réduire les coûts.
2. Excellence opérationnelle :
Implémenter et automatiser des workflows CI/CD/CT avec GitHub Actions pour garantir des déploiements continus, sécurisés et sans interruption (via EKS, ECS, App Runner, Sagemaker)
Mettre en place un monitoring avancé pour les pipelines de données et les modèles déployés, garantissant la détection proactive des anomalies et une maintenance efficace. (via cloudwatch, SNS)
3. Sécurité et fiabilité :
Collaborer à la migration des applications R/Shiny vers des technologies plus familières et sécurisées (e.g. Kotlin ou Python) tout en respectant les standards de sécurité, notamment via des solutions telles que Posit Connect
4. Optimisation des coûts et développement durable
Proposer des optimisations pour réduire les coûts de stockage et de traitement des données, en s’appuyant sur des services AWS adaptés et en optimisant les formats et processus de gestion des données.
5. Collaborer avec l'équipe Data Science
Faciliter l'accès aux données de qualité pour les Data Scientists, en veillant à ce que les modèles puissent être intégrés efficacement dans les applications existantes
Profil recherché
Diplômé en informatique, data ingénierie ou équivalent. Expérience de 3 ans minimum en tant que Data Ingénieur dans un environnement cloud AWS.
Compétences:
Maîtrise des services cloud AWS, en particulier S3, formation, Redshift, step function, IoT Core et kinesis.
Solides compétences en CI/CD (e.g., GitHub Actions) et monitoring (e.g., CloudWatch).
Expérience avec des formats de données optimisés (JSON, Parquet) et des architectures data-lakehouse.
Connaissances en migration d'applications R/Shiny vers des solutions plus sécurisées (e.g., Python, Spring Boot).
Bonne compréhension des enjeux de sécurité, fiabilité, et optimisation des coûts dans un environnement cloud.
Capacité à structurer et organiser de gros volumes de données pour maximiser les performances et l'efficacité
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer
Kaïbee