Mission freelance Data Engineer

PAS DE SOUS-TRAITANCE // MERCI

En tant que Data Ingénieur, vous serez responsable de la conception, du déploiement et de la maintenance d'une infrastructure de données basée sur les bonnes pratiques du Well Architected Framework (WAF) d'AWS, en respectant les piliers suivants : Excellence opérationnelle, Sécurité, Fiabilité, Efficacité des performances, Optimisation des coûts, et Développement durable.

Vous travaillerez en étroite collaboration avec le CTO et les Data Scientists pour construire et maintenir des pipelines de données robustes et sécurisés sur AWS.

1. Mise en place de pipelines de données robustes et scalables :

• Concevoir des pipelines de données serverless optimisés (e.g., step function, Lambda, S3, Redshift) pour gérer des données provenant de compteurs énergétiques en mode batch et en streaming.

• Structurer la donnée en zones fonctionnelles sur S3 (Landing, Raw, Trusted, Curated, Archive) et transformer les formats (e.g., XML en JSON, JSON en Parquet) pour optimiser les performances et réduire les coûts.

2. Excellence opérationnelle :

• Implémenter et automatiser des workflows CI/CD/CT avec GitHub Actions pour garantir des déploiements continus, sécurisés et sans interruption (via EKS, ECS, App Runner, Sagemaker)

• Mettre en place un monitoring avancé pour les pipelines de données et les modèles déployés, garantissant la détection proactive des anomalies et une maintenance efficace. (via cloudwatch, SNS)

3. Sécurité et fiabilité :

• Collaborer à la migration des applications R/Shiny vers des technologies plus familières et sécurisées (e.g. Kotlin ou Python) tout en respectant les standards de sécurité, notamment via des solutions telles que Posit Connect

4. Optimisation des coûts et développement durable

• Proposer des optimisations pour réduire les coûts de stockage et de traitement des données, en s’appuyant sur des services AWS adaptés et en optimisant les formats et processus de gestion des données.

5. Collaborer avec l'équipe Data Science

• Faciliter l'accès aux données de qualité pour les Data Scientists, en veillant à ce que les modèles puissent être intégrés efficacement dans les applications existantes