Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming à Lyon

Lieu : Lyon (2 jours de présence sur site/semaine) Démarrage : 19 mai 2025 ⏳ Durée : 6 mois renouvelables Contexte & Objectifs Dans le cadre du programme stratégique Vision 2035 chez EDF – DPNT (Direction de Production Nucléaire et Thermique), vous interviendrez sur le projet SI PLURI, visant à améliorer la planification des arrêts de tranche et à optimiser les prévisions sur 10 ans grâce à l’intégration de solutions Data & IA. En tant que Data Developer Expert, vous serez le référent technique pour la refonte des pipelines de données en environnement Big Data & Cloud AWS. ️ Vos missions Cartographier les flux de données existants (lignage, validation, transformation) Assister l’architecture dans la définition du nouveau pipeline cloud Implémenter les bonnes pratiques de Data Engineering Participer à la mise en place d’un outillage data moderne (ETL, Glue, Spark, AWS…) Accompagner les équipes dans l'industrialisation des pipelines Livrables attendus Catalogue des données et règles de transformation Solution d’alimentation du SI PLURI en données issues de SI partenaires Compétences requises Expertises techniques : Spark (Java, Scala ou Python) AWS (Glue, S3, RDS, OpenSearch, Airflow…) ETL & pipelines batch ou streaming Terraform, Git Gestion des problématiques de volumétrie & performance Sécurité des données

CONTEXTE : Intervention pour le compte du Chapitre Data à Lyon : Le Chapitre Data intervient en transverse au sein de l'entreprise. Il recueille et fabrique les cas d'usages Data des différentes Squads de l'entreprise, sur des domaines métiers différents. Vous serez ainsi amené à travailler pour le compte de différentes Squads avec des interlocuteurs possiblement changeants. Vous serez également amené à échanger avec les autres membres du Chapitre du site d'e Lyon mais aussi ceux des autres sites France. ⚠️Point d'attention : Présence minimum de 3 jours par semaine sur site ATTENDU : 1 - Contribuer à la Fabrication des Produits des Squads de l'Entreprise dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) 2 - Etre force de proposition et expertise au sein du Chapitre sur les techno manipulées Apprécié : Contribuer à la Fabrication des Produits des Squads de l'Entreprise dans un environnement Teradata (sur des activités BI) COMPETENCES : Langage : - Spark - spark streaming et batch (requis), - Kafka (apprécié) - java (apprécié) - shell (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Autonomie, Adaptabilité, Bonne communication, Force de proposition, Sait challenger les besoins Apprécié : - BDD Teradata, - xDI, - Data viz : Microstrategy SQL