Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Lyon

CITECH recrute ! 👌 ✨ Vous souhaitez mettre vos compétences au service d’un projet stratégique dans le secteur de l’énergie ? Nous avons LA mission pour vous ! Nous recherchons un(e) Expert Data Engineer AWS / Big Data (H/F) avec 12 ans d’expérience minimum. 👉 Vous interviendrez au sein d’un grand groupe du secteur de l’énergie, dans le cadre d’un projet de refonte d’un système d’information à fort enjeu industriel. 👈 🙌🔽 Vos missions principales seront les suivantes : 🔽🙌 🔸 Analyser et cartographier les pipelines de données existants : modèles de données, flux inter-SI, règles de transformation 🔸 Co-construire, avec les architectes, une nouvelle architecture data basée sur les services AWS 🔸 Accompagner les équipes de développement dans la mise en œuvre de la nouvelle solution 🔸 Définir et promouvoir les bonnes pratiques en data engineering 🔸 Concevoir une solution d’intégration des données issues de plusieurs systèmes partenaires 🔸 Formaliser un catalogue de données et documenter les règles de transformation associées 🔸 Apporter une expertise sur les outils Big Data et le déploiement d’infrastructure via IaC

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur Data Spark (H/F) à Lyon, France. Contexte : Analyser et cartographier, avec les experts métiers et l'équipe de développement, le pipeline de données actuel : les modèles de données des différentes base de données utilisées; les flux de données qui existent entre les différentes sources de données (lignage des données); les règles de validation, de filtrage de calcul actuellement en place lors des transferts de données Assister les architectes dans la définition du nouveau pipeline de données en s'appuyant sur les service cloud Appuyer l'équipe de développement dans la réalisation de la nouvelle solution : Mise en place en place de la solution et des bonnes pratiques associées ; Culture du data engineering ; Expertise sur l'outillage data mise en place (ETL, base de données, Spark, Glue) Les missions attendues par le Développeur Data Spark (H/F) : Expertise dans l'outillage de stockage des données (base de données, fichiers) et le traitement des données (ETL, Spark) Expertise Spark, quelque soit le langage de prédilection (Java, Scala, Python) Maitrise des bonnes pratiques de développements et de la mise en oeuvre des outils liées à la data Maîtrise des technologies du Big Data, des problématiques liées à la volumétrie et aux performance Maîtrise des outils de gestion de code (Git) et de déploiement projet (Terraform) Une séniorité globale supérieure à 10 ans est attendue sur ce poste Plusieurs expertise significatives dans l'analyse de données et la mise en place de pipelines qu'ils soient de type batch/ETL ou événementiel/streaming

Nous recherchons un développeur Big Data qui interviendra chez notre client de façon transversale auprès de plusieurs Squads métiers. En tant que tel, vos principales responsabilités seront les suivantes : Concevoir, développer et optimiser les solutions de collecte, de transformation et de stockage de données issues de sources multiples. Participer à la définition de l’architecture Data, en lien avec les architectes et les équipes projet. Mettre en place des tests unitaires et automatisés pour garantir la qualité des livrables. Assurer les déploiements dans les différents environnements. Surveiller les performances en production et intervenir en cas d'incident (suivi, support, correctifs). Contribuer à l’amélioration continue des pratiques de développement et de la qualité du code. Apporter votre expertise technique sur les outils et technologies utilisés.

Contexte : 3 jours sur site en périphérie lyonnaise + 2 jours télétravail Les missions attendues par le Data Engineer Big Data (H/F) : Notre domaine fournit les services IT pour l’activité Professional Coffee Machine (PCM) : Digital Platform PCM, un datalake Azure dédié et des reportings pour nos clients et équipes internes (hors scope de la recherche) Back-office process (ERP et Field Service Management) : des reportings corporate et locaux sous SAP BW, Analysis for Office ou encore Qlik Sense DATA ENGINEER CONFIRME Dans le cadre de la Digital Platform PCM, nous recherchons un·e Data Engineer confirmé·e qui aura pour missions de prendre en charge des tâches de développement sur des projets de build pour fournir les data pipelines du Datalake et d’intervenir sur le maintien en condition opérationnelle du Datalake. Les développements réalisés permettent aux développeurs Qlik Sense et Azure Dashboard de construire les reports adéquates pour nos clients. Une expérience requise dans ce type d’environnement de 3 ans minimum est pré-requise. Contexte de la mission La mission s’opère en 3 jours sur site et 2 jours en télétravail. Le site est situé à Ecully dont 2 jours au campus et 1 journée au 4M. La mission est un remplacement temporaire d'un membre de l'équipe actuellement composée de 2 Data Engineer et pour une durée de 6 mois minimum. Démarrage souhaitée fin avril/début mai pour une date de fin prévisionnelle fin novembre 2025.

Lieu : Lyon (2 jours de présence sur site/semaine) Démarrage : 19 mai 2025 ⏳ Durée : 6 mois renouvelables Contexte & Objectifs Dans le cadre du programme stratégique Vision 2035 chez EDF – DPNT (Direction de Production Nucléaire et Thermique), vous interviendrez sur le projet SI PLURI, visant à améliorer la planification des arrêts de tranche et à optimiser les prévisions sur 10 ans grâce à l’intégration de solutions Data & IA. En tant que Data Developer Expert, vous serez le référent technique pour la refonte des pipelines de données en environnement Big Data & Cloud AWS. ️ Vos missions Cartographier les flux de données existants (lignage, validation, transformation) Assister l’architecture dans la définition du nouveau pipeline cloud Implémenter les bonnes pratiques de Data Engineering Participer à la mise en place d’un outillage data moderne (ETL, Glue, Spark, AWS…) Accompagner les équipes dans l'industrialisation des pipelines Livrables attendus Catalogue des données et règles de transformation Solution d’alimentation du SI PLURI en données issues de SI partenaires Compétences requises Expertises techniques : Spark (Java, Scala ou Python) AWS (Glue, S3, RDS, OpenSearch, Airflow…) ETL & pipelines batch ou streaming Terraform, Git Gestion des problématiques de volumétrie & performance Sécurité des données

CONTEXTE : Intervention pour le compte du Chapitre Data à Lyon : Le Chapitre Data intervient en transverse au sein de l'entreprise. Il recueille et fabrique les cas d'usages Data des différentes Squads de l'entreprise, sur des domaines métiers différents. Vous serez ainsi amené à travailler pour le compte de différentes Squads avec des interlocuteurs possiblement changeants. Vous serez également amené à échanger avec les autres membres du Chapitre du site d'e Lyon mais aussi ceux des autres sites France. ⚠️Point d'attention : Présence minimum de 3 jours par semaine sur site ATTENDU : 1 - Contribuer à la Fabrication des Produits des Squads de l'Entreprise dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) 2 - Etre force de proposition et expertise au sein du Chapitre sur les techno manipulées Apprécié : Contribuer à la Fabrication des Produits des Squads de l'Entreprise dans un environnement Teradata (sur des activités BI) COMPETENCES : Langage : - Spark - spark streaming et batch (requis), - Kafka (apprécié) - java (apprécié) - shell (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Autonomie, Adaptabilité, Bonne communication, Force de proposition, Sait challenger les besoins Apprécié : - BDD Teradata, - xDI, - Data viz : Microstrategy SQL

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Consultant BI (H/F) à Lyon, France. Contexte : Projet de pilotage et d’analyse du système et doit répondre aux enjeux suivants : - Assurer le pilotage du système et des processus métier associés - Garantir la qualité et la sécurité des informations - Contribuer à l’amélioration continue du système L’application permet trois principales fonctionnalités : - Le reporting - L’export des données - L’exploitation de données Elle est utilisée par environ 1500 utilisateurs (analystes, experts métiers, experts SI). L’équipe se compose de près de quarante compétences, réparties en six sous équipes, qui a comme périmètre un ensemble de thématiques métiers et une plateforme technique. Les missions attendues par le Consultant BI (H/F) : Activité principale : o Analyser les besoins fonctionnels et techniques o Localiser les données de production permettant de répondre au besoin o Documenter / spécifier les livrables o Développer les processus d’intégration de données o Modéliser et enrichir les datawarehouse (entrepôts de données) et les datamarts (magasins de données) o Produire des rapports ou tableaux de bords lisibles et compréhensibles par le métier, et répondant à leur besoin o Tester la qualité et la performance de ses livrables Activité secondaire : o Livrer et déployer ses livrables o Participer aux revues de code o Assurer le suivi et le maintien en conditions opérationnelles de ses livrables en production Stack technique de l'équipe : o Big Data : Spark, Hive. o Stockage : Oracle, CEPH S3 (parquet). o Langages : Java, Python, PL/SQL, Shell. o CI/CD : Ansible, Terraform, Jenkins, GIT. o ETL : Informatica. o Dataviz : Tableau Server, PowerBI. o Ordonnanceur : Control-M.