Data Engineer informatica PySpark

Nous recherchons un Data Engineer confirmé ayant une expertise avérée dans le développement de pipelines Big Data en environnement on-premise , avec une maîtrise des langages PySpark et de l’outil Informatica . Vous interviendrez sur des projets stratégiques dans le domaine de l’ Asset Management , au sein d'équipes techniques exigeantes et en lien étroit avec les équipes métiers. Vous êtes autonome, rigoureux(se), à l’aise avec les environnements complexes et vous avez une vraie culture production . Compétences attendues : Excellente maîtrise de Spark (PySpark) et Informatica Solide expérience en Hadoop on-premise (HDFS, YARN) Maîtrise de Hive , SQL/HQL Connaissances en Starburst et Indexima appréciées Bonne expérience en scripting Bash et environnement Unix/Linux Expérience en CI/CD : Jenkins, XLDeploy, XLRelease Connaissance des outils de gestion Agile : Jira Pratique des chaînes d’industrialisation et de mise en production de traitements
Data Engineer (H/F)

CITECH recrute ! 👌 ✨ Si vous souhaitez mettre à profit votre expertise sur des projets stratégiques en data, nous avons LA mission qu’il vous faut ! Nous recherchons en effet un(e) Data Engineer (H/F) . 👉 Notre client est un acteur industriel international. Vous intégrerez leur équipe Data au cœur de la transformation numérique. 👈 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Définition et évolution des modèles de données pour garantir leur cohérence et accessibilité 🔸 Structuration des flux inter-systèmes (ERP, BI…) et gestion des duplications 🔸 Mise en place des standards de cartographie, lignée et gouvernance des données 🔸 Définition et implémentation des architectures cibles (cloud & on-premise) 🔸 Développement et optimisation des flux ETL 🔸 Supervision des environnements Azure et des composants Microsoft Fabric 🔸 Support technique auprès des équipes métiers et data scientists 🔸 Coordination des développements confiés à des partenaires externes 🔸 Participation active à la roadmap data du groupe et à l’analyse des besoins utilisateurs
Data Engineer Informatica (H/F)

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer Informatica (H/F) à Rouen, France. Contexte : Les missions attendues par le Data Engineer Informatica (H/F) : Au sein d’une équipe de développement agile composée de 5 à 7 Data Engineer Vous assurerez aussi le build et le run des traitements livrés en production. Rédiger de spécifications techniques détaillées Chiffrer, concevoir, réaliser et maintenir les traitements d’intégration des données pour garantir des résultats conformes aux exigences de qualité, performance, délai et sécurité. Concevoir et implémenter de nouveaux datawarehouse et maintenir les modèles de données décisionnelles en production. Participer à la gestion des incidents, des changements et des déploiements. Maitriser la conduite d’analyse et études d’impact des pipelines de données en service. Réaliser de tests unitaires et tests d’intégration Rédiger de la documentation technique et réglementaire Compétences techniques : • Informatica Power Center 10.x •SGBDR SQL Server •Connaissance en SAS macro serait un plus Modalités: Durée : mission longue durée Modalité présence sur site : 3 jours sur site à Rouen, 2 jours télétravail possible Localisation : Rouen, accessible en transport en commun
Data Engineer T-SQL

Notre client, un établissement bancaire, recherche un consultant (H/F) pour l'accompagner dans la migration d’une application de pilotage climatique stratégique de Hadoop vers SQL Server, dans le cadre de la trajectoire climat de la BFI. Vous intègrerez l'équipe qui travaille à la collecte, la gestion et la distribution des données ESG. La mission porte spécifiquement sur le projet qui concerne l'outil de simulation et de suivi de l’exposition ESG des clients. L’équipe (4 personnes + 1 chef de projet) est organisée en méthode Agile. Migration de l’application de la plateforme Hadoop vers SQL Server : - Conception du modèle de données sous Sql Server 2019 - Migration des process d’ingestion des données de Hadoop vers SqlServer - Migration des processus de transformation et de caclul - Ordonnancement des traitements (via ctrlM) - Optimisation des traitement T-SQL - Réaliser des tests unitaires et participer aux recettes, - Assurer des tâches de support, - Contribuer à la Méthodologie Agile Scrum / KanBan - JIRA (Daily meeting, poker planning, rétrospective, ..) - Rédiger des documentations techniques - Confluence, - Participer éventuellement aux dispositifs d’astreintes
Data Engineer H/F CDI
Contexte / Objectifs : La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad Global Trade qui aujourd'hui développe et gère un datalake (GTLake). Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Développeur/Data Engineer du GTLake : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets A noter que nous avons démarré une phase de mutation du GTLake vers du code python/spark. La prestation demande donc faire preuve d'autonomie pour traiter en toute sécurité : - de la modernisation nos solutions de transformation legacy - ou de la migration de workflows informatica vers des solutions plus modernes et industrielles.
Consultant Data Engineer (H/F)

À ce poste, vous serez une référence technique dans le domaine du Big Data, aussi bien vis-à-vis des clients pour lesquels vous interviendrez, que de l'équipe de réalisation à laquelle vous appartiendrez. Vos missions : Participer aux processus d'avant-vente et à l'élaboration des propositions commerciales ; Diriger la conception et la mise en oeuvre de projets Big Data ; Concevoir et développer des solutions de traitement de données massives (Hadoop, Spark, Kafka, Python, Scala, Hive...) ; Mettre en place des pipelines de traitement de données ETL et assurer la qualité des données (NiFi, Talend, Airflow, SQL...) ; Assurer la gestion et l'optimisation des bases de données distribuées et NoSQL (Cassandra, MongoDB, ElasticSearch...). Plus largement, vous pourrez?enrichir nos bonnes pratiques en matière d'architecture et de développement dans le domaine du Big Data, effectuer de la veille technologique, élaborer des supports de formation technique pour nos clients et nos consultants, ou encore contribuer à l'animation du pôle technique d'Artik Consulting.
Développeur Data Engineer SQL/Python

Nous recherchons un Développeur Data Engineer SQL/Python Objectif global : Développer Data Engineer SQL/Python Contrainte du projet: 2 jours/semaine en présentiel à Lyon Les livrables sont: Build : Intégration des flux, traitement et valorisation de données Run/MCO : traitement des incidents, surveillance, data gouvernance Dataplatform : amélioration continue de l'environnement technique Compétences techniques: SQL - Expert - Impératif Python - Expert - Impératif Oracle - Confirmé - Impératif Airflow - Confirmé - Important COMPÉTENCES RECHERCHÉES: Indispensables : Maitrise de l'utilisation de bases de données relationnelles ou non-relationnelles : Oracle Database, Oracle Golden Gate, Postgres, Liquibase, S3 Scality A une expertise dans les langages de programmation utilisé par le produit : SQL, Python, Shell, Java Expérience : Participation à des projets liés à la Data et aux Bases de données (injection, valorisation, exposition des données) Bonne compréhension fonctionnelle Maîtrise les outils de la gestion des environnements : Windows, LINUX Maîtrise les outils de développement et de gestion des configurations : GitHub, GitLab Maitrise les outils de gestion de flux de données utilisés par le produit : Airflow, Trino, API REST, Kafka A une connaissance avancée des outils et méthodes d'intégration continue (Matériaux DEVOPS) : Ansible, Jenkins Agile/Safe Conditions de travail : Présentiel souhaité : 2 jours par semaine chez le client à Lyon (à ToLyon à côté de la gare Part Dieu) avec des jours variables chaque mois. Savoir-être : Bonnes compétences en communication Esprit d’équipe : capacité à collaborer efficacement Force de proposition : aptitude à apporter des idées et solutions proactives
Data Engineer

TEKsystems recherche pour l'un de ses clients grands compte un data engineer: MISSION PRINCIPALE Dans le cadre de notre développement de la plateforme de données, le data engineer aura pour mission de contribuer à son évolution, de veiller à la qualité des données et d'assurer un cycle de vie efficace des données, de leur production à leur utilisation optimale. Membre de l'équipe CIO, le data engineer travaillera en étroite collaboration avec les différentes équipes de l'entreprise, notamment l’équipe BI. De plus, il.elle sera chargée d'accompagner les producteurs de données dans l'intégration de nouvelles sources de données. ACTIVITÉS PRINCIPALES Intégration et transformation des données avec DBT Mise en place de tests sur les données Ingestion de données avec notre API (python) sur Kafka Déploiements avec Ansible et/ou Terraform en fonction des besoins Mise en place d’alertes et/ou de monitoring Participer aux routines de l’équipe (weekly, sprint planning, daily standup meeting) Participer activement à l’évolution des stacks data et métriques de l'entreprise, de concert avec les différentes PU de l’entreprise Travailler à la refonte de la plateforme de remontée de métriques
Data Engineer

Nous recherchons un(e) Data Engineer pour intervenir au sein de l’équipe data d’un grand acteur de la distribution, dans le cadre d’un projet stratégique de refonte de la couche sémantique. Ce chantier vise à développer une interface entre les sources de données et les usages métiers, afin de permettre l’accès à des milliers d’indicateurs par les différentes équipes opérationnelles. La mission s’inscrit dans un contexte de transformation data à grande échelle, reposant sur une architecture moderne facilitant la réutilisation des datamarts pour divers produits analytiques : dashboards, algorithmes, reportings, etc. Missions principales : ● Montée en compétence sur la solution de couche sémantique ● Redéveloppement de la couche sémantique de Carrefour. ● Optimisation des performances et coûts GCP ● Documentation complète de la couche sémantique. ● Garantie de la continuité des usages de consommation existants, et résolution de tickets en cas de downtime (Support à l’activité day to day des consommateurs).
Senior Data Engineer

Nouvelle Opportunité de mission / Client Paris / Secteurs Réseaux sociaux __________ Stacks techniques requises : · GCP · BigQuery · DBT · Compose (Airflow) · Terraform · Amplitude Analytics · Spanner (base de données applicative) · Profil __________ Missions : · Construisez et gérez des pipelines de données robustes pour répondre aux besoins métier en constante évolution, garantissant ainsi un support architectural optimal. · Contribuez à la base de code, implémentez et maintenez vos modifications en production, et soyez un fervent défenseur des bonnes pratiques de codage et d'ingénierie des données. · Assurez-vous de la responsabilité des projets, des discussions initiales à la publication, y compris l'estimation et la définition du périmètre des fonctionnalités, la conception de l'architecture, l'analyse comparative des nouvelles technologies, les retours produits… · Travailler dans un environnement très agile avec un processus de décision rapide. · Collaborez directement avec les équipes de développement back-end, de science des données, de jeux mobiles, d'applications mobiles grand public, de produits et de marketing.
Data Engineer Big Data

Vos missions : Participer à la définition de l’architecture Data en collaboration avec les architectes et la squad. Concevoir, affiner et développer des solutions de collecte et de stockage des données issues de multiples sources, pour les rendre accessibles aux métiers. Mettre en œuvre des tests unitaires et automatisés. Assurer le déploiement des produits dans les différents environnements. Garantir le bon fonctionnement en production : suivi, assistance, gestion des incidents. Contribuer à l’amélioration continue des pratiques de l’équipe, notamment la qualité du code. Apporter expertise et force de proposition au sein du chapitre technique. (En option) Contribuer à des activités BI dans un environnement Teradata. ⚠️ Point d’attention : présence obligatoire d’au moins 3 jours par semaine sur site.
Data Engineer -(h/f)

Le rôle principal est d'assurer la migration de l'application Accompagnement Revenu Management vers Google Cloud Platform (GCP), tout en intégrant des solutions Big Data et en guidant d'autres projets vers une intégration cloud efficace. Le candidat idéal doit avoir une solide expérience en tant que Data Engineer, avec des compétences spécifiques en Java, Hadoop, Spark et GCP. Responsabilités Les principales responsabilités incluent : Gérer la migration de l'application d’Accompagnement Revenu Management vers GCP. Accompagner les membres de l'équipe sur des projets d'intégration cloud. Développer des solutions Big Data sur la plateforme cloud. Travailler avec des bases de données Hadoop, Oracle et Java Spark. Collaborer avec des équipes inter fonctionnelles sur des projets complexes. Analyser le code existant pour en comprendre les structures de données. Exigences Clés 5 à 7 ans d'expérience en tant que Data Engineer. Compétences en Java, Hadoop, Spark et GCP. Expérience dans la migration de jobs Hadoop et Spark vers GCP. Capacité à travailler sur site à Valbonne, 2 jours par semaine. Atouts Connaissance des systèmes de gestion des revenus (RM). Expérience avec Spring et Spring Boot. Familiarité avec GCS et BigQuery. Anglais courant pour faciliter la communication avec les équipes. Autres Détails Location : Valbonne. Équipe : 4 équipes sur le projet d’Accompagnement Revenu Management avec une nouvelle équipe dédiée à la migration vers le cloud. Durée de la mission : Longue durée. Télétravail : 3 jours par semaine.
AZURE DATA ENGINEER
Dans le cadre du renforcement des équipes Data de notre client, nous recherchons un Azure Data Engineer passionné et expérimenté pour participer à la mise en place et à l’optimisation de la plateforme data sous Azure. Vous jouerez un rôle clé dans la conception, la modélisation et l’industrialisation des pipelines de données, en lien direct avec les équipes métiers. 🎯 Vos missions : Concevoir et maintenir des pipelines de données robustes et scalables sur Azure Data Factory (ADF) Implémenter des entrepôts de données performants via Azure Dedicated SQL Pool Concevoir des modèles de données analytiques dans Azure Analysis Services Proposer des modélisations adaptées aux besoins métiers, notamment en modélisation en étoile Collaborer avec les équipes métiers pour comprendre les besoins et formaliser les exigences data Participer à la gouvernance des données et à la documentation technique Développer et optimiser des rapports et dashboards Power BI , en maîtrisant le langage DAX et la RLS Exploiter les fonctionnalités avancées de Power BI Premium (capacités dédiées, dataflows, etc.) Utiliser DBT pour la transformation des données (data transformation layer) Travailler en lien avec Databricks (notions)
DATA ENGINEER PYSPARK/DEVOP'S

Je recherche pour un de mes clients un consultant Data Engineer avec compétences Devop's : Contexte de la mission : Dans le cadre de projets data stratégiques chez un grand acteur du secteur Banque/Assurance, nous recherchons un Data Engineer maîtrisant PySpark et disposant de solides compétences DevOps . Le consultant interviendra sur des sujets liés à l’industrialisation des traitements de données et à la mise en place de pipelines robustes et scalables. Compétences techniques requises : Data Engineering : Maîtrise de PySpark (batch et/ou streaming) Bonnes pratiques de développement en Python (structuration de code, testing) Expérience en traitement de données massives sur des environnements distribués DevOps : Pratique des outils CI/CD : Jenkins , Git , Ansible Connaissance des environnements Docker et Kubernetes Expérience en automatisation et déploiement d’applications data Compétences fonctionnelles : Bonne connaissance des environnements Banque ou Assurance Compréhension des enjeux métiers (reporting réglementaire, calculs de risques, conformité…) Langues : Anglais courant requis (équipe projet internationale, documentation technique) Profil recherché : Expérience de 4 à 8 ans en tant que Data Engineer ou Développeur Big Data Autonomie, sens de l’organisation, capacité à collaborer dans un contexte agile Rigueur dans le suivi des bonnes pratiques de développement et de déploiement Localisation : Paris / Île-de-France – modèle hybride possible (2-3 jours de télétravail par semaine)
Tech Lead Data Engineer H/F
Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Assurer la mise en œuvre de l'accès, du référencement et de la qualité de la donnée • Assurer l'industrialisation, la supervision et l'intégration des solutions • Rédiger les normes de développement • Participer à la rédaction du manuel d'exploitation En tant que Tech Lead, vous savez : • Vous présenter et promouvoir des architectures data face au client • Identifier et comprendre les besoins métiers • Former, encadrer et faire évoluer les consultants juniors • Participer à la réponse aux appels d'offres (avant-vente) Référence de l'offre : 7kbz633w88
Data Engineer (3 ans exp. min.)

Bonjour et merci d'avoir cliqué sur cette offre 😊 Nous recherchons un.e Data Engineer super performant.e pour une grande entreprise française ! 🚀 Ce poste est fait pour toi si : tu as 3 ans d'expérience professionnelle min. en tant que Data Engineer . tu as 2 ans d'expérience professionnelle min. avec GCP. tu as déjà travaillé avec BigQuery. tu as déjà travaillé avec Terraform. tu sais choisir les modèles des données les plus pertinents. tu parles anglais à un niveau professionnel. 🎯 Ce que l'on attend de toi … ✨ Collaborer avec les équipes produits du domaine pour identifier structurer et transformer les données produits par leurs appli. ✨ Mettre en place des controles de qualité des flux de données pour garantir la fiabilté, leur complétude et leur conformité ✨ Rendre les équipes produit autonomes dans la gestion des flux de données ✨ Formation et sensibilisation des dév aux pratiques data ✨ Mise en place de solutions monitoring de données ✨ Accompagnement pour la mise à dispo contrinue des nouvelles données au fil de l'exécution des appli TT: 2 jours par semaine. 🔥 Ce que tu trouveras chez nous🔥 : 👉 Un système de prime de cooptation qui n’existe nulle part ailleurs 👉 Primes vacances 👉 Tickets restaurants 👉 Mutuelle prise en charge à 100% 👉 Frais mobilité de 4 euros par jour travaillé (pas besoin de justificatifs) 👉 Une entreprise jeune et ambitieuse où il fait réellement bon vivre 👉 Tu as envie d’un nouveau défi, entouré(e), valorisé(e), écouté(e) ? Postule et parlons-en. Même si ce n’est pas pour cette mission, on trouvera peut-être celle qui te correspond parfaitement. Les étapes à venir après avoir postulé : nous étudierons ta candidature avec attention. si elle nous intéresse, tu recevras un appel pour un premier échange de préqualification. On t’enverra un mail si on n’arrivera pas à te joindre. Si elle ne nous intéressera pas (ça sera certainement pour une autre mission 😉), on t’enverra un mail. Merci de ton attention et à très vite pour une aventure épanouissante chez Winside 🙂
Déposez votre CV
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.