Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark à Paris

Je recherche pour un de mes clients un consultant Data Engineer avec compétences Devop's : Contexte de la mission : Dans le cadre de projets data stratégiques chez un grand acteur du secteur Banque/Assurance, nous recherchons un Data Engineer maîtrisant PySpark et disposant de solides compétences DevOps . Le consultant interviendra sur des sujets liés à l’industrialisation des traitements de données et à la mise en place de pipelines robustes et scalables. Compétences techniques requises : Data Engineering : Maîtrise de PySpark (batch et/ou streaming) Bonnes pratiques de développement en Python (structuration de code, testing) Expérience en traitement de données massives sur des environnements distribués DevOps : Pratique des outils CI/CD : Jenkins , Git , Ansible Connaissance des environnements Docker et Kubernetes Expérience en automatisation et déploiement d’applications data Compétences fonctionnelles : Bonne connaissance des environnements Banque ou Assurance Compréhension des enjeux métiers (reporting réglementaire, calculs de risques, conformité…) Langues : Anglais courant requis (équipe projet internationale, documentation technique) Profil recherché : Expérience de 4 à 8 ans en tant que Data Engineer ou Développeur Big Data Autonomie, sens de l’organisation, capacité à collaborer dans un contexte agile Rigueur dans le suivi des bonnes pratiques de développement et de déploiement Localisation : Paris / Île-de-France – modèle hybride possible (2-3 jours de télétravail par semaine)

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Streamlink propose des solutions sur mesure et innovantes sur l’ensemble du cycle de développement des solutions Data, CRM / SAP, Dév & APPS, Cybersécurité, Cloud & infrastructures. Grâce à un réseau d’excellence à travers le Monde, basé entre Tunis (Tunisie) – Paris (France) – Port Louis (Maurice) , Streamlink favorise l'innovation digitale de ses clients. Streamlink, un environnement très agile et en forte croissance recherche pour un client dans le secteur BFA un Senior Data Engineer - Lead / Dev Lead Pyspark / Fin Ops Prestation attendues : • Analyser et cartographier, avec les experts métiers et l'équipe de développement, le pipeline de données actuel : les modèles de données des différentes base de données utilisées; les flux de données qui existent entre les différentes sources de données (lignage des données); les règles de validation, de filtrage de calcul actuellement en place lors des transferts de données • Assister les architectes dans la définition du nouveau pipeline de données en s'appuyant sur les service cloud • Appuyer l'équipe de développement dans la réalisation de la nouvelle solution : Mise en place en place de la solution et des bonnes pratiques associées ; Culture du data engineering ; Expertise sur l'outillage data mise en place (ETL, base de données, PySpark , Glue) • Être un métronome de l'agilité Compétences Techniques : • Catalogue des données consommées et produites et des règles de transformation associées • Solution pour alimenter Pluri en données provenant de plusieurs SI partenaires Compétences techniques requises : • Expertise dans l'outillage de stockage des données (base de données, fichiers) et le traitement des données (ETL, Spark) • Expertise Spark, quelque soit le langage de prédilection (Python, Scala , Python). • Maitrise des bonnes pratiques de développements et de la mise en oeuvre des outils liées à la data. • Maîtrise des technologies du Big Data, des problématiques liées à la volumétrie et aux performances • Maîtrise des outils de gestion de code (Git) et de déploiement projet (Terraform) • Connaissance de DataBricks • Connaissance du cloud Azure Savoir Faire: • Esprit analytique, rigueur et aisance relationnelle • Appétence et curiosité pour les nouvelles technologies, le Système d’Information et l’Agilité. Expériences professionnelles requises : • Plusieurs expertise significatives dans l'analyse de données et la mise en place de pipelines qu'ils soient de type batch/ETL ou événementiel/streaming • Mise en oeuvre des outils disponibles dans le cloud AWS pour stocker et traiter de la données: Glue, Spark, Airflow, RDS, OpenSearch, S3 Parquet Ce poste est ouvert aux personnes en situation de Handicap

Dans le cadre d’un projet stratégique de modernisation et d’optimisation des traitements data, nous recherchons un·e Data Engineer Senior maîtrisant l’environnement AWS pour intervenir sur la conception, l’industrialisation et la mise en production de pipelines de données. Vous interviendrez au sein d’une équipe technique pluridisciplinaire (PO, devs, ops, QA) dans un contexte agile (SAFE), avec une forte exigence en termes de fiabilité, de performance et de documentation. Vos missions : Conception et mise en œuvre de pipelines de traitement de données sur AWS (batch & streaming) Développement de scripts et d’outils Python (notamment via Boto3) pour l’automatisation des workflows Création et gestion d’infrastructures via Terraform Contribution à la mise en place et à l’optimisation d’ APIs backend Gestion des environnements Linux / Cloud (S3, Lambda, API Gateway, RDS, DynamoDB, etc.) Documentation technique et participation active aux rituels agiles de l’équipe

Contexte / Objectifs : Pour un acteur financier, la mission va se dérouler au sein d'une squad de l'équipe Big Data & API qui aujourd'hui développe et gère un datalake. Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer du datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Orcan Intelligence recherche pour l’un de ses clients un consultant Data Engineer Palantir expérimenté (+5 ans) pour intervenir sur les missions suivantes: Développer des pipelines de données pour nos fondations dans Palantir Foundry Construire, maintenir et documenter des pipelines, notamment pour l'intégration de données dans notre modèle analytique (architecture medallion). Etablir des Contrôles de qualité, tests,........etc

Hello, Voici le descriptif du poste pour avancer ensemble si tu es en recherche actuellement d'une nouvelle mission data avec du python en back end: Contribuer aux déploiements de modèles d’IA Contribuer à la mise en place et à la maintenance d’archi Data Cloud Concevoir, développer et déployer des pipelines de données avec du python, avec du sql pur dans un environnement AWS Concevoir et exposer des APIs collaborer au quotidien avec les data scientists avec du gitlab et etre à l'aise avec les processus MLOps

Le Data Engineer sera chargé de construire, livrer et maintenir des produits de données (pipelines de données, services, API...). Il travaillera en étroite collaboration avec les équipes de produits pour développer de nouvelles fonctionnalités liées à ces produits, notamment des fonctionnalités liées à l'acheminement des données au sein ou entre plusieurs produits, aux capacités analytiques et d'entreposage pour l'exploration des données, la science des données, le BI, le calcul parallèle sur de grands volumes de données.

Contexte de la mission : Nous recherchons un(e) Data Engineer confirmé(e) pour intégrer une équipe agile dédiée à la mise en place et à l’industrialisation de pipelines de données sur la plateforme GCP. Vous interviendrez sur des projets stratégiques autour de la valorisation des données métiers (finance, risque, conformité, etc.). Vos missions : Conception, développement et optimisation de pipelines de données scalables sur Google Cloud Platform (GCP) Intégration et transformation des données issues de diverses sources (BigQuery, Pub/Sub, Cloud Storage, etc.) Utilisation de Apache Spark pour le traitement de gros volumes de données Orchestration des workflows avec Apache Airflow (Cloud Composer) Collaboration avec les Data Analysts, Data Scientists et les équipes métiers pour répondre aux besoins data Mise en place de bonnes pratiques de développement (CI/CD, tests, monitoring, documentation) Participation à l’évolution de la plateforme data et contribution à l’amélioration continue des process Compétences techniques attendues : Langage : Python (maîtrise indispensable) Traitement de données : Apache Spark (PySpark) Orchestration : Airflow (Cloud Composer) Cloud : GCP (BigQuery, Cloud Storage, Dataflow, Pub/Sub...) Outils : Git, Docker, Terraform (atout), CI/CD (GitLab CI, Jenkins...) Méthodologie : Agile/Scrum, DevOps

Fiche de Poste : Ingénieur Data / Cloud (H/F) Anglais professionnel (oral et écrit) obligatoire Forte appétence pour l’exploration Aisance en communication Expérience en Cloud PaaS/IaaS Amazon et bonnes connaissances AWS (S3, Lambda, DynamoDB, etc.) Maîtrise de Terraform et Git Compétences avancées en Python 3 + Boto3 AWS et Linux Expérience en data processing (pandas, pyspark, multi-threading, AWS batch) Connaissances en Data Science (NLP, LLM, AWS Bedrock) appréciées Développement backend et APIs REST Bonne pratique de la documentation technique (schémas, diagrammes, code structuré)

Pour l'un de nos clients Grand Compte et dans le cadre d'une mission longue durée, nous sommes à la recherche d'un Intégrateur/Ingénieur Cloud Azure. Profil recherché : Solide expertise en environnement Azure Cloud Maîtrise de l'infrastructure Big Data : Databricks (Unity Catalog, Génie), Azure Data Factory, Azure Data Lake Storage Gen2 Expérience dans la collecte, transformation et stockage des données en environnement Cloud Capacité à développer des scripts de traitement de données (brutes et enrichies) – Python, PySpark, SQL Compétences en gouvernance des données : traçabilité, sécurité (authentification, autorisation) Connaissances solides en cybersécurité Maîtrise des outils suivants : Terraform pour la gestion d'infrastructure Azure Key Vault pour la gestion des secrets GitLab pour la gestion du code Jenkins pour l’intégration continue Datadog pour la supervision PowerAutomate pour l’automatisation Blobfuse2 pour le montage entre VM Azure et Azure Blob Storage Power BI pour la visualisation de données SharePoint pour le dépôt documentaire Bonne connaissance des protocoles de communication : API REST, SFTP, HTTPS Sensibilité au cycle de vie des données (ILM / DLM) Approche DevOps et méthodologie agile Missions attendues: Concevoir et maintenir une infrastructure Cloud Azure sécurisée, performante et optimisée (techniquement et financièrement) Assurer la mise en œuvre complète de la solution : développement, configuration, intégration Implémenter et améliorer les flux de collecte, transformation et stockage de données dans les clusters Développer des traitements sur la donnée brute et enrichie Contribuer à l’enrichissement du Cyberlake Rédiger et partager les spécifications techniques Participer à l’analyse des besoins en stockage, reporting et analyse de données Collaborer étroitement avec les chefs de projets, architectes et data scientists Contribuer à l’architecture, la conception et le développement des solutions Assurer l’intégration continue et les pratiques DevOps Animer des ateliers et travailler en synergie dans une équipe Datalake restreinte Produire des tableaux de bord, exports et reportings Gérer les incidents et participer aux actions correctives Optimiser les coûts et produire les éléments nécessaires à la facturation Apporter une expertise technique et méthodologique