Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : 💡 Contexte /Objectifs : La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad Financing & Risk qui aujourd'hui développe et gère un datalake (RiskLake). 🤝 Expertises indispensables Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer du RiskLake : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets

J'ai un poste à pourvoir pour un data engineer senior qui connaisse le secteur de la finance de marché pour une mission longue en banque technos : scala spark kafka (java) si vous êtes intéressé, n'hésitez pas à postuler je vous appelle dans la journée plus de détails en privé. -- J'ai un poste à pourvoir pour un data engineer senior qui connaisse le secteur de la finance de marché pour une mission longue en banque technos : scala spark kafka (java) si vous êtes intéressé, n'hésitez pas à postuler je vous appelle dans la journée plus de détails en privé.

Obligatoire : Java, SPARK , Angular Développeur Java Angular Spark (H/F) Localisation : 92 Durée : 6 mois Renouvelable (visibilité 3ans) Démarrage : Avril Contexte : 1) Dans le cadre d'une application au sein du du domaine SI, plusieurs Jobs Datastage vont être migrés vers Spark. le consultant aura pour rôle de faire les évolutions sur la plateforme Spark. 2) Le candidat prendre en charge le développement d'application en java Angular, les montées de versions et correctifs Technologies du projet : Java, Angular, Spark, ElasticSearch... Process : 1 entretien Télétravail : 2 jours/semaine

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : 💡 Contexte /Objectifs l'entité est en charge des développements liés aux applications sources, de contrôle et de valorisation des instruments, des données de marchés et des facteurs de risques. L'application sert à transférer les données sur le Cloud public (Azure) à des fins analytiques. 💡 Objectifs et livrables Les enjeux étaient nombreux :  Volumétrie de données  Performance / Multi-Threading  Data Quality  Legacy Management  Large éventail de technologies à maîtriser : o Etudes techniques o Refonte technique et refonte de l’architecture du projet o Migration On-Premise vers Azure o Optimisation des performances o Amélioration du Code Quality o Mise en place des process CI/CD o Mise en place du monitoring o Diverses implémentations et migrations techniques de composants déployés dans Azure (AirFlow, Migration Blue/Green, etc…)

📌 Mission : Accompagnement Développement Big Data – Projet Lutte Contre la Fraude Dans le cadre d’un projet de refonte d’une application de lutte contre la fraude, notre client recherche un accompagnement technique afin de renforcer son équipe de développement Big Data (Java/Scala). 🎯 Objectifs de la mission : Accompagner techniquement les développeurs sur le projet Contribuer à l'amélioration de la vélocité et de la productivité de l’équipe Participer à la réflexion autour de l’architecture de la nouvelle application 💡 Stack technique : Langages : Scala (AKKA Actor / Play), Java Big Data : Spark , Hadoop (HTC) , Cassandra Bases de données : Oracle Streaming : Kafka Middleware : MQSeries DevOps / Qualité : Git , Jenkins , JUnit , Sonar Méthodologies : Agile (Scrum, Kanban) ✅ Compétences recherchées : Expérience solide en développement Java/Scala (front & back) Bonnes connaissances en DevOps Maîtrise des outils d’intégration continue et de qualité de code Capacité à intervenir dans un environnement Agile Sens de l’analyse et esprit de collaboration 📄 Livrables attendus : Audit technique du code et des processus existants Plan d’action pour améliorer la vélocité de l’équipe Propositions d’architecture pour la refonte applicative Recommandations techniques globales

data engineer senior - freelance - Paris python / SQL / Spark : databricks contribuer à la création de pipelines d'orchestration des modèles ML (preparation de features, training, tunning et inférence) dans le cadre de la création d'une plateforme dédiée au forecasting, qui s’appuie sur l’intelligence artificielle, le big data et les données météorologiques pour optimiser la gestion des risques et la performance des activités Supply et Renewables. -- data engineer senior - freelance - Paris python / SQL / Spark : databricks contribuer à la création de pipelines d'orchestration des modèles ML (preparation de features, training, tunning et inférence) dans le cadre de la création d'une plateforme dédiée au forecasting, qui s’appuie sur l’intelligence artificielle, le big data et les données météorologiques pour optimiser la gestion des risques et la performance des activités Supply et Renewables.

Missions principales : Conception et développement de traitements batchs critiques en Java et Spark. Développement d'API REST et de services backend avec Spring Boot. Modélisation et exploitation de bases de données relationnelles. Participation à la migration de données et à l'amélioration continue des performances des traitements. Contribution aux tests unitaires et d'intégration. Documentation des processus techniques et participation aux bonnes pratiques DevOps. Profil recherché : Expérience confirmée en développement Java (impératif). Maîtrise de Spark pour les traitements de données volumineuses (impératif). Bonne connaissance de Spring Boot et des API REST. Solide compétence en bases de données relationnelles. Expérience en migration de données et en réalisation de tests. Connaissances en CI/CD, Docker, Kubernetes sont un plus. Soft skills attendues : Autonomie et réactivité dans la résolution de problématiques techniques. Esprit d'analyse, de synthèse et capacité de documentation. Capacité à collaborer efficacement avec les équipes DEV, OPS et produit. Proactivité et partage de connaissances au sein de l'équipe.

Smarteo recherche pour l'un de ses clients, grand compte, Un Data Engineer Hadoop, Spark, Python, Scala, Devops, Stack Elastic, Kubernete, AWS sur Paris. Nous recherchons un Data Engineer - Sénior avec un minimum de 7 ans d'expériences sur des projets similaires. Projet : Conception et Maintenance de l'applicative Amélioration continue des produits / solutions de l'équipe Construction nouveaux usages Principaux livrables : Participer au cadrage technique Définition des solutions applicatives Développement, Intégration et Recette technique Traitement des incidents & assistance utilisateurs Participer à la révision du code écrit par d'autres développeurs pour s'assurer de la qualité, de l'efficacité et des bonnes pratiques en matière de développement de pipelines de données. Travailler étroitement avec les équipiers de la squad pour s'assurer que les solutions mises en œuvre répondent bien aux besoins métiers et sont alignées avec les meilleures pratiques. Participer au cadrage technique Définition des solutions applicatives Développement, Intégration et Recette technique Traitement des incidents & assistance utilisateurs Participer à la révision du code écrit par d'autres développeurs pour s'assurer de la qualité, de l'efficacité et des bonnes pratiques en matière de développement de pipelines de données. Travailler étroitement avec les équipiers de la squad pour s'assurer que les solutions mises en œuvre répondent bien aux besoins métiers et sont alignées avec les meilleures pratiques. Si vous êtes disponible et intéressé merci de me faire parvenir votre TJM+CV à jour dès que possible.

Notre client recherche un Développeur Java Spark Angular , profil Confirmé 3-5 ans d'expérience Obligatoire : Java, Spark, Angular Mission : 6 mois avec possibilité d'être prolongé Télétravail : 2 jours par semaine (non négociable) Secteur : Divertissement L'entreprise souhaite migrer plusieurs jobs Datastage vers Spark, une plateforme de traitement de données Big Data. Le consultant devra travailler sur la plateforme Spark pour réaliser les évolutions nécessaires. L'environnement : Java , Angular, Spark, Kafka, AWS

Objectifs et livrables Les missions de l'IT Scaler DATA - DIT incluent : Support technique du Product Owner (PO) : Apporter une expertise technique et méthodologique sur les aspects IT. Comprendre, analyser et proposer des solutions techniques répondant aux besoins du business, qui intègre chaque jour de nouvelles données. Piloter le transfert de nouveaux produits : Définir les compétences requises pour la bonne reprise du produit, identifier les membres de la squad et coordonner les opérations nécessaires pour assurer un transfert efficace des responsabilités. Piloter la performance des équipes : Veiller à ce que les équipes techniques maintiennent un niveau de performance optimal et une efficacité élevée afin de garantir la réalisation réussie des projets attendus. Assurer la conformité : Veiller à ce que les développements des équipes techniques soient conformes au cadre d’architecture, de cybersécurité, de SRE et agile. Mettre en œuvre le monitoring et définir la roadmap SRE de l'application Concilier les attentes métiers et les évolutions techniques : Prendre en compte les attentes métiers et les évolutions techniques provenant de l’architecture et de la cybersécurité. Maintenir la qualité des livrables : Assurer la qualité des livrables produits et la fiabilité globale des solutions techniques. Anticiper et gérer les risques : Proposer des plans de mitigation et les mettre en œuvre. Créer et maintenir une culture d’amélioration continue : Favoriser l'identification des opportunités d'amélioration des processus, des pratiques de travail et des compétences techniques. Développer l’autonomie de l’équipe : Guider l’équipe vers une prise de décision autonome dans un cadre référencé. Contrôler l’adéquation des consommations : S'assurer que les consommations (cloud, ressources, etc.) sont en adéquation avec les objectifs sur son périmètre. Mise en production et suivi des pipelines de données : Suivre le déploiement des pipelines de données robustes (collecte, stockage, transformation et exploitation) Suivi et compréhension des processus qualité des données : Assurer la préparation, la complétude, l’épuration et l’enrichissement des données. Collaboration avec le Techlead offshore : Challenger et améliorer les processus internes ; localisation et traçabilité des données, standardisation des flux et des scripts de traitement des données, documentation. Automatisation des tâches récurrentes (intégration de nouveaux tags, reprise d'historique).

La prestation concerne la réalisation d’une prestation d’ingénierie d’infrastructure et d’exploitation de la plateforme Data, et plus précisément d’une prestation d’expertise cloud et de construction et automatisation des infrastructures Cloud (publiques et privées) en lien avec les équipes de la Direction Data. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l'expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d'aide à la décision. Le prestataire participera au(x)/à : - BUILD des services - l’analyse des besoins liés à l’hébergement des développements - l’adaptation de l’industrialisation des infrastructures pour les changements - la planification et exécution des changements, - RUN des services et l’exploitation quotidienne - la remontée d’alarmes - diagnostic - l’analyse des incidents - intervention sur incidents - la documentation

Développer et maintenir des pipelines de données actuarielles, assurer la qualité des données et contribuer à divers projets d'analyse de données sur une plateforme DATA moderne. Développer et maintenir des pipelines de données robustes et évolutifs sur Databricks. Assurer la qualité et l'intégrité des données collectées et traitées. Collaborer avec les équipes d'inventaire pour comprendre les besoins en matière de données et fournir des solutions adaptées. Participer à l'optimisation des performances des bases de données et des systèmes de traitement des données. - Contribuer à la documentation des processus et des flux de données.

Notre souhaite une prestation d'accompagnement dans le cadre de l’accélération de l’IA d’une grande banque française. L'objectif est de renforcer l'équipe en charge de la mise en place et de l'optimisation des solutions de traitement de données massives, en s'appuyant sur des technologies Big Data et d'intelligence artificielle. Dans ce cadre, nous recherchons un Data Engineer Spark pour intégrer une équipe spécialisée et intervenir sur des problématiques de Delivery. La mission consiste à assurer la mise en place, l'optimisation et le maintien des règles métier dans un environnement de production à forte volumétrie. Les principales missions seront : Écriture, test et validation des règles métier en collaboration avec les équipes métiers et IT ; Développement et maintenance des règles dans Rule Designer et Decision Center ; Contribution à l'amélioration et à l'optimisation des traitements existants ; Analyse des besoins, modélisation des données et rédaction de spécifications fonctionnelles et techniques ; Participation aux ateliers et aux échanges avec les parties prenantes afin de garantir la bonne implémentation des solutions.

En collaboration avec un cabinet de conseil en démarrage spécialisé dans les données et l'IA, nous recherchons des profils expérimentés capables de se mettre immédiatement au travail et d'aider le client à définir ses stratégies en matière de données et à développer des solutions robustes permettant à ses clients d'exploiter le potentiel de leurs données. Veuillez noter que ce poste est destiné à des candidats en pré-embauche. Rôle : Senior Data Architect Durée : 6 mois freelance (pré-embauche) Lieu : Paris Hybride - 2/3j onsite Date de début : Mai/Juin Responsabilités principales : Concevoir des architectures de données complètes et optimisées pour répondre aux besoins des clients Développer et maintenir des modèles de données prenant en charge les opérations et les analyses des clients Développer des stratégies d'intégration des données Veiller au respect des réglementations (RGPD)

• Concevoir et implémenter un modèle de données robuste pour l’analyse détaillée du P&L • Développer des pipelines SQL pour extraire et transformer des données financières et opérationnelles • Développer et maintenir des jobs Spark pour le traitement de données à grande échelle • S’intégrer aux systèmes Hyperion (Oracle EPM) pour alignement avec le reporting financier existant • Travailler avec les équipes Finance et Data pour traduire les besoins en produits data concrets • Participer aux rituels Agile (sprints, grooming, rétrospectives) avec JIRA • Garantir la qualité, cohérence et performance des données tout au long du cycle de vie • Accompagner et former l’équipe Finance à la manipulation autonome des données