Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

Notre client recherche un Développeur Java Spark Angular , profil Confirmé 3-5 ans d'expérience Obligatoire : Java, Spark, Angular Mission : 6 mois avec possibilité d'être prolongé Télétravail : 2 jours par semaine (non négociable) Secteur : Divertissement L'entreprise souhaite migrer plusieurs jobs Datastage vers Spark, une plateforme de traitement de données Big Data. Le consultant devra travailler sur la plateforme Spark pour réaliser les évolutions nécessaires. L'environnement : Java , Angular, Spark, Kafka, AWS

Fiche de Poste – Expert Technique Java / Spark / Angular Localisation : Paris Expérience : 10 à 15 ans Contexte : Le bénéficiaire recherche un Expert Technique Java / Spark / Angular pour accompagner les évolutions réglementaires des plateformes de projections des paramètres de risque et de simulation d’impact des chocs sur le coût du risque et les provisions. L’objectif est d’assurer le bon fonctionnement et l’évolution des moteurs de calculs réglementaires tout en migrant les applications vers le Cloud DMZR.

Dans le cadre de projets stratégiques autour du traitement de données massives et de la répartition de flux financiers, nous recherchons un Ingénieur Full Stack Java confirmé. L’objectif de la mission est de renforcer une équipe technique en charge du développement de traitements batchs critiques et d’APIs performantes, dans un environnement Java/Spark. Missions principales Concevoir et développer des traitements batchs critiques en Java et Spark Développer des APIs REST et des services backend avec Spring Boot Modéliser et exploiter des bases de données relationnelles Participer à la migration de données et à l’optimisation des performances Contribuer à l’écriture de tests unitaires et d’intégration Documenter les processus techniques et appliquer les bonnes pratiques DevOps

💡 Contexte /Objectifs l'entité est en charge des développements liés aux applications sources, de contrôle et de valorisation des instruments, des données de marchés et des facteurs de risques. L'application sert à transférer les données sur le Cloud public (Azure) à des fins analytiques. 💡 Objectifs et livrables Les enjeux étaient nombreux :  Volumétrie de données  Performance / Multi-Threading  Data Quality  Legacy Management  Large éventail de technologies à maîtriser : o Etudes techniques o Refonte technique et refonte de l’architecture du projet o Migration On-Premise vers Azure o Optimisation des performances o Amélioration du Code Quality o Mise en place des process CI/CD o Mise en place du monitoring o Diverses implémentations et migrations techniques de composants déployés dans Azure (AirFlow, Migration Blue/Green, etc…)

Missions principales : Conception et développement de traitements batchs critiques en Java et Spark. Développement d'API REST et de services backend avec Spring Boot. Modélisation et exploitation de bases de données relationnelles. Participation à la migration de données et à l'amélioration continue des performances des traitements. Contribution aux tests unitaires et d'intégration. Documentation des processus techniques et participation aux bonnes pratiques DevOps. Profil recherché : Expérience confirmée en développement Java (impératif). Maîtrise de Spark pour les traitements de données volumineuses (impératif). Bonne connaissance de Spring Boot et des API REST. Solide compétence en bases de données relationnelles. Expérience en migration de données et en réalisation de tests. Connaissances en CI/CD, Docker, Kubernetes sont un plus. Soft skills attendues : Autonomie et réactivité dans la résolution de problématiques techniques. Esprit d'analyse, de synthèse et capacité de documentation. Capacité à collaborer efficacement avec les équipes DEV, OPS et produit. Proactivité et partage de connaissances au sein de l'équipe.

Contexte & Objectifs Au sein du service Gouvernance, Administration et Monitoring de la DSI Finance, la mission vise à développer et optimiser une brique applicative de monitoring des flux et traitements de données , en lien avec le programme GASPARD . L’objectif est d’assurer la qualité de service et le respect des délais de mise à disposition des données, notamment face à l’augmentation des volumes prévue en 2024-2025. D’une durée de 6 mois , cette mission doit finaliser les travaux en cours et garantir les performances pour les futurs déploiements. L’équipe est basée à Paris , avec des interactions quotidiennes avec les équipes GASPARD à Paris et Porto . L’anglais est donc indispensable. Description & Activités Collecte et mise à disposition des données pour l’entreprise. Industrialisation et mise en production des traitements (tableaux de bord, intégration de modèles). Développement et optimisation des pipelines d’ingestion (streaming & batch). Mise en production de modèles statistiques et traitements Spark . Développement de scripts et jobs de traitement (mapping, normalisation, agrégation). Développement d’API et dashboards pour la restitution des données. Administration et configuration de clusters Hadoop et Spring Boot pour l’extraction et l’intégration des données via Kafka et Data Lake . Profil & Informations Expérience requise : 6 à 9 ans. Localisation : paris 13. Début souhaité : 03/03/2025. Mode de travail : hybride ( 2 jours sur site minimum / 10 jours de télétravail max si convention).

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Python/Spark/Deltalake. Tâches: Conception, développement et déploiement des pipelines de données efficaces pour l’extraction, la transformation et le chargement (ETL) des données, - Collaboration avec les équipes métier pour comprendre les besoins en matière de données et proposer une solution adaptée, - Etablissement des spécifications techniques à partir des besoins, - Mise en place de la collecte et la mise à disposition des données, - Garantie de la sécurisation des pipelines de données déployés, - Analyse et transformation des données pour répondre aux besoins des métiers, - Industrialisation et automatisation de la transformation des données suivants les spécifications définies, - Développement et maintien des batchs d’automatisations de traitement, - Suivi de la production et la maintenance, - Développement de l’industrialisation de modèles statistiques, - Développement des dashboards en lien avec les attentes du métier, - Rédaction et maintien de la documentation relative aux bases de données et à leur exploitation, - Accompagnement des citizens developers dans leur prise en main de la plateforme data in-house. Si vous êtes actuellement à l'écoute du marché, je vous invite à m'envoyer votre candidature. Bien à vous, Nadia

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Développer et maintenir des pipelines de données actuarielles, assurer la qualité des données et contribuer à divers projets d'analyse de données sur une plateforme DATA moderne. Développer et maintenir des pipelines de données robustes et évolutifs sur Databricks. Assurer la qualité et l'intégrité des données collectées et traitées. Collaborer avec les équipes d'inventaire pour comprendre les besoins en matière de données et fournir des solutions adaptées. Participer à l'optimisation des performances des bases de données et des systèmes de traitement des données. - Contribuer à la documentation des processus et des flux de données.

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Notre souhaite une prestation d'accompagnement dans le cadre de l’accélération de l’IA d’une grande banque française. L'objectif est de renforcer l'équipe en charge de la mise en place et de l'optimisation des solutions de traitement de données massives, en s'appuyant sur des technologies Big Data et d'intelligence artificielle. Dans ce cadre, nous recherchons un Data Engineer Spark pour intégrer une équipe spécialisée et intervenir sur des problématiques de Delivery. La mission consiste à assurer la mise en place, l'optimisation et le maintien des règles métier dans un environnement de production à forte volumétrie. Les principales missions seront : Écriture, test et validation des règles métier en collaboration avec les équipes métiers et IT ; Développement et maintenance des règles dans Rule Designer et Decision Center ; Contribution à l'amélioration et à l'optimisation des traitements existants ; Analyse des besoins, modélisation des données et rédaction de spécifications fonctionnelles et techniques ; Participation aux ateliers et aux échanges avec les parties prenantes afin de garantir la bonne implémentation des solutions.

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Poste : Nous recherchons un Data Engineer (H/F) afin de renforcer notre pôle AI Experts qui intervient sur des sujets impactant directement notre business et l'expérience client, afin d'optimiser la personnalisation, le taux de conversion et les assets. Grâce à ses compétences alliant développement bigdata, appétences pour les modèles d’IA et architecture applicative, le data engineer participe à la conception d’applications mettant à l’échelle des algorithmes créateurs de valeur pour l’entreprise.

Nous recherchons un Data Engineer Databricks Sénior avec une expérience minimale de 5 ans. Le contexte : Migration des traitement Apache Spark/Scala du datalake depuis une plateforme AKS/Airflow vers Azure Databricks et mise en place de nouveaux pipelines Organisation et suivi des migrations des projets depuis AKS vers Databricks Audit du patrimoine applicatif et organisation de chantiers de refactorisation pour améliorer la résilience et les performances des applications Homogénéisation des pratiques de développement au sein du service (mise en place TU, process de code review, mise en place d’outils de code quality ...) Suivi et résolution de failles de sécurité Elargissement de l’utilisation des services Databricks par les projets (Unity Catalog, migration parquet vers delta, workflows ...) Maitrise DevOps Maitrise de Spark / Scala / Databricks & AZURE sont indispensables 2 ans d'expérience minimum dans le même environnement technique

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer senior Tâches : Conception, développement et déploiement des pipelines de données efficaces pour l’extraction, la transformation et le chargement (ETL) des données, - Collaboration avec les équipes métier pour comprendre les besoins en matière de données et proposer une solution adaptée, - Etablissement des spécifications techniques à partir des besoins, - Mise en place de la collecte et la mise à disposition des données, - Garantie de la sécurisation des pipelines de données déployés, - Analyse et transformation des données pour répondre aux besoins des métiers, - Industrialisation et automatisation de la transformation des données suivants lesspécifications définies, - Développement et maintien des batchs d’automatisations de traitement, - Suivi de la production et la maintenance, - Développement de l’industrialisation de modèles statistiques, - Développement des dashboards en lien avec les attentes du métier, - Rédaction et maintien de la documentation relative aux bases de données et à leur exploitation, - Accompagnement des citizens developers dans leur prise en main de la plateforme data in-house. Si vous êtes actuellement à l'écoute du marché, je vous invite à m'envoyer votre candidature. Bien à vous, Nadia