Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Nous recherchons un Expert Spark Streaming / Kafka pour une mission freelance au sein d'une organisation de premier plan dans le secteur aéronautique. Le candidat idéal aura une expérience technique approfondie sur Spark et Kafka, et sera capable de travailler de manière autonome tout en gérant efficacement les priorités. Missions principales : Développement et optimisation des applications de streaming avec Spark et Kafka. Configuration et gestion des paramètres des APIs Kafka Producer et Consumer. Développement de microservices backend utilisant Java, Scala, et Python. Utilisation de Maven, SBT ou Gradle pour la gestion des builds. Mise en place et gestion de pipelines de données en temps réel avec Spark Structured Streaming. Collaboration avec les équipes DevOps et utilisation des outils AWS pour le déploiement et la gestion des applications. Participation aux cérémonies agiles et utilisation de VersionOne pour la gestion des tâches (un plus).

Data Engineer Niveau 3 Contexte : Intégrer une équipe de développeurs data (Java, Spark, Spring) dont le rôle est la mise en place de pipelines de données à destination de vues NoSQL (Cassandra, MongoDB, Elasticsearch) Expérience de 5 ans min en développement data Expérience dans un grand groupe (expérience de l’inertie et des contraintes d’un groupe) Expérience sur tout le cycle de vie d’une application (besoin, conception, développement, déploiement, maintenance) Expérience souhaitée en amélioration d’une solution existante (contrainte de SLA, performance, montée en charge, refactoring, voir refonte) Recueillir le besoin utilisateur/BA, conceptualiser la solution technique associée et l’implémenter Adopter une approche proactive sur la qualité de code avec une méthodologie TDD Amélioration continue du code existant et revue avec les pairs des évolutions Support et sensibilisation des pairs à la qualité du code, aux bonnes pratiques et outillage améliorant l’expérience de développement S’inscrire dans une démarche agile avec un rythme de livraison soutenu (1 MEP / mois)

Data Engineer Python Spark - Confirmé client Banque basé à Paris Gare de Lyon, un Data Engineer - Confirmé avec un minimum de 4 ans d’expériences. Localisation Paris 12e/ Télétravail Durée de la mission : 2 ans Projet : Contribuer à la Fabrication des Produits des équipes dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) Contribuer à la fabrication d'un entrepôt de données interne dans un environnement Python - PostGresql Etre force de proposition et expertise sur les techno manipulées Principaux livrables : Développer les cas d'usages Data Participer à la définition de l'architecture Data (en lien avec les architectes et les équipes) Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code Compétences requises : Python (requis), Spark - spark streaming et batch (requis), Kafka (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Autonomie, Adaptabilité, Bonne communication (lien direct avec les PO ou DEV), Apprécié - activités BI : BDD Teradata, xDI, SQL Data viz : Microstrategy

Nous recherchons un(e) développeur(se) python passionné(e) pour rejoindre notre équipe et contribuer à la création de pipelines d'orchestration des modèles ML (preparation de features, training, tunning et inférence). Ces pipelines de données permettent aux Quants & Data Scientist d'industrialiser l’utilisation des modèles ML avancés dans les processus de prévision de la consommation et de la production d'énergie. Le profil idéal est : - Un(e) data engineer maîtrisant Python/Spark qui comprend les enjeux du MLOps - Un(e) passionné(e) du développement Python, capable de jongler avec les bibliothèques et les frameworks. - Un(e) passionné du développement capable de travailler avec les Quants et Data Scientists pour résoudre des problèmes relatifs au cycle de vie des modèles de MachineLearning (e.g. mise en place de pipelines d'entraînement). Le poste requiert une maîtrise avancée de Python et Spark. Une expérience préalable autour de Databricks, des Feature Stores / Model Registries est un plus.

Nous recherchons un(e) développeur(se) python passionné(e) pour rejoindre notre équipe et contribuer à la création de pipelines d'orchestration des modèles ML (preparation de features, training, tunning et inférence). Ces pipelines de données permettent aux Quants & Data Scientist d'industrialiser l’utilisation des modèles ML avancés dans les processus de prévision de la consommation et de la production d'énergie. Le profil idéal est : - Un(e) data engineer maîtrisant Python/Spark qui comprend les enjeux du MLOps - Un(e) passionné(e) du développement Python, capable de jongler avec les bibliothèques et les frameworks. - Un(e) passionné du développement capable de travailler avec les Quants et Data Scientists pour résoudre des problèmes relatifs au cycle de vie des modèles de MachineLearning (e.g. mise en place de pipelines d'entraînement). Le poste requiert une maîtrise avancée de Python et Spark. Une expérience préalable autour de Databricks, des Feature Stores / Model Registries est un plus. Contexte Le groupe a récemment entrepris de créer une plateforme dédiée au forecasting, qui s’appuie sur l’intelligence artificielle, le big data et les données météorologiques pour optimiser la gestion des risques et la performance des activités Supply et Renewables.

developper l'offre SPARK aas sur le cloud privé IBM Nous recherchons un Architecte Data - qui maitrise les notions DEVOPS et les études d'architectures des produits as a Services qu'on fournit: (Apache AIFRLOW OU STARBURST OU SPARK) L'outillage/ecosystème ( Vault, Kubernetes/HELM, Monitoring elastic/dynatrace, Gitlab CI, ArgoCD, sécurité) - Challenger les nouveaux besoins des clients et les inclure dans la roadmap/release management - Fournir des standards et modèles d'intégrations de solutions Data à BNP - Accompagner et former les équipes de solutions Data

Description de la mission Ø Accompagner, faire monter en compétence les développeurs Ø Définir les bonnes pratiques de développement Ø Etre l’interlocuteur privilégié des architectes sur les aspects techniques Ø Gérer les obsolescences techniques des applications. Ø Apporter son expertise technique dans les travaux de conception et de cadrage Ø Chiffrer, estimer les coûts de développement dans la mise en place de solutions Ø Etre force de proposition dans l’amélioration et l’optimisation des applications existantes Ø Être garant de la qualité des développements sous responsabilité sur les aspects code, documentation, testabilité, qualimétrie et performance… Ø Facilitateur / A l’écoute / Trouve des solutions aux éventuelles difficultés rencontrées par les équipes développeurs Ø Animation (Ateliers / suivi de l’avancement des tâches / . . .) Ø Prendre en charge le développement des solutions Ø Réaliser les tests unitaires, les tests de non régression Ø Mise en place des CI-CD des projets, rédaction de la documentation technique des projets Ø Veiller au bon fonctionnement des application en effectuant un suivi et en apportant les corrections nécessaires

Contexte : • Mise en place d'une Assiette Comptable de Référence, certifiée & unique sur l'ensemble du périmètre Natixis SA servant de référence pour les calculateurs et reportings Finance et Risques • Décommissionnement de la base de données actuelle des inventaires Finance et capitalisation sur le Datalake Finance & Risk • Mise en place d'une nouvelle plateforme globale de suivi des contrôles et de gestion des corrections (en se basant sur le streaming évènementiel type Kafka) • Optimisation et rationalisation du SI Finance (prudentiel notamment) basé sur cette assiette comptable de référence • Acquisition et complétion des données • Nouvelle modélisation des données orientée produit pour les besoins des traitements, des calculateurs, … et distribution des données • Mise en place d’un Module de certification comptable avec mise en place d'un rapprochement plus rationalisé Compta to BO to FO et centralisation du rapprochement Compta Statutaire & Consolidée. Missions : 1) L'optimisation de la performance, temps d'exécution, utilisation des ressources machines afin de tenir les délais de traitement des informations et de leurs distributions vers les consommateurs avals (Calculateurs et reporting) dans le cadre des arrêtés mais également des besoins quotidiens. Notamment afin de faire face à l'augmentation significative de la volumétrie de données sur S2 2024 et 2025 en lien avec les déploiements GASPARD 2) La contribution à la mise en place des outils de monitoring technique et fonctionnelle

💡 Contexte /Objectifs l'entité est en charge des développements liés aux applications sources, de contrôle et de valorisation des instruments, des données de marchés et des facteurs de risques. - MDx Datalake : une application qui copie les données MSD et MATRIX sur le Cloud public (Azure) à des fins analytiques. 💡 Objectifs et livrables Les enjeux étaient nombreux :  Volumétrie de données  Performance / Multi-Threading  Data Quality  Legacy Management  Large éventail de technologies à maîtriser : o Etudes techniques o Refonte technique et refonte de l’architecture du projet o Migration On-Premise vers Azure o Optimisation des performances o Amélioration du Code Quality o Mise en place des process CI/CD o Mise en place du monitoring o Diverses implémentations et migrations techniques de composants déployés dans Azure (AirFlow, Migration Blue/Green, etc…)

Vous rejoindrez une DSI spécialisée en Finance dans le cadre d’un programme stratégique de transformation, visant à moderniser et optimiser les outils de gestion comptable et de reporting. Ce programme ambitieux, s'étalant sur plusieurs années, se concentre sur la mise en place d'une assiette comptable de référence, ainsi que sur la migration et l'optimisation des systèmes d’information en environnement Big Data. Vos responsabilités principales incluent : Optimisation de la performance des traitements : garantir des temps d'exécution rapides, une utilisation optimisée des ressources et une fiabilité accrue pour répondre aux volumes croissants des données en 2024 et 2025. Développement et monitoring : contribuer au développement d’outils de monitoring technique et fonctionnel pour renforcer la robustesse des systèmes en place. Participation au développement agile : collaborer étroitement avec les équipes locales et internationales en mode Agile (SCRUM).

Le bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la gestion de l'écosystème des moteurs de calculs réglementaires pour les stress-tests et le Capital Interne. Ces applications couvrent les générations de scenarios, des paramètres de risque et des métriques de types provisions et capital sous condition de stress. Un projet d'amélioration des performances est mis en oeuvre. La mission consiste à mettre en oeuvre les remédiations identifiées lors d'un audit sur un des moteurs afin d'en améliorer les performances. Puis une étude sera menée pour voir la possible application de ces recommandations sur les autres moteurs.

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Conception et développement de pipelines de données : Concevoir et développer des pipelines de données robustes et évolutifs utilisant Apache Spark et d’autres outils Big Data. Intégrer et transformer des données en temps réel ou en batch à partir de sources variées (bases de données, APIs, fichiers plats, etc.). Implémenter des solutions de traitement de données massives, principalement avec Spark (Scala et Python). Optimisation et maintenance : Assurer l'optimisation des performances des pipelines de données (gestion des ressources Spark, optimisation des requêtes, réduction des latences, etc.). Maintenir et améliorer la fiabilité des processus de traitement de données et des infrastructures associées. Automatisation des processus : Mettre en place et gérer des workflows d’automatisation des tâches avec Apache Airflow . Automatiser le déploiement et l'exécution des pipelines de données à l'aide de Jenkins . Collaboration avec les équipes de data science et d’infrastructure : Collaborer avec les data scientists pour comprendre les besoins en données et optimiser leur accès. Travailler étroitement avec les équipes d’infrastructure pour assurer la stabilité et la scalabilité des pipelines de données. Veille technologique : Se tenir informé des évolutions des technologies Big Data et des bonnes pratiques pour intégrer de nouvelles fonctionnalités dans les pipelines. Langages de programmation : Scala et Python : Expérience confirmée dans la programmation de pipelines de données en Scala (pour Spark) et en Python. Technologies Big Data : Apache Spark : Maîtrise de Spark pour le traitement de données massives, avec une compréhension approfondie de ses API en Scala et Python. Apache Airflow : Expérience avec la gestion et l'orchestration de workflows de données dans un environnement de production. Outils de CI/CD : Jenkins : Expérience avec Jenkins pour l’automatisation des déploiements et des tests des pipelines de données. Bases de données et gestion des données : Connaissances solides des bases de données relationnelles (SQL, PostgreSQL, etc.) et NoSQL (Cassandra, MongoDB, etc.).

💼 Poste : Data Engineer Scala Spark Hadoop 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : L’architecture avec le reste de l’entité (tech lead, devs, architecture). Mise en œuvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. Livrables attendus Les livrables attendus sont : Développements et tests (en TDD) en mode Agile pour répondre au cas d'usage métier et déployable en environnement de production. PVs techniques Chiffrage de projets et évolutions Design de solution 🤝 Expertises spécifiques : Continuous Integration Hadoop (Big Data) Scala Spark

💼 Poste : Tech Lead Java Spark référence 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite mettre en œuvre le volet transformation du système d'information du programme d'amélioration du dispositif de pilotage et de certification de l'assiette risques structurels dont les objectifs sont : Amélioration et accélération de la constitution de l'assiette risques structurels La certification de cette assiette risques structurels cohérente comptable Renforcer la remédiation en termes de qualité de donnée et réduire le nombre d'ajustements manuels Notre client souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre notre client souhaite bénéficier de l'expertise du Prestataire en termes de conception et développement. Dans ce cadre, la prestation consiste à contribuer à/au(x): L’instruction et le cadrage technique des projets, L’implémentation de solutions techniques en méthodologie agile Environnement technique : Java (Spark est un gros plus, Python est un plus) Devops : Ansible, Jenkins, GitHub Actions, Sonar, Artifactory Big Data & Cloud : Cloudera CDP, Apache stack (HDFS, Oozie, Yarn) Data : Oracle DB, PostgreSQL, Hive, Elastic Search, REST APIs Livrables attendus Les livrables attendus sont : Notes de cadrage techniques Spécifications techniques Support et développement sur toutes les releases 2024-2025 🤝 Expertises spécifiques : Agile Scrum Ansible Artifactory Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Elastic Search & Kibana Hive Java Jenkins Oracle Database Enterprise Server PostGreSQL REST Scripting (GuitHub, Ansible, AWX, shell, vba) Sonar

Nous recherchons un(e) Data Engineer spécialisé(e) en Spark et Scala pour rejoindre notre équipe Data. Vous contribuerez à la conception, au développement, et à l’optimisation des pipelines de données à grande échelle, ainsi qu’à l’implémentation des meilleures pratiques de gestion et de traitement des données. Concevoir, développer et maintenir des pipelines de données scalables et robustes en utilisant Spark et Scala. Intégrer et transformer des données provenant de différentes sources (bases de données, fichiers, APIs, etc.). Assurer la qualité, la performance et la sécurité des flux de données. Participer à l’optimisation des performances des traitements Big Data. Collaborer avec les équipes Data Science, BI et Développement pour répondre aux besoins des projets. Implémenter les meilleures pratiques en matière de gestion des données et d’architecture. Surveiller et résoudre les incidents liés aux flux de données en production. Compétences techniques : Excellente maîtrise de Spark et Scala (5+ ans d’expérience souhaitée). Solides compétences en conception et optimisation de flux ETL. Bonne connaissance des bases de données relationnelles (SQL) et des bases NoSQL. Expérience avec des outils de gestion des données (Airflow, Kafka, etc.) et des environnements Cloud (AWS, Azure, GCP). Connaissance des écosystèmes Hadoop et des frameworks Big Data.