Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Contribuez à des projets data complexes avec des technologies avancées. Quel sera votre rôle ? Nous recherchons un(e) Data Engineer Scala / Spark. Vous rejoignez l’équipe d’ingénierie data pour concevoir des pipelines de traitement de données à grande échelle. Au quotidien, vos missions seront les suivantes : Développer et optimiser des pipelines de données en utilisant Scala et Spark, dans un environnement distribué. Mettre en place des modèles de données complexes en SQL pour répondre aux besoins métier. Collaborer avec les data scientists pour garantir l’efficacité des flux de données et des modèles analytiques. Environnement technique : Scala, Apache Spark, SQL, Hadoop, Kafka

Nous recherchons un Expert/Architecte Kafka/MSK pour piloter la conception, la mise en œuvre et l’optimisation d’une infrastructure Kafka/ELK (ElasticSearch, Logstash, Kibana) multi-région. Ce projet stratégique vise à soutenir une organisation opérant à l’échelle internationale, avec des besoins exigeants en termes de réplication des données, de faible latence, de scalabilité et de résilience. Missions principales : Conception et architecture : Définir l’architecture globale du système Kafka/ELK multi-région, en étant attentif à la réplication cross-région, à la synchronisation des clusters Kafka et à la tolérance aux pannes. S’assurer de la compatibilité avec les standards internationaux en termes de sécurité, de réglementations des données et de performances. Implémentation : Installer et configurer Kafka sur AWS MSK ainsi que les solutions ELK associées. Gérer l’intégration avec des systèmes existants et assurer une migration sans interruption pour les clients internes. Configurer la réplication multi-région (MirrorMaker 2.0 ou autres outils adaptés). Optimisation et supervision : Mettre en place une stratégie de monitoring avancée pour Kafka et ELK (Kibana, Prometheus, Grafana, etc.). Optimiser les performances en équilibrant les charges entre régions et en minimisant les latences. Gérer les mises à jour et assurer la maintenance de l’infrastructure. Sécurité et conformité : Implémenter des mécanismes de sécurité avancés (chiffrement, authentification, autorisation) pour Kafka et ELK. Veiller à la conformité avec les réglementations locales et internationales (ex. : GDPR, CCPA). Support et formation : Fournir un support technique aux équipes internes. Documenter les procédures et former les équipes à l’utilisation et à la gestion de l’infrastructure.

Conception et développement de pipelines de données : Concevoir et développer des pipelines de données robustes et évolutifs utilisant Apache Spark et d’autres outils Big Data. Intégrer et transformer des données en temps réel ou en batch à partir de sources variées (bases de données, APIs, fichiers plats, etc.). Implémenter des solutions de traitement de données massives, principalement avec Spark (Scala et Python). Optimisation et maintenance : Assurer l'optimisation des performances des pipelines de données (gestion des ressources Spark, optimisation des requêtes, réduction des latences, etc.). Maintenir et améliorer la fiabilité des processus de traitement de données et des infrastructures associées. Automatisation des processus : Mettre en place et gérer des workflows d’automatisation des tâches avec Apache Airflow . Automatiser le déploiement et l'exécution des pipelines de données à l'aide de Jenkins . Collaboration avec les équipes de data science et d’infrastructure : Collaborer avec les data scientists pour comprendre les besoins en données et optimiser leur accès. Travailler étroitement avec les équipes d’infrastructure pour assurer la stabilité et la scalabilité des pipelines de données. Veille technologique : Se tenir informé des évolutions des technologies Big Data et des bonnes pratiques pour intégrer de nouvelles fonctionnalités dans les pipelines. Langages de programmation : Scala et Python : Expérience confirmée dans la programmation de pipelines de données en Scala (pour Spark) et en Python. Technologies Big Data : Apache Spark : Maîtrise de Spark pour le traitement de données massives, avec une compréhension approfondie de ses API en Scala et Python. Apache Airflow : Expérience avec la gestion et l'orchestration de workflows de données dans un environnement de production. Outils de CI/CD : Jenkins : Expérience avec Jenkins pour l’automatisation des déploiements et des tests des pipelines de données. Bases de données et gestion des données : Connaissances solides des bases de données relationnelles (SQL, PostgreSQL, etc.) et NoSQL (Cassandra, MongoDB, etc.).

Vous rejoindrez une DSI spécialisée en Finance dans le cadre d’un programme stratégique de transformation, visant à moderniser et optimiser les outils de gestion comptable et de reporting. Ce programme ambitieux, s'étalant sur plusieurs années, se concentre sur la mise en place d'une assiette comptable de référence, ainsi que sur la migration et l'optimisation des systèmes d’information en environnement Big Data. Vos responsabilités principales incluent : Optimisation de la performance des traitements : garantir des temps d'exécution rapides, une utilisation optimisée des ressources et une fiabilité accrue pour répondre aux volumes croissants des données en 2024 et 2025. Développement et monitoring : contribuer au développement d’outils de monitoring technique et fonctionnel pour renforcer la robustesse des systèmes en place. Participation au développement agile : collaborer étroitement avec les équipes locales et internationales en mode Agile (SCRUM).

💼 Poste : Tech Lead Java Spark référence 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite mettre en œuvre le volet transformation du système d'information du programme d'amélioration du dispositif de pilotage et de certification de l'assiette risques structurels dont les objectifs sont : Amélioration et accélération de la constitution de l'assiette risques structurels La certification de cette assiette risques structurels cohérente comptable Renforcer la remédiation en termes de qualité de donnée et réduire le nombre d'ajustements manuels Notre client souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre notre client souhaite bénéficier de l'expertise du Prestataire en termes de conception et développement. Dans ce cadre, la prestation consiste à contribuer à/au(x): L’instruction et le cadrage technique des projets, L’implémentation de solutions techniques en méthodologie agile Environnement technique : Java (Spark est un gros plus, Python est un plus) Devops : Ansible, Jenkins, GitHub Actions, Sonar, Artifactory Big Data & Cloud : Cloudera CDP, Apache stack (HDFS, Oozie, Yarn) Data : Oracle DB, PostgreSQL, Hive, Elastic Search, REST APIs Livrables attendus Les livrables attendus sont : Notes de cadrage techniques Spécifications techniques Support et développement sur toutes les releases 2024-2025 🤝 Expertises spécifiques : Agile Scrum Ansible Artifactory Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Elastic Search & Kibana Hive Java Jenkins Oracle Database Enterprise Server PostGreSQL REST Scripting (GuitHub, Ansible, AWX, shell, vba) Sonar

💼 Poste : Data Engineer Scala Spark Hadoop 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : L’architecture avec le reste de l’entité (tech lead, devs, architecture). Mise en œuvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. Livrables attendus Les livrables attendus sont : Développements et tests (en TDD) en mode Agile pour répondre au cas d'usage métier et déployable en environnement de production. PVs techniques Chiffrage de projets et évolutions Design de solution 🤝 Expertises spécifiques : Continuous Integration Hadoop (Big Data) Scala Spark

Nous recherchons un(e) Data Engineer spécialisé(e) en Spark et Scala pour rejoindre notre équipe Data. Vous contribuerez à la conception, au développement, et à l’optimisation des pipelines de données à grande échelle, ainsi qu’à l’implémentation des meilleures pratiques de gestion et de traitement des données. Concevoir, développer et maintenir des pipelines de données scalables et robustes en utilisant Spark et Scala. Intégrer et transformer des données provenant de différentes sources (bases de données, fichiers, APIs, etc.). Assurer la qualité, la performance et la sécurité des flux de données. Participer à l’optimisation des performances des traitements Big Data. Collaborer avec les équipes Data Science, BI et Développement pour répondre aux besoins des projets. Implémenter les meilleures pratiques en matière de gestion des données et d’architecture. Surveiller et résoudre les incidents liés aux flux de données en production. Compétences techniques : Excellente maîtrise de Spark et Scala (5+ ans d’expérience souhaitée). Solides compétences en conception et optimisation de flux ETL. Bonne connaissance des bases de données relationnelles (SQL) et des bases NoSQL. Expérience avec des outils de gestion des données (Airflow, Kafka, etc.) et des environnements Cloud (AWS, Azure, GCP). Connaissance des écosystèmes Hadoop et des frameworks Big Data.

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Le bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la gestion de l'écosystème des moteurs de calculs réglementaires pour les stress-tests et le Capital Interne. Ces applications couvrent les générations de scenarios, des paramètres de risque et des métriques de types provisions et capital sous condition de stress. Un projet d'amélioration des performances est mis en oeuvre. La mission consiste à mettre en oeuvre les remédiations identifiées lors d'un audit sur un des moteurs afin d'en améliorer les performances. Puis une étude sera menée pour voir la possible application de ces recommandations sur les autres moteurs. - Revue du diagnostic, propositions de solutions techniques complémentaires - Mise en oeuvre en Java / Spark sous environnement CDP dans l'outil de simulation de crédit - Tests et mesures des performances - Tests de non-regression - Elargissement aux autres moteurs - Suivi du projet avec documentation associée - Partage et communication avec l'équipe

💼 Poste : Développeur Concepteur Big data Talend 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département exerce 3 missions principales : Garantir des services opérationnels d'excellence : sécurité des SI et maîtrise des risques opérationnels, qualité de la production informatique et pérennisation du SI. Délivrer des solutions SI innovantes, orientées clients, pour construire la banque relationnelle et digitale de demain . Améliorer son efficacité opérationnelle, en réponse aux enjeux d'agilité et de time to market, et optimiser les coûts informatiques. Le Bénéficiaire souhaite avoir une expertise en développement sur l'écosystème BIG DATA. A ce titre, le Bénéficiaire souhaite avoir l’expertise du prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - développements d'usages BIG DATA : Conception technique des développements Supervision des traitements en place Cérémonies agile (méthode Scrum) Livrables attendus Les livrables attendus sont : Dossier de conception Programmes versionnés Documentation projet nécessaire aux MEP 🤝 Expertises spécifiques : Les expertises attendues pour réaliser cette prestation sont listées ci-après : Agile Scrum Environnement Cloudera Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Hadoop (Big Data) HiveQL, scripting shell, environnmnent Conda Spark (PySpark), (gestion de volumes de données importants) Talend (Data integration, Big Data)

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : La mission consiste à : Équilibrez le travail de développement stratégique avec les interruptions de soutien immédiates et le travail tactique. Interagissez avec les équipes d'assistance de première ligne, les utilisateurs professionnels le cas échéant et les autres équipes d'application qui utilisent des postes, y compris en hiérarchisant les demandes provenant de ces différentes sources. Responsable du cycle de vie complet des changements ; clarifier les exigences de l'entreprise, mettre en œuvre des changements, puis s'assurer qu'aucune régression n'a été introduite. Soutien technique de troisième ligne au besoin. L'équipe positions, au sein de laquelle se déroule cette mission, est responsable des services de gestion des positions et de l'API client associée. Le champ d'application comprend plusieurs classes d'actifs des marchés mondiaux - dérivés de taux d'intérêt, devises, obligations, pensions, contrats à terme, MBS, dérivés EQD. L'un des principaux objectifs de l'équipe est de faire progresser la plateforme, tout en répondant au support et aux demandes ad hoc dans un environnement en évolution rapide avec des exigences commerciales en constante évolution.

Objectif : Au sein de l'équipe IT RISK PnL, vous interviendrez sur une application d'aide à la décision pour le trading. L'application permet de gérer des données historiques sur les clients, les données de marché, les données intraday et des mesures de risques ainsi que visualiser les axes de trading. L'application utilise : - Angular 15 comme front end - Java 11 et Python 2 en back end - Apache ignite pour le calcul distributé - Mongo DB comme base de données - Pour la partie déploiement on utilise Docker / kubernetes et Jenkins Liste des tâches attendues dans le cadre de la mission : Le candidat sera chargé de la partie back end ainsi que de la partie dev ops L'objectif est de développer des nouvelles fonctionnalités demandées par le trading Améliorer techniquement la stabilité et la partie calcul distribué de l'application en testant de nouvelles solutions

nous recherchons un expert devops + Apache AIFRLOW ou STARBURST ou SPARK pour fournir et maintenir l'outillage facilitant l'intégration de solutions Data ( Vault, Kubernetes/HELM, Monitoring elastic/dynatrace, Gitlab CI, ArgoCD, sécurité) Fournir des standards et modèles d'intégrations de solutions Data à BNP Accompagner et former les équipes de solutions Data Les missions sont creer de l'Airflow Aas ou STARBURT ou SPARK3 Participation à la maintenance opérationnelle de l'outillage Amélioration de l'industrialisation des outils Participation au projet de migration vers Openshift et à sa sécurisation Maintien et amélioration de nos templates pour nous et nos clients Test et proposition des solutions innovantes pour améliorer notre offre de service Accompagnement des clients dans l'implémentation et le design de la sécurité Participation à l'amélioration du monitoring avec Dynatrace Participation à l'intégration de solutions Data

Fiche de Poste – Tech Lead / Développeur Contexte de la mission : Notre client recherche des profils expérimentés pour intervenir sur un projet stratégique. L’équipe sera responsable de la conception et du développement des plateformes permettant le calcul des indicateurs de performance. Ces plateformes utilisent des technologies avancées telles qu’AWS, Airflow et Snowflake. Missions principales : Tech Lead : Superviser et accompagner les équipes de développement dans la mise en œuvre des solutions techniques. Garantir la qualité des livrables et la bonne gestion des projets techniques. Développeur : Participer au développement des plateformes, en particulier dans la conception des solutions techniques pour le calcul des indicateurs et des rapports. Assurer la mise en place et l'optimisation des processus de calcul des indicateurs sur des environnements de données complexes. Développer des solutions évolutives et robustes sur les plateformes cloud, principalement AWS, et participer à l'intégration des différents outils et systèmes. Technologies et outils utilisés : AWS : Mise en place et gestion des ressources cloud (EC2, S3, Lambda, etc.) Airflow : Orchestration des workflows de données. Snowflake : Data warehouse pour la gestion des données et l’analyse. Profils recherchés : Tech Lead : Expérience significative en gestion d’équipes techniques et en développement sur des plateformes cloud. Compétences en gestion de projets et maîtrise des outils mentionnés ci-dessus. Développeur : Forte expérience en développement, notamment sur des environnements cloud. Bonne maîtrise de Python, SQL, ainsi que des outils comme Snowflake et Airflow. Compétences clés : Expertise en AWS, Airflow, et Snowflake. Conception et développement de solutions techniques. Maîtrise des processus de gestion de données et des calculs d’indicateurs. Capacité à travailler en équipe et à coordonner des projets techniques. Esprit d’analyse et compétences en résolution de problèmes complexes.

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Nous recherchons un lead développeur Java / Angular qui intègrera l’équipe en charge des applications de suivi de l’activité des agents d’exploitation et de gestion des mobiliers connectés de notre client. Il aura pour mission : Participer à la conception, au développement et à l’évaluation des features à implémenter dans le respect des normes, de l’ergonomie et des bonnes pratiques d’ingénierie logicielles en vigueur . Participer au maintien en conditions opérationnelles des applications développées par l’équipe, Animer et faire progresser l’équipe (conception partagée, atelier technique ...), Assumer le backup du techlead de l’équipe.