Trouvez votre prochaine offre d’emploi ou de mission freelance Scala

skiils recrute un Data Engineer Sénior (H/F) pour renforcer ses équipes Nearshore et intégrer une équipe SCRUM dynamique ! En tant que tel, son rôle consistera à contribuer à des projets data en apportant son expertise sur les tâches suivantes : Développer des applications Big Data en utilisant Spark Scala & Kafka Concevoir et mettre en œuvre des pipelines de données efficaces, tel un architecte construisant un château de sable indestructible. Optimiser les performances des applications et des requêtes Big Data , comme un ninja agile. Collaborer avec les équipes de développement pour intégrer les solutions Big Data. Assurer la qualité des données traitées et la fiabilité des systèmes. Contribuer à l’automatisation du delivery Développer et documenter son code Travailler au sein d’une équipe SCRUM (PO, développeurs, QA, Support)

Contexte : • Mise en place d'une Assiette Comptable de Référence, certifiée & unique sur l'ensemble du périmètre Natixis SA servant de référence pour les calculateurs et reportings Finance et Risques • Décommissionnement de la base de données actuelle des inventaires Finance et capitalisation sur le Datalake Finance & Risk • Mise en place d'une nouvelle plateforme globale de suivi des contrôles et de gestion des corrections (en se basant sur le streaming évènementiel type Kafka) • Optimisation et rationalisation du SI Finance (prudentiel notamment) basé sur cette assiette comptable de référence • Acquisition et complétion des données • Nouvelle modélisation des données orientée produit pour les besoins des traitements, des calculateurs, … et distribution des données • Mise en place d’un Module de certification comptable avec mise en place d'un rapprochement plus rationalisé Compta to BO to FO et centralisation du rapprochement Compta Statutaire & Consolidée. Missions : 1) L'optimisation de la performance, temps d'exécution, utilisation des ressources machines afin de tenir les délais de traitement des informations et de leurs distributions vers les consommateurs avals (Calculateurs et reporting) dans le cadre des arrêtés mais également des besoins quotidiens. Notamment afin de faire face à l'augmentation significative de la volumétrie de données sur S2 2024 et 2025 en lien avec les déploiements GASPARD 2) La contribution à la mise en place des outils de monitoring technique et fonctionnelle

💼 Poste : Data Engineer Scala Spark Hadoop 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : L’architecture avec le reste de l’entité (tech lead, devs, architecture). Mise en œuvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. Livrables attendus Les livrables attendus sont : Développements et tests (en TDD) en mode Agile pour répondre au cas d'usage métier et déployable en environnement de production. PVs techniques Chiffrage de projets et évolutions Design de solution 🤝 Expertises spécifiques : Continuous Integration Hadoop (Big Data) Scala Spark

Conception et développement de pipelines de données : Concevoir et développer des pipelines de données robustes et évolutifs utilisant Apache Spark et d’autres outils Big Data. Intégrer et transformer des données en temps réel ou en batch à partir de sources variées (bases de données, APIs, fichiers plats, etc.). Implémenter des solutions de traitement de données massives, principalement avec Spark (Scala et Python). Optimisation et maintenance : Assurer l'optimisation des performances des pipelines de données (gestion des ressources Spark, optimisation des requêtes, réduction des latences, etc.). Maintenir et améliorer la fiabilité des processus de traitement de données et des infrastructures associées. Automatisation des processus : Mettre en place et gérer des workflows d’automatisation des tâches avec Apache Airflow . Automatiser le déploiement et l'exécution des pipelines de données à l'aide de Jenkins . Collaboration avec les équipes de data science et d’infrastructure : Collaborer avec les data scientists pour comprendre les besoins en données et optimiser leur accès. Travailler étroitement avec les équipes d’infrastructure pour assurer la stabilité et la scalabilité des pipelines de données. Veille technologique : Se tenir informé des évolutions des technologies Big Data et des bonnes pratiques pour intégrer de nouvelles fonctionnalités dans les pipelines. Langages de programmation : Scala et Python : Expérience confirmée dans la programmation de pipelines de données en Scala (pour Spark) et en Python. Technologies Big Data : Apache Spark : Maîtrise de Spark pour le traitement de données massives, avec une compréhension approfondie de ses API en Scala et Python. Apache Airflow : Expérience avec la gestion et l'orchestration de workflows de données dans un environnement de production. Outils de CI/CD : Jenkins : Expérience avec Jenkins pour l’automatisation des déploiements et des tests des pipelines de données. Bases de données et gestion des données : Connaissances solides des bases de données relationnelles (SQL, PostgreSQL, etc.) et NoSQL (Cassandra, MongoDB, etc.).

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Dévelopeur Java et Scala (H/F) dans le cadre d'un projet Big Data. Contexte de la Mission : Nous recherchons un Développeur Java et Scala pour rejoindre une équipe technique travaillant sur des projets Big Data dans le cadre de la transformation digitale d'un acteur majeur de la logistique pour l'intégration de systèmes et l'optimisation des flux de données. Vos missions : - Participer au développement des injecteurs et des adaptateurs en Java et Scala. - Implémenter des microservices permettant la gestion et le suivi des flux de données. - Réaliser les tests unitaires et d'intégration pour garantir la qualité des composants. - Collaborer avec les Tech Leads et les Product Owners pour garantir la bonne intégration des composants dans l'architecture globale. Profil recherché : - Expérience : Minimum 3 ans d'expérience en développement Java et Scala (maitrise obligatoire des 2 langages) dans des environnements Big Data. - Compétences techniques : - Langages : Java , Scala - Big Data : Kafka, Spark Streaming - Bases de données : Cassandra, Elasticsearch - Outils DevOps : Docker, Jenkins - Capacité à travailler en équipe et bonne connaissance des méthodologies agiles (Scrum). Pourquoi nous rejoindre ? - Projet d'envergure : Participez à un projet innovant et complexe visant à transformer la logistique. - Environnement stimulant : Travaillez sur des technologies modernes avec une équipe d'experts en Big Data. - Possibilité de télétravail partiel pour favoriser un équilibre entre vie professionnelle et personnelle. Modalités de la Mission : - Durée : 6 mois (renouvelable). - Localisation : Île-de-France avec possibilité de télétravail 2 jours par semaine.

Vous rejoindrez une DSI spécialisée en Finance dans le cadre d’un programme stratégique de transformation, visant à moderniser et optimiser les outils de gestion comptable et de reporting. Ce programme ambitieux, s'étalant sur plusieurs années, se concentre sur la mise en place d'une assiette comptable de référence, ainsi que sur la migration et l'optimisation des systèmes d’information en environnement Big Data. Vos responsabilités principales incluent : Optimisation de la performance des traitements : garantir des temps d'exécution rapides, une utilisation optimisée des ressources et une fiabilité accrue pour répondre aux volumes croissants des données en 2024 et 2025. Développement et monitoring : contribuer au développement d’outils de monitoring technique et fonctionnel pour renforcer la robustesse des systèmes en place. Participation au développement agile : collaborer étroitement avec les équipes locales et internationales en mode Agile (SCRUM).

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Consultant Tech Lead Java & Scala (H/F) dans le cadre d'un projet Big Data. Contexte de la Mission : Nous recherchons actuellement 2 Tech Leads ayant une forte expertise et expérience en Java et Scala et une solide expérience dans des environnements Big Data. Vous rejoindrez une équipe dédiée au développement de solutions autour de la traçabilité des objets, de la gestion des événements, et de l'amélioration des services client dans le cadre d'un projet de transformation digitale majeur. Vos missions : - Définir l'architecture logicielle des solutions en collaboration avec l'équipe d'architectes. - Participer au développement en restant un acteur clé sur la partie technique pour maintenir votre expertise. - Accompagner et encadrer l'équipe de développeurs, en assurant la montée en compétences sur les technologies Big Data. - Garantir la qualité des livrables en effectuant des revues de code, en supervisant les tests unitaires et en optimisant les performances. - Contribuer à la veille technologique et au développement de prototypes, avec une capacité à être force de proposition sur les choix technologiques. - Collaborer étroitement avec les Product Owners, Scrum Masters, et les architectes pour garantir l'alignement de l'architecture et des développements avec les besoins métier. Profil recherché : - Expérience : Vous êtes un expert avec au moins 7 ans d'expérience professionnelle en développement Java (spring boot) et Scala (la maitrîse des 2 langages de programmation est obligatoire), ainsi qu'une expérience significative en tant que Tech Lead sur des projets complexes. - Expertise technique : - Langages : Java (spring boot), Scala - Big Data : Kafka, Spark Streaming, Akka - Bases de données : Cassandra, Elasticsearch - Déploiement : Docker, Kubernetes, Jenkins - Message Protocol : Protobuf, Avro - Compétences en leadership : Expérience dans l'encadrement et la montée en compétences des développeurs, mise en oeuvre des bonnes pratiques de développement, coaching agile. - Agilité : Bonne connaissance de la méthodologie Scrum, capable d'évoluer dans un environnement agile et d'encadrer les équipes dans ce cadre. Modalités de la Mission : - Durée : Mission de 6 mois (renouvelable selon les besoins). - Environnement de travail : Localisation en Île-de-France avec possibilité de télétravail partiel.

À propos du poste: Nous recrutons un(e) Développeur(se) Java/Scala pour accompagner l'un de nos clients dans le secteur de la finance Responsabilités: L'analyse des besoins métiers Le développement des fonctionnalités autour des technologies Java L'amélioration continue (technique, organisation et processus) La mise en production L'exécution des tests unitaires Le traitement et suivi des anomalies La rédaction de documentation technique Compétences requises: Backend : Java, Spring/ Spring Boot, Scala, Webservices, API REST, Connaissances fonctionnelles banque ou finance. Détails du poste et rémunération: Le salaire sera discuté en fonction de l'expérience et des compétences. Déclaration d'égalité des chances: Nous sommes engagés envers la diversité et l'inclusivité.

Nous recherchons un(e) Data Engineer spécialisé(e) en Spark et Scala pour rejoindre notre équipe Data. Vous contribuerez à la conception, au développement, et à l’optimisation des pipelines de données à grande échelle, ainsi qu’à l’implémentation des meilleures pratiques de gestion et de traitement des données. Concevoir, développer et maintenir des pipelines de données scalables et robustes en utilisant Spark et Scala. Intégrer et transformer des données provenant de différentes sources (bases de données, fichiers, APIs, etc.). Assurer la qualité, la performance et la sécurité des flux de données. Participer à l’optimisation des performances des traitements Big Data. Collaborer avec les équipes Data Science, BI et Développement pour répondre aux besoins des projets. Implémenter les meilleures pratiques en matière de gestion des données et d’architecture. Surveiller et résoudre les incidents liés aux flux de données en production. Compétences techniques : Excellente maîtrise de Spark et Scala (5+ ans d’expérience souhaitée). Solides compétences en conception et optimisation de flux ETL. Bonne connaissance des bases de données relationnelles (SQL) et des bases NoSQL. Expérience avec des outils de gestion des données (Airflow, Kafka, etc.) et des environnements Cloud (AWS, Azure, GCP). Connaissance des écosystèmes Hadoop et des frameworks Big Data.

💼 Poste : Développeur Concepteur Big data Talend 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département exerce 3 missions principales : Garantir des services opérationnels d'excellence : sécurité des SI et maîtrise des risques opérationnels, qualité de la production informatique et pérennisation du SI. Délivrer des solutions SI innovantes, orientées clients, pour construire la banque relationnelle et digitale de demain . Améliorer son efficacité opérationnelle, en réponse aux enjeux d'agilité et de time to market, et optimiser les coûts informatiques. Le Bénéficiaire souhaite avoir une expertise en développement sur l'écosystème BIG DATA. A ce titre, le Bénéficiaire souhaite avoir l’expertise du prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - développements d'usages BIG DATA : Conception technique des développements Supervision des traitements en place Cérémonies agile (méthode Scrum) Livrables attendus Les livrables attendus sont : Dossier de conception Programmes versionnés Documentation projet nécessaire aux MEP 🤝 Expertises spécifiques : Les expertises attendues pour réaliser cette prestation sont listées ci-après : Agile Scrum Environnement Cloudera Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Hadoop (Big Data) HiveQL, scripting shell, environnmnent Conda Spark (PySpark), (gestion de volumes de données importants) Talend (Data integration, Big Data)

JCW est à la recherche d'un Developer Trading qui pourrait commencer une nouvelle mission pour 2025, pour l’un de ces clients. LE CONSULTANT: Connaissance des cinématiques de prise et transmission d’ordres Equities en intermédiation Connaissance des produits dérivés sera un avantage Connaissance de l'environnement de trading en temps-réel Connaissance du trading algorithmique Equities Connaissance des process DevOps Maitrise de SQL, Python, Scala Connaissance Openshift et/ou Kubernetes Développement Cloud-based LA MISSION: Démarrage: Janvier/ Février Durée: 6 mois renouvelables Localisation: Ile-de-France Fréquence : 3 jours sur site - 2 jours de télétravail Si vous êtes intéressés ou connaissez des personnes qui pourraient l'être, merci de m'envoyer vos CVs à pour une considération immédiate.

Notre client, filiale d’un grand groupe dans l’énergie, est un intégrateur de solution de GTC/GTB (avec une expertise en supervision pour les Data Center) qui recherche un Consultant pour développer des applications PANORAMA. Le consultant travaillera au minimum sur 2 projets (dont 1 Data Center) basés en région Parisienne avec une forte présence dans les locaux de l'intégrateur basé dans le 78. La présence sur les sites (client final et intégrateur) sera d'environ 80% et 20% possible en télé travail. Nombre d'années d'expérience : 4 à 5 ans Durée de la mission: minimum 6 mois. Date de démarrage estimée : Février/Mars 2025

As a OT Developer, you will reinforce a development team with the contribution of your competence and expertise in the design, development and testing of industrial software and automation in a multi-product environment. You will work in an international and multicultural team. Must Have: - Proficiency in English is essential. - You have 5+ years of experience as an automation engineer in biopharmaceutical environment. - You have significant hands-on records on CODESYS programming, and Wonderware/Aveva SCADA development, User Interface design (OMI is a nice to have). Experience in web API and HMI is a plus. Willingness to continue working on coding and programming is required. You have solid knowledges and experience with communication protocols and data exchanges ideally with OPC UA. You are autonomous, you can work in project mode and in direct collaboration with technical teams and suppliers. You have good communication skills and abilities to teach others. You learn fast, you are good in understanding abstract concepts and you know how to translate them to the code and deliver them. En tant que développeur OT, vous renforcerez une équipe de développement en apportant vos compétences et votre expertise dans la conception, le développement et les tests de logiciels industriels et d'automatisation dans un environnement multi-produits. Vous travaillerez au sein d'une équipe internationale et multiculturelle. Compétences requises : Maîtrise de l'anglais indispensable. Vous avez plus de 5 ans d'expérience en tant qu'ingénieur en automatisation dans le domaine biopharmaceutique. Vous avez une expérience pratique significative en programmation CODESYS, développement SCADA sur Wonderware/Aveva, et conception d'interfaces utilisateur (OMI est un plus). Une expérience en API web et HMI serait un atout. La volonté de continuer à travailler sur le codage et la programmation est requise. Vous possédez de solides connaissances et une expérience des protocoles de communication et des échanges de données, idéalement avec OPC UA. Vous êtes autonome, capable de travailler en mode projet et en collaboration directe avec des équipes techniques et des fournisseurs. Vous avez de bonnes compétences en communication et une capacité à transmettre vos connaissances aux autres. Vous apprenez rapidement, comprenez bien les concepts abstraits et savez les traduire en code pour les mettre en œuvre efficacement.

Vous rejoindrez l'équipe informatique d'e-Trading de notre client (Grand Banque Mondiale) sur une solution de trading électronique (tarification, données de marché, connectivité du marché, systèmes de gestion des ordres) afin de construire un système à plusieurs niveaux et à haute disponibilité qui couvre une large gamme de produits (Obligations d'Etat EUR.GBP.USD, Crédit, Pensions, IRS). Vous travaillerez sur des activités liées aux taux et au crédit et devra travailler en étroite collaboration avec d'autres équipes technologiques dans d'autres régions.

Nous recherchons un expert en service professionnel Apache Flink , pour Implémenter un pipeline d'ingestion de données dans Flink ! En tant qu'expert Apache Flink, vous serez responsable du développement et de la maintenance des Applications Flink, de l'optimisation des performances et du dépannage de tout problème pouvant survenir. Vous devez avoir une compréhension approfondie du traitement de flux et du traitement par lots à l’aide d’Apache Flink. De solides compétences en programmation en Java ou Scala sont requises. Une expérience avec d'autres technologies Big Data telles que Hadoop et Spark est un plus. Responsabilités : • Développer et maintenir des applications Apache Flink • Optimiser les performances et assurer l’évolutivité • Dépanner et résoudre tout problème Livrables : • Développer et Déployer des Applications Flink : Complétez un ensemble entièrement fonctionnel d'applications Flink pour le traitement par lots et par flux, intégré aux sources de données requises. • Optimisation des performances : Fournissez des pipelines Flink optimisés, optimisés pour les performances et l'efficacité des ressources, avec des tests de référence et des rapports sur les améliorations apportées. • Configuration du cluster Flink : Déployez et configurez un cluster Flink prêt pour la production, en vous assurant qu'il est optimisé pour l'évolutivité et la tolérance aux pannes. • Configuration de la surveillance et des alertes : Mettez en œuvre un système de surveillance (par exemple, Prometheus, Grafana) pour suivre les performances des applications et configurer des alertes en cas de problèmes critiques. • Résolution du problème : Fournissez un rapport sur tous les problèmes liés à Flink identifiés et résolus, y compris les goulots d'étranglement des performances et les échecs de tâches. • Documentation : Remettez une documentation détaillée couvrant l’architecture des applications, le réglage des performances, les procédures de dépannage et les meilleures pratiques opérationnelles. • Transfert de connaissances : Organisez une session finale de transfert de connaissances avec l'équipe interne, en vous assurant qu'elle est pleinement capable de maintenir et de développer la configuration Flink fournie.

Merci de bien lire la fiche de poste, surtout au niveau de la séniorité demandé sur les environnements technologiques Niveau d’expertise attendu pour la réalisation de la prestation : Senior : plus de 6 ans d’expérience significative dans le type d’expertise demandé) Confirmé : Un minimum de 4 ans d’expérience est attendu. Le département Data IA (DaIA) a la charge de mettre à disposition des métiers, un socle technologique transverse permettant de mettre en production et industrialiser les cas d’usage Data et IA, en développant notamment, une plateforme d’enrichissement des métadonnées des contenus ( IA & GenAI). Dans ce cadre, le DaIA, a besoin d’une prestation en Data Ingénierie pour : la conception, la construction et la gestion de l’infrastructure AWS. Activités principales de la prestation : • Développement de la plateforme de micro-services AWS • Industrialisation des cas d’usage métiers du groupe en lien avec les médias • Gestion de la qualité, la fiabilité et l'accessibilité des données • Développement des pipelines de traitement de données avec orientation média • Collaboration avec les équipes de Data Science pour comprendre les besoins en données et mise en place des solutions appropriées • Maintenir et optimiser des systèmes de données existants