Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Nous recherchons un(e) Tech lead Java Spark pour le compte de notre client, dans le secteur aéronautique. L'objectif du poste est de reprendre l'activité d'un Tech lead interne et : Accompagner l’évolution du produit en relation en avec le métier Piloter techniquement l’équipe Le contexte étant international, la maîtrise de l'anglais est indispensable. Projet en Agilité. Equipe totale de 15 personnes dont 3 sur le projet présenté. Des déplacements ponctuels sont prévus sur Paris. (1 à 2 / an) Le poste : 50% d'innovation 40% de migration technique 10% continuité Ratio : 70% de développement 30% hors développement (Architecture, Communication, Accompagnement d'équipe, ...)

Nous recherchons un Data Engineer pour intervenir au sein de l'IT Data Management & BI , dans l'équipe Big Data & API Cette équipe développe et gère un data Lake (Risk Lake) , utilisé comme une data plateforme pour les équipes IT et métiers. Missions Gestion de la production et de la dette technique Revoir l’architecture actuelle et proposer des évolutions Développement des pipelines et traitements liés aux projets Responsabilités Collecter et mettre à disposition les données pour les équipes métiers Industrialiser et mettre en production des traitements de données Développer des pipelines d'ingestion et de traitement des données (batch et streaming) Implémenter et optimiser des jobs Spark pour le prétraitement et la transformation des données Développer des API génériques pour l’ingestion et le traitement des données Participer à la conception, mise en place et administration de solutions Big Data Normaliser et agréger les données pour produire des Business Views et Dashboard Mettre en place des services d'extraction de données via Spring Boot et Kafka

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Leader technique Spark Java Angular (H/F) à Lyon, France. Contexte : Concevoir, développer et exploiter des produits, services et études innovants pour accompagner les acteurs internes et externes vers la transition écologique. Les missions attendues par le Leader technique Spark Java Angular (H/F) : Activité principale : Revue de code Proposition d’architecture Cadrage/arbitrage technique Implémentation de fonctionnalités métiers dans un contexte agile (Kanban) Activité secondaire : Chiffrage Animation de KATA Recrutement et formation des nouveaux arrivants Stack technique de l'équipe : Ajout de tests E2E à l’aide de Cypress 13 Mise à jour de pipelines Jenkins (Groovy) Déploiement des applications sur Kubernetes Interfaces réalisées en Typescript (Angular 17) Ajout de tests unitaire/intégration avec JUnit 5 et Mockito Définition de scénarios de tests de performance avec Gatling Utilisation de la plateforme Gitlab et mise à jour de playbooks Ansible Accès aux bases Postgre via une API écrite en Java (Spring 3, Java 21) Transformation de donnée via le framework Spring Batch et la librairie Spark Java Echanges de données avec d'autres SI via Kafka (création de topics sur la BEM, supervision) Utilisation des normes OpenID et OAuth2 pour l'authentification et l'autorisation des utilisateurs

La prestation concerne la réalisation d’une prestation d’ingénierie d’infrastructure et d’exploitation de la plateforme Data, et plus précisément d’une prestation d’expertise cloud et de construction et automatisation des infrastructures Cloud (publiques et privées) en lien avec les équipes de la Direction Data. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l'expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d'aide à la décision. Le prestataire participera au(x)/à : - BUILD des services - l’analyse des besoins liés à l’hébergement des développements - l’adaptation de l’industrialisation des infrastructures pour les changements - la planification et exécution des changements, - RUN des services et l’exploitation quotidienne - la remontée d’alarmes - diagnostic - l’analyse des incidents - intervention sur incidents - la documentation

Notre client recherche un Développeur Java Spark Angular , profil Confirmé 3-5 ans d'expérience Obligatoire : Java, Spark, Angular Mission : 6 mois avec possibilité d'être prolongé Télétravail : 2 jours par semaine (non négociable) Secteur : Divertissement L'entreprise souhaite migrer plusieurs jobs Datastage vers Spark, une plateforme de traitement de données Big Data. Le consultant devra travailler sur la plateforme Spark pour réaliser les évolutions nécessaires. L'environnement : Java , Angular, Spark, Kafka, AWS

Dans le cadre du programme de transformation Spark au sein de la CIB, visant en 2025 à consolider les fondations data de la chaîne de financements End-to-End (Front – Risk – Ops), nous recherchons un(e) Business Analyst confirmé(e) pour intégrer l'équipe Digital Front Financing & Client. Le(la) Business Analyst aura pour mission d’étudier, spécifier et implémenter des solutions IT pour les utilisateurs Front Office, en alignement avec la roadmap 2025 du programme. Il(elle) collaborera étroitement avec diverses équipes IT (Risk, Data, Ops) et interagira avec des Product Owners métier. Mission prévue pour un démarrage au plus tôt et jusqu’à fin 2025. Responsabilités : Aligner le SI métier aux orientations stratégiques et processus métiers. Proposer des scénarios d’évolution du SI en accord avec les objectifs définis. Optimiser les processus métiers, données, applications et systèmes associés. Piloter la performance économique du SI. Fournir une cartographie du SI comme outil d’aide à la décision et au pilotage. Anticiper les changements et leurs impacts sur le SI et le métier. Gérer le budget d’informatisation de son domaine. Administrer le SI (référentiels, règles, méthodologies, objets métier, outils). Assurer la cohérence des projets avec le SI existant et cible. Consolider les écarts en termes de délais, coûts ou qualité. Capitaliser les connaissances sur le SI métier. Garantir la qualité de la conduite de projet. Gérer la cartographie des compétences nécessaires à l’évolution du SI. Expertise et accompagnement : Apporter un support ponctuel sur des projets techniques spécifiques. Assister la maîtrise d’ouvrage projet et animer les phases du projet. Collecter et prioriser les exigences métier, assurer leur couverture en recette MOA. Définir et animer les tests métier et la recette MOA. Définir les indicateurs d’appropriation de l’outil. Analyser l’existant, modéliser les processus cibles et accompagner le changement. Piloter et animer les activités de maîtrise d’ouvrage du projet.

Notre client bancaire recherche un consultant Tech Lead GCP (H/F) pour renforcer l'équipe au sein de laquelle preste déjà des consultants de NEXORIS. Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données avec des projets novateurs. Tâches et activités de la mission (non exhaustives) : - Récupérer les données issues de sources externes - Utiliser la puissance du datalake pour le traitement des données - Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels - Mettre en œuvre la chaîne d'ingestion, validation, croisement et déversement des données dans le datalake - Développer en respectant les règles d’architecture définies - Développer et documenter les user stories avec l’assistance du Product Owner - Produire les scripts de déploiement - Prioriser les corrections des anomalies - Assister les équipes d’exploitation - Participer à la mise en œuvre de la chaîne de delivery continue - Automatiser les tests fonctionnels. Environnement GKE : - Développement d'API REST - Stockage : HDFS / GCS - Planification : Airflow / Composer - Méthodologies : Scrum, Kanban, Git - DWH : SQL, BigQuery, BigTable - Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build

📑 CDI (42 - 48K€) / Freelance / Portage Salarial – 🏠 3 jours de télétravail / semaine – 📍 Toulouse – 🛠️Expérience de 5 ans minimum Si vous êtes passionné·e par la data et les enjeux de maintenance prédictive, cette opportunité est faite pour vous ! 🚀 Nous recherchons un·e Java / Spark / PHP pour intervenir sur un projet stratégique d’un de nos clients dans le secteur aéronautique. Vous rejoindrez une équipe engagée, travaillant sur des applications critiques permettant d’optimiser la maintenance des avions. ✈️

Dans le cadre de projets stratégiques autour du traitement de données massives et de la répartition de flux financiers, nous recherchons un Ingénieur Full Stack Java confirmé. L’objectif de la mission est de renforcer une équipe technique en charge du développement de traitements batchs critiques et d’APIs performantes, dans un environnement Java/Spark. Missions principales Concevoir et développer des traitements batchs critiques en Java et Spark Développer des APIs REST et des services backend avec Spring Boot Modéliser et exploiter des bases de données relationnelles Participer à la migration de données et à l’optimisation des performances Contribuer à l’écriture de tests unitaires et d’intégration Documenter les processus techniques et appliquer les bonnes pratiques DevOps

💡 Contexte /Objectifs l'entité est en charge des développements liés aux applications sources, de contrôle et de valorisation des instruments, des données de marchés et des facteurs de risques. L'application sert à transférer les données sur le Cloud public (Azure) à des fins analytiques. 💡 Objectifs et livrables Les enjeux étaient nombreux :  Volumétrie de données  Performance / Multi-Threading  Data Quality  Legacy Management  Large éventail de technologies à maîtriser : o Etudes techniques o Refonte technique et refonte de l’architecture du projet o Migration On-Premise vers Azure o Optimisation des performances o Amélioration du Code Quality o Mise en place des process CI/CD o Mise en place du monitoring o Diverses implémentations et migrations techniques de composants déployés dans Azure (AirFlow, Migration Blue/Green, etc…)

Dans le cadre d'une migration vers la nouvelle plateforme Data Groupe , nous recherchons un Data Engineer Python - Spark - Airflow , pour renforcer les équipes de notre client. Missions : Réalisation des cas d’usage de bout en bout Application des règles de bonnes pratiques Réalise des développements maintenables, scalables, réutilisables et optimisés Réalise des développements de qualité et performants Réalise de la documentation technique à la fin de chaque sprint Exploite et déploie de manière propre sur GIT (version, repository, nom de l’US ou la Feature…) Réalise des tests techniques automatisés (tests unitaires, tests de non-régression…) et les traces Applique le devoir de conseil Travail en équipe Propose des solutions, des alternatives et débloque les autres développeurs si besoinAppui et aide les Product Owner si besoin Réalise le modèle de données en support avec la gouvernance, Product Owner et le data analyst Explique et effectue du support auprès des data analyst notamment sur la structure des données et les modèles en base de données Respecte les règles de nommage imposée par l’entreprise

Fiche de Poste – Expert Technique Java / Spark / Angular Localisation : Paris Expérience : 10 à 15 ans Contexte : Le bénéficiaire recherche un Expert Technique Java / Spark / Angular pour accompagner les évolutions réglementaires des plateformes de projections des paramètres de risque et de simulation d’impact des chocs sur le coût du risque et les provisions. L’objectif est d’assurer le bon fonctionnement et l’évolution des moteurs de calculs réglementaires tout en migrant les applications vers le Cloud DMZR.

Missions principales : Conception et développement de traitements batchs critiques en Java et Spark. Développement d'API REST et de services backend avec Spring Boot. Modélisation et exploitation de bases de données relationnelles. Participation à la migration de données et à l'amélioration continue des performances des traitements. Contribution aux tests unitaires et d'intégration. Documentation des processus techniques et participation aux bonnes pratiques DevOps. Profil recherché : Expérience confirmée en développement Java (impératif). Maîtrise de Spark pour les traitements de données volumineuses (impératif). Bonne connaissance de Spring Boot et des API REST. Solide compétence en bases de données relationnelles. Expérience en migration de données et en réalisation de tests. Connaissances en CI/CD, Docker, Kubernetes sont un plus. Soft skills attendues : Autonomie et réactivité dans la résolution de problématiques techniques. Esprit d'analyse, de synthèse et capacité de documentation. Capacité à collaborer efficacement avec les équipes DEV, OPS et produit. Proactivité et partage de connaissances au sein de l'équipe.

Dans le cadre d'une migration vers la nouvelle plateforme Data Groupe , nous recherchons un Tech Lead Data - Python - Spark - Airflow , pour renforcer les équipes de notre client : Missions : Analyse des besoins métier dans la phase du cadrage, conception d’une architecture technique et applicative et estimation du macro-chiffrage de réalisation ; définition des différents scénarios possibles et établissement des dossiers de décision associés. Contribution à la mise en œuvre de l’architecture technique des projets en lien avec les acteurs externes et contribution à la mise en œuvre de l’architecture applicative des projets en lien avec les intervenants. Participation à l’industrialisation et la documentation technique du projet Analyse des demandes d’évolution fonctionnelles : identification des impacts, préconisations techniques Conception et réalisation de l’architecture en cohérence avec le cadre d’architecture du service Conception et modélisation du modèle de données Support auprès de l’équipe Agile sur les aspects techniques : bonnes pratiques, résolution de problèmes techniques complexes, collecte des éléments nécessaires auprès des intervenants fonctionnels pour la bonne réalisation des taches, utilisation de l’outillage DevOps souhaité par l’ENTREPRISE (Gitlab, Ansible, Jenkins, Visual Studio…) Proposition, conception, rédaction des spécifications techniques et réalisation à la demande de l’'entreprise pour la mise en œuvre des bonnes pratiques Data : o Procédures de test automatisées o Optimisation des performances Contrôle de la qualité et conformité des développements, contrôle de la cohérence technique des réalisations par rapport aux exigences ; contrôle de la cohésion technique des développements réalisés. Exploitation de l’environnement de développement mis à disposition par l’ENTREPRISE dont installation des briques logicielles fournies par l’ENTREPRISE pour la mise en œuvre des développements Contribution à la rédaction du DAT en cas d’évolutions d’infrastructure. Mise en place d’exploratoires (Proof of Concept)

Nous recherchons un data engineer GCP Spark/Scala avec pour missions principales : Collecter des données provenant de diverses sources externes. Exploiter les capacités du Datalake sur GCP. Implémenter l’ensemble du processus incluant : L’ingestion des données, La validation des données, Le croisement des données, L’intégration des données enrichies dans le Datalake. Développer en respectant les principes d’architecture définis. Rédiger et documenter les user stories en collaboration avec le Product Owner. Rédiger les scripts nécessaires au déploiement. Identifier et prioriser la correction des anomalies. Assister les équipes en charge de l’exploitation. Contribuer à la mise en place d’une chaîne de livraison continue. Automatiser les tests fonctionnels. Encadrer et superviser le travail des data engineers de la squad.

📑 CDI (36 - 40K€) / Freelance / Portage Salarial - 🏠 2 jours de télétravail / semaine - 📍 Toulouse - 🛠 Expérience de 2/3 ans minimum Rejoignez une équipe passionnée et boostez la transformation Big Data ! 🚀 Nous accompagnons notre client pour renforcer une équipe spécialisée dans la gestion et l’industrialisation des traitements de données massifs et recherchons un.e Data Engineer. Vous interviendrez sur une plateforme Big Data dédiée à l’exploitation de larges volumes de données, utilisée pour des analyses avancées et des modèles prédictifs. Votre défi à relever 🎯 En tant que Data Engineer, vous aurez un rôle clé dans la mise en place et l’optimisation des pipelines de données. Vous serez en interaction avec des équipes pluridisciplinaires (développeurs, data scientists, métiers) pour construire des solutions performantes et scalables.