Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

🚀 Mission Freelance : Développeur Cloudera | Python | Spark 🚀 Notre client recherche un développeur expérimenté pour intervenir en pré-migration sur un environnement Cloudera . L’objectif est de préparer et adapter les traitements existants en vue d’une future migration vers Teradata. 🔧 Missions principales ✅ Développer et optimiser les traitements Big Data sur Cloudera ✅ Adapter les scripts et pipelines Python / Spark ✅ Assurer la stabilité et la performance des workflows existants ✅ Collaborer avec les équipes Data & IT pour préparer la migration ✅ Diagnostiquer et corriger les éventuels dysfonctionnements

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Leader technique Spark Java Angular (H/F) à Lyon, France. Contexte : Concevoir, développer et exploiter des produits, services et études innovants pour accompagner les acteurs internes et externes vers la transition écologique. Les missions attendues par le Leader technique Spark Java Angular (H/F) : Activité principale : Revue de code Proposition d’architecture Cadrage/arbitrage technique Implémentation de fonctionnalités métiers dans un contexte agile (Kanban) Activité secondaire : Chiffrage Animation de KATA Recrutement et formation des nouveaux arrivants Stack technique de l'équipe : Ajout de tests E2E à l’aide de Cypress 13 Mise à jour de pipelines Jenkins (Groovy) Déploiement des applications sur Kubernetes Interfaces réalisées en Typescript (Angular 17) Ajout de tests unitaire/intégration avec JUnit 5 et Mockito Définition de scénarios de tests de performance avec Gatling Utilisation de la plateforme Gitlab et mise à jour de playbooks Ansible Accès aux bases Postgre via une API écrite en Java (Spring 3, Java 21) Transformation de donnée via le framework Spring Batch et la librairie Spark Java Echanges de données avec d'autres SI via Kafka (création de topics sur la BEM, supervision) Utilisation des normes OpenID et OAuth2 pour l'authentification et l'autorisation des utilisateurs

Notre client recherche un Développeur Java Spark Angular , profil Confirmé 3-5 ans d'expérience Obligatoire : Java, Spark, Angular Mission : 6 mois avec possibilité d'être prolongé Télétravail : 2 jours par semaine (non négociable) Secteur : Divertissement L'entreprise souhaite migrer plusieurs jobs Datastage vers Spark, une plateforme de traitement de données Big Data. Le consultant devra travailler sur la plateforme Spark pour réaliser les évolutions nécessaires. L'environnement : Java , Angular, Spark, Kafka, AWS

Fiche de Poste – Expert Technique Java / Spark / Angular Localisation : Paris Expérience : 10 à 15 ans Contexte : Le bénéficiaire recherche un Expert Technique Java / Spark / Angular pour accompagner les évolutions réglementaires des plateformes de projections des paramètres de risque et de simulation d’impact des chocs sur le coût du risque et les provisions. L’objectif est d’assurer le bon fonctionnement et l’évolution des moteurs de calculs réglementaires tout en migrant les applications vers le Cloud DMZR.

Dans le cadre de projets stratégiques autour du traitement de données massives et de la répartition de flux financiers, nous recherchons un Ingénieur Full Stack Java confirmé. L’objectif de la mission est de renforcer une équipe technique en charge du développement de traitements batchs critiques et d’APIs performantes, dans un environnement Java/Spark. Missions principales Concevoir et développer des traitements batchs critiques en Java et Spark Développer des APIs REST et des services backend avec Spring Boot Modéliser et exploiter des bases de données relationnelles Participer à la migration de données et à l’optimisation des performances Contribuer à l’écriture de tests unitaires et d’intégration Documenter les processus techniques et appliquer les bonnes pratiques DevOps

Dans le cadre d'une migration vers la nouvelle plateforme Data Groupe , nous recherchons un Data Engineer Python - Spark - Airflow , pour renforcer les équipes de notre client. Missions : Réalisation des cas d’usage de bout en bout Application des règles de bonnes pratiques Réalise des développements maintenables, scalables, réutilisables et optimisés Réalise des développements de qualité et performants Réalise de la documentation technique à la fin de chaque sprint Exploite et déploie de manière propre sur GIT (version, repository, nom de l’US ou la Feature…) Réalise des tests techniques automatisés (tests unitaires, tests de non-régression…) et les traces Applique le devoir de conseil Travail en équipe Propose des solutions, des alternatives et débloque les autres développeurs si besoinAppui et aide les Product Owner si besoin Réalise le modèle de données en support avec la gouvernance, Product Owner et le data analyst Explique et effectue du support auprès des data analyst notamment sur la structure des données et les modèles en base de données Respecte les règles de nommage imposée par l’entreprise

Dans le cadre d'une migration vers la nouvelle plateforme Data Groupe , nous recherchons un Tech Lead Data - Python - Spark - Airflow , pour renforcer les équipes de notre client : Missions : Analyse des besoins métier dans la phase du cadrage, conception d’une architecture technique et applicative et estimation du macro-chiffrage de réalisation ; définition des différents scénarios possibles et établissement des dossiers de décision associés. Contribution à la mise en œuvre de l’architecture technique des projets en lien avec les acteurs externes et contribution à la mise en œuvre de l’architecture applicative des projets en lien avec les intervenants. Participation à l’industrialisation et la documentation technique du projet Analyse des demandes d’évolution fonctionnelles : identification des impacts, préconisations techniques Conception et réalisation de l’architecture en cohérence avec le cadre d’architecture du service Conception et modélisation du modèle de données Support auprès de l’équipe Agile sur les aspects techniques : bonnes pratiques, résolution de problèmes techniques complexes, collecte des éléments nécessaires auprès des intervenants fonctionnels pour la bonne réalisation des taches, utilisation de l’outillage DevOps souhaité par l’ENTREPRISE (Gitlab, Ansible, Jenkins, Visual Studio…) Proposition, conception, rédaction des spécifications techniques et réalisation à la demande de l’'entreprise pour la mise en œuvre des bonnes pratiques Data : o Procédures de test automatisées o Optimisation des performances Contrôle de la qualité et conformité des développements, contrôle de la cohérence technique des réalisations par rapport aux exigences ; contrôle de la cohésion technique des développements réalisés. Exploitation de l’environnement de développement mis à disposition par l’ENTREPRISE dont installation des briques logicielles fournies par l’ENTREPRISE pour la mise en œuvre des développements Contribution à la rédaction du DAT en cas d’évolutions d’infrastructure. Mise en place d’exploratoires (Proof of Concept)

💡 Contexte /Objectifs l'entité est en charge des développements liés aux applications sources, de contrôle et de valorisation des instruments, des données de marchés et des facteurs de risques. L'application sert à transférer les données sur le Cloud public (Azure) à des fins analytiques. 💡 Objectifs et livrables Les enjeux étaient nombreux :  Volumétrie de données  Performance / Multi-Threading  Data Quality  Legacy Management  Large éventail de technologies à maîtriser : o Etudes techniques o Refonte technique et refonte de l’architecture du projet o Migration On-Premise vers Azure o Optimisation des performances o Amélioration du Code Quality o Mise en place des process CI/CD o Mise en place du monitoring o Diverses implémentations et migrations techniques de composants déployés dans Azure (AirFlow, Migration Blue/Green, etc…)

Nous recherchons un data engineer GCP Spark/Scala avec pour missions principales : Collecter des données provenant de diverses sources externes. Exploiter les capacités du Datalake sur GCP. Implémenter l’ensemble du processus incluant : L’ingestion des données, La validation des données, Le croisement des données, L’intégration des données enrichies dans le Datalake. Développer en respectant les principes d’architecture définis. Rédiger et documenter les user stories en collaboration avec le Product Owner. Rédiger les scripts nécessaires au déploiement. Identifier et prioriser la correction des anomalies. Assister les équipes en charge de l’exploitation. Contribuer à la mise en place d’une chaîne de livraison continue. Automatiser les tests fonctionnels. Encadrer et superviser le travail des data engineers de la squad.

📑 CDI (36 - 40K€) / Freelance / Portage Salarial - 🏠 2 jours de télétravail / semaine - 📍 Toulouse - 🛠 Expérience de 2/3 ans minimum Rejoignez une équipe passionnée et boostez la transformation Big Data ! 🚀 Nous accompagnons notre client pour renforcer une équipe spécialisée dans la gestion et l’industrialisation des traitements de données massifs et recherchons un.e Data Engineer. Vous interviendrez sur une plateforme Big Data dédiée à l’exploitation de larges volumes de données, utilisée pour des analyses avancées et des modèles prédictifs. Votre défi à relever 🎯 En tant que Data Engineer, vous aurez un rôle clé dans la mise en place et l’optimisation des pipelines de données. Vous serez en interaction avec des équipes pluridisciplinaires (développeurs, data scientists, métiers) pour construire des solutions performantes et scalables.

Pour l'un de nos clients grand compte, nous recherchons un Ingénieur Support Applicatif SI Risques Opérationnels . Vous intégrerez une entité regroupant l'ensemble des départements IT en charge du développement et de l'exploitation du système d’information ainsi que des infrastructures technologiques du groupe. Fournir aux métiers et fonctions de support les outils nécessaires à leurs activités, tout en garantissant un niveau de service adapté à leurs besoins et contraintes. Offrir des prestations informatiques pour diverses entités du groupe Suivi opérationnel quotidien de l’activité de fonctionnement (Incidents, demandes, problèmes). Gestion des incidents Niveau 1, 2 et 3 . Suivi de la production applicative. Gestion des demandes utilisateurs et des changements sur le périmètre. Conseil aux utilisateurs sur l'utilisation du système applicatif. Accompagnement des équipes projet risques avec expertise sur les environnements techniques : Java / Spark / BigData / Hadoop Gestion des plans d'amélioration pour les applications incidentées et suivi des plans d’actions de remédiation. Gestion du plan d’obsolescence sur le périmètre. Traitement des vulnérabilités. Participation aux comités de sécurité (plans de secours, suivi des failles de sécurité). Production des indicateurs et des supports pour les métiers.

Il a pour mission de définir la politique informatique et de coordonner sa mise en œuvre pour : • Doter les métiers et fonctions de support des outils nécessaires à leur activité, en leur offrant un niveau de service adapté à leurs objectifs et contraintes ; • Optimiser les dépenses des systèmes d’information, en garantissant leur alignement sur les objectifs des métiers et fonctions et leur efficacité au niveau du Groupe. . Nous recherchons un Ingénieur Support Applicatif sur SI Risques Opérationnels: Description du poste :  Maintien en condition opérationnelle du parc applicatif confié : o Suivi opérationnel quotidien de l’activité de Fonctionnement (Incidents, demandes, problèmes) o Gestion des incidents Niveau 1, 2 et 3. o Suivi de la production applicative. o Gestion des demandes utilisateurs o Gestion des changements sur le périmètre. o Conseiller les utilisateurs sur l'utilisation du système applicatif o Accompagner les équipes projet risques et apporter votre expertise sur les différents environnements techniques ( Java / Spark / Bigdata / hadoop..) o Assurer les interactions avec les acteurs de l’écosystème IT, les architectes ICA et la production (CAGIP pour l’ensemble du Groupe CA) o Participer aux différents comités équipes projets / fonctionnement  Être le premier niveau de contact fonctionnement IT des Métiers ((conseils, aide sur documentation / communication /gestion de cas atypique, ...)  Participation aux Gouvernance Métier (Comités de suivi de RUN, COPIL...).  Gérer le plan d’amélioration sur les applications incidentées et suivi des plans d’actions de remédiations.  Gérer le plan d’obsolescence sur son périmètre.  Traitement des vulnérabilités Participer aux comités avec CA-GIP, la sécurité (Plans de secours, Suivi des failles de sécurité...), les Centre de Service Externes, les Métiers.  Produire les indicateurs, les supports pour les métiers pour ICA sur le périmètre  Le cas échéant, de prendre en charge des sujets transverses ou dédiés Livrables attendus : Gestion et suivi de la production day to day Pilotage de l’activité sur le périmètre Documentations techniques Supports des métiers

ENVIRONNEMENT ICA (IT Crédit Agricole SA Entité Sociale) regroupe l’ensemble des départements IT en charge du développement et de l’exploitation du système d’information et des infrastructures technologiques du GroupeCrédit Agricole SA. Il a pour mission de définir la politique informatique et de coordonner sa mise en œuvre pour : •Doter les métiers et fonctions de support des outils nécessaires à leur activité, en leur offrant un niveau de service adapté à leurs objectifs et contraintes ; •Optimiser les dépenses des systèmes d’information, en garantissant leur alignement sur les objectifs des métiers et fonctions et leur efficacité au niveau du Groupe.• Réaliser des prestations informatiques pour certaines entités du groupe Crédit Agricole. : oSuivi opérationnel quotidien de l’activité de Fonctionnement (Incidents, demandes, problèmes)oGestion des incidents Niveau 1,2, 3. oSuivi de la production applicative. oGestion des demandes utilisateurs oGestion des changements sur le périmètre. oConseiller les utilisateurs sur l'utilisation du système applicatif oExpertise sur les environnements techniques KUBE (Spark / Minio S3/ Oracle / Kubernetes/ ELK / ArgoCD / ArgoWorkFlow..) oAssurer les interactions avec les acteurs de l’écosystème IT, les équipes Projetset la production (CAGIP pour l’ensemble du Groupe CA) oParticiper aux différents comités équipes projets / fonctionnement ✓Être le premier niveau de contact fonctionnement IT des Métiers (conseils, aide sur documentation / communication /gestion de cas atypique, ...) ✓Participation aux Gouvernance Métier (Comités de suivi de RUN, COPIL...). ✓Gérer le plan d’amélioration sur l’applicationet suivides plans d’actions deremédiations. ✓Traitement des vulnérabilités ✓Participer aux comités avec CA-GIP, la sécurité (Plans de secours, Suivi des failles de sécurité...), les Centre de Service Externes, les Métiers. ✓Produire les indicateurs, les supports pour les métiers pour ICA sur le périmètre CA-CIB–IOS –ICA -IRCPage 2sur 2 ✓Le cas échéant, de prendreen charge des sujets transverses ou dédiésLivrables attendus: ➢Gestion et suivi de la production day to day ➢Gestion des incidents et suivi des traitements. ➢Analyse de rootcauses et suivi des plans d’actions de remédiations ➢Documentations techniques➢Supports des métiers ➢Poste soumis aux contraintes d’astreintes mensuelles liés à la nature de l’application et sa criticité.

Cherry Pick est à la recherche d'un Ingénieur Full Stack JAVA/Spark pour un client dans le secteur de l'Edition. En ce sens, vos missions seront : Expérience requise (obligatoire): Expérience confirmée en développement Java Expérience confirmée en développement Spark Conception et développement de traitements batchs pour des traitements volumineux et critiques. Développement d’API REST et de services en Java (Spring Boot) Maîtrise des bases de données relationnelles Compétences appréciées: Connaissances en sécurité cloud et réseaux (Linux, Redhat) Expérience en migration de données Réalisation de tests unitaires et d’intégration Connaissance des pratiques DevOps (CI/CD, Docker, Kubernetes est un plus) Soft Skills: Encourager la coopération et le partage de connaissances, contribuant ainsi à une dynamique positive au sein de l'équipe. Autonomie et capacité à implémenter/résoudre des problématiques techniques complexes Esprit d’analyse et de synthèse, capacité à documenter les processus techniques Capacité à travailler efficacement en équipe, en communiquant avec les différentes parties prenantes (DEV, OPS, produit) Être proactif dans l'apport d'idées et de solutions, tout en respectant les contraintes de l'équipe et du projet Responsabilités: Expérience en développement front-end Angular Implémenter, développer et maintenir les fonctionnalités en JAVA Solide maîtrise des technologies Java/Spark et des traitements batch. Réaliser les tests unitaires et les tests de bout en bout avec l’appui du PO Produire les documents techniques correspondants (spécifications techniques) Travail dans un cadre agile et participation aux rituels (PI planning, démo, …) Participer à l’animation de l’équipe (daily meeting, atelier de partage)

🚀 Contexte du poste Dans le cadre d’une migration vers Google Cloud Platform (GCP) et de plusieurs projets d’expansion, nous recherchons un développeur Python/Spark/GCP (F/H) pour intervenir sur un projet dans le domaine bancaire. Au sein d’une équipe Data et en collaboration avec les Data Scientists, votre rôle sera de concevoir, industrialiser et optimiser les pipelines de données tout en intégrant et déployant les modèles de Machine Learning développés par l’équipe. 🎯 Vos missions Concevoir et développer des pipelines de données optimisés sur Google Cloud Platform (GCP) Industrialiser et déployer des modèles de Machine Learning via Spark et d’autres services GCP (BigQuery, Dataproc, Vertex AI) Optimiser la gestion des alertes LCB-FT et contribuer à l’amélioration des modèles de scoring Assurer la migration des données et traitements de PHG vers GCP Travailler sur des architectures scalables et performantes pour l’extension du moteur de scoring Automatiser et superviser les traitements pour garantir un fort niveau de fiabilité et de performance 🛠 Stack technique Google Cloud Platform (GCP) : BigQuery, Dataflow, Dataproc, Cloud Storage, Pub/Sub Spark (PySpark / Scala) pour le traitement distribué Python (pandas, scikit-learn, airflow) CI/CD & Infra : Terraform, Kubernetes, GitLab CI/CD Bases de données : SQL, NoSQL

En tant qu’Ingénieur(e) Move To Cloud, vous intégrerez l’équipe KARMA Move To Cloud pour piloter la migration du système de Revenue Management KARMA, vers Google Cloud Platform (GCP). Vos missions incluront : Migration des workloads Hadoop /Spark vers GCP ( Dataproc, BigQuery, GCS ). Développement et optimisation de pipelines de données. Mise en œuvre d’infrastructures avec Terraform et automatisation via Github Actions. Collaboration avec l’équipe pour assurer une transition fluide et performante..