Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur Data Spark (H/F) à Lyon, France. Contexte : Analyser et cartographier, avec les experts métiers et l'équipe de développement, le pipeline de données actuel : les modèles de données des différentes base de données utilisées; les flux de données qui existent entre les différentes sources de données (lignage des données); les règles de validation, de filtrage de calcul actuellement en place lors des transferts de données Assister les architectes dans la définition du nouveau pipeline de données en s'appuyant sur les service cloud Appuyer l'équipe de développement dans la réalisation de la nouvelle solution : Mise en place en place de la solution et des bonnes pratiques associées ; Culture du data engineering ; Expertise sur l'outillage data mise en place (ETL, base de données, Spark, Glue) Les missions attendues par le Développeur Data Spark (H/F) : Expertise dans l'outillage de stockage des données (base de données, fichiers) et le traitement des données (ETL, Spark) Expertise Spark, quelque soit le langage de prédilection (Java, Scala, Python) Maitrise des bonnes pratiques de développements et de la mise en oeuvre des outils liées à la data Maîtrise des technologies du Big Data, des problématiques liées à la volumétrie et aux performance Maîtrise des outils de gestion de code (Git) et de déploiement projet (Terraform) Une séniorité globale supérieure à 10 ans est attendue sur ce poste Plusieurs expertise significatives dans l'analyse de données et la mise en place de pipelines qu'ils soient de type batch/ETL ou événementiel/streaming

Contrainte forte du projet Maîtrise des architectures de streaming OTT Les livrables sont Evolution de nos architectures d’encodage et de diffusion video Amélioration continue des infrastructures et de leur industrialisation Travailler en collaboration avec les équipes de développement afin de faire évoluer et améliorer les plateformes Compétences techniques : Encodage/Transcodage VOD et Live - Expert - Impératif Packaging - Expert - Impératif Supervision OTT - Confirmé - Important Connaissances linguistiques Français Courant (Impératif) Anglais Professionnel (Impératif)

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

J'ai un poste à pourvoir pour un data engineer senior qui connaisse le secteur de la finance de marché pour une mission longue en banque technos : scala spark kafka (java) si vous êtes intéressé, n'hésitez pas à postuler je vous appelle dans la journée plus de détails en privé. -- J'ai un poste à pourvoir pour un data engineer senior qui connaisse le secteur de la finance de marché pour une mission longue en banque technos : scala spark kafka (java) si vous êtes intéressé, n'hésitez pas à postuler je vous appelle dans la journée plus de détails en privé.

Obligatoire : Java, SPARK , Angular Développeur Java Angular Spark (H/F) Localisation : 92 Durée : 6 mois Renouvelable (visibilité 3ans) Démarrage : Avril Contexte : 1) Dans le cadre d'une application au sein du du domaine SI, plusieurs Jobs Datastage vont être migrés vers Spark. le consultant aura pour rôle de faire les évolutions sur la plateforme Spark. 2) Le candidat prendre en charge le développement d'application en java Angular, les montées de versions et correctifs Technologies du projet : Java, Angular, Spark, ElasticSearch... Process : 1 entretien Télétravail : 2 jours/semaine

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : 💡 Contexte /Objectifs : La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad Financing & Risk qui aujourd'hui développe et gère un datalake (RiskLake). 🤝 Expertises indispensables Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer du RiskLake : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets

Dans ce cadre, la prestation consistera à contribuer à/au(x) : Planification et conception en collaboration avec les différents utilisateurs et/ou bénéficiaires (étude, design des sujets). Développement des fonctionnalités. Mise en place de tests fonctionnels basés sur la méthode BDD (Behavior Driven Development). Analyse de données pour prise de décision ou amélioration continue. Revue de code dans une démarche de qualité logicielle et de partage des bonnes pratiques. Suivi de la production et support technique aux utilisateurs. Le tout réalisé en mode Agile , selon le framework SAFe (Scaled Agile Framework).

Contexte : Nous recherchons un(e) développeur(se) Python passionné(e) pour rejoindre une équipe spécialisée dans la création de pipelines d'orchestration de modèles ML (préparation de features, entraînement, tuning et inférence). Ces pipelines permettent aux Quants & Data Scientists d’ industrialiser l’utilisation des modèles de Machine Learning pour la prévision de la consommation et de la production d’énergie. Missions : Concevoir et développer des pipelines de données pour le cycle de vie des modèles ML. Collaborer avec les Quants et Data Scientists pour résoudre les problématiques liées aux modèles de Machine Learning. Optimiser les processus d’entraînement et de déploiement des modèles. Contribuer à l’amélioration de la plateforme dédiée au forecasting en exploitant l’IA et le Big Data.

🎯 Nous recrutons un Développeur Big Data Java Spark 🔍Nous recherchons un développeur Big Data expérimenté pour intégrer notre équipe. 🔍 🔍 Vos missions : Développement Big Data sur la stack Hadoop Traitement de très larges volumes de données Participation active aux sprints Agile 💼 Compétences requises : ✅ Excellente maîtrise de Java Spark (indispensable) ➕ Connaissance de PySpark appréciée 🛠️ Expérience en industrialisation & CI/CD ☁️ Connaissance du Cloud (AWS de préférence) 👥 Travail en mode agile, avec rigueur, autonomie et transparence compétences Java Spark indispensables

📌 Mission : Accompagnement Développement Big Data – Projet Lutte Contre la Fraude Dans le cadre d’un projet de refonte d’une application de lutte contre la fraude, notre client recherche un accompagnement technique afin de renforcer son équipe de développement Big Data (Java/Scala). 🎯 Objectifs de la mission : Accompagner techniquement les développeurs sur le projet Contribuer à l'amélioration de la vélocité et de la productivité de l’équipe Participer à la réflexion autour de l’architecture de la nouvelle application 💡 Stack technique : Langages : Scala (AKKA Actor / Play), Java Big Data : Spark , Hadoop (HTC) , Cassandra Bases de données : Oracle Streaming : Kafka Middleware : MQSeries DevOps / Qualité : Git , Jenkins , JUnit , Sonar Méthodologies : Agile (Scrum, Kanban) ✅ Compétences recherchées : Expérience solide en développement Java/Scala (front & back) Bonnes connaissances en DevOps Maîtrise des outils d’intégration continue et de qualité de code Capacité à intervenir dans un environnement Agile Sens de l’analyse et esprit de collaboration 📄 Livrables attendus : Audit technique du code et des processus existants Plan d’action pour améliorer la vélocité de l’équipe Propositions d’architecture pour la refonte applicative Recommandations techniques globales

Dans le cadre d’un projet d’industrialisation des pipelines de données, notre client recherche un Data Engineer confirmé Python / Spark / Dataiku pour renforcer une équipe data déjà en place. L’objectif principal est de structurer un socle technique robuste, améliorer la qualité des traitements et fiabiliser les processus de mise en production. Vous serez amené à travailler sur des sujets de tests automatisés, de monitoring de pipelines, de performance, et de déploiement continu. Le rôle est transverse : il implique à la fois des compétences techniques solides et une capacité à faire évoluer les pratiques de l’équipe.

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : 💡 Contexte /Objectifs l'entité est en charge des développements liés aux applications sources, de contrôle et de valorisation des instruments, des données de marchés et des facteurs de risques. L'application sert à transférer les données sur le Cloud public (Azure) à des fins analytiques. 💡 Objectifs et livrables Les enjeux étaient nombreux :  Volumétrie de données  Performance / Multi-Threading  Data Quality  Legacy Management  Large éventail de technologies à maîtriser : o Etudes techniques o Refonte technique et refonte de l’architecture du projet o Migration On-Premise vers Azure o Optimisation des performances o Amélioration du Code Quality o Mise en place des process CI/CD o Mise en place du monitoring o Diverses implémentations et migrations techniques de composants déployés dans Azure (AirFlow, Migration Blue/Green, etc…)

📢 𝐏𝐫𝐨𝐝𝐮𝐜𝐭 𝐎𝐰𝐧𝐞𝐫 𝐨𝐧 𝐂𝐥𝐨𝐮𝐝 𝐀𝐳𝐮𝐫𝐞 – 𝐌𝐨𝐧𝐢𝐭𝐨𝐫𝐢𝐧𝐠, 𝐎𝐛𝐬𝐞𝐫𝐯𝐚𝐛𝐢𝐥𝐢𝐭𝐞́ & 𝐃𝐚𝐭𝐚 📍 𝟗𝟐 – 𝐏𝐫𝐞́𝐬𝐞𝐧𝐭𝐢𝐞𝐥 𝐡𝐲𝐛𝐫𝐢𝐝𝐞 🗓 𝐀𝐒𝐀𝐏 🎙️ 𝐀𝐧𝐠𝐥𝐚𝐢𝐬 𝐟𝐥𝐮𝐢𝐝𝐞 𝐨𝐛𝐥𝐢𝐠𝐚𝐭𝐨𝐢𝐫𝐞 ✒️ 𝐅𝐫𝐞𝐞𝐥𝐚𝐧𝐜𝐞 𝐨𝐧𝐥𝐲 - 𝐏𝐚𝐬 𝐝𝐞 𝐒𝐓𝐓 🎯 𝐕𝐨𝐭𝐫𝐞 𝐦𝐢𝐬𝐬𝐢𝐨𝐧 Dans un environnement cloud et data-driven, vous piloterez la roadmap produit d'une équipe dédiée à l'Observabilité et à la Data, en assurant la bonne traduction des besoins métier en solutions techniques performantes. 🔍 𝐕𝐨𝐬 𝐨𝐛𝐣𝐞𝐜𝐭𝐢𝐟𝐬 ✅ Recueillir, formaliser et prioriser les besoins métiers et techniques ✅ Définir et maintenir le backlog produit ✅ Assurer la qualité et la pertinence des solutions livrées ✅ Collaborer avec les équipes de développement et animer les cérémonies Agile/Scrum ✅ Suivre et analyser les KPIs de performance pour l’amélioration continue ✅ Assurer une veille technologique sur les outils de monitoring et data 🛠 𝐄𝐧𝐯𝐢𝐫𝐨𝐧𝐧𝐞𝐦𝐞𝐧𝐭 𝐭𝐞𝐜𝐡𝐧𝐢𝐪𝐮𝐞 Cloud & Conteneurs = > Azure Kubernetes Service (AKS), Azure Functions Stockage & Bases de données => Azure Blob Storage, ADLS Gen2, PostgreSQL, ElasticSearch, Delta Lake Streaming & Messagerie => Event Hub, RabbitMQ Data Engineering & Logging => Apache Airflow, Apache Spark, Logstash, Azure Log Analytics Visualisation => Grafana CI/CD & Collaboration => GitHub #ProductOwner #Data #Monitoring #Observabilité #Cloud #Azure

Nous recherchons un(e) Tech lead Java Spark pour le compte de notre client, dans le secteur aéronautique. L'objectif du poste est de reprendre l'activité d'un Tech lead interne et : Accompagner l’évolution du produit en relation en avec le métier Piloter techniquement l’équipe Le contexte étant international, la maîtrise de l'anglais est indispensable. Projet en Agilité. Equipe totale de 15 personnes dont 3 sur le projet présenté. Des déplacements ponctuels sont prévus sur Paris. (1 à 2 / an) Le poste : 50% d'innovation 40% de migration technique 10% continuité Ratio : 70% de développement 30% hors développement (Architecture, Communication, Accompagnement d'équipe, ...)

Contexte : Recherche un Ingénieur Big Data expérimenté pour administrer et optimiser des solutions Big Data (Spark, Trino, MinIO) sur un cluster Kubernetes au sein d’un grand groupe bancaire. Ce rôle requiert une forte expertise en tuning applicatif, support et approche DevOps/GitOps . Missions : Déploiement et administration avancée des applications Spark, Trino ou Jupyter sur Kubernetes. Tuning et optimisation des performances : ajustement des configurations, analyse des logs, debugging avancé, optimisation des requêtes SQL (Trino), tuning des jobs Spark. Gestion du RUN et support applicatif : diagnostic et résolution des incidents, amélioration continue des performances, accompagnement des utilisateurs sur l’optimisation des requêtes. Mise en place de l’approche GitOps : automatisation complète du déploiement et de la gestion des applications avec Terraform, Ansible, Git, ArgoCD/FluxCD. Sécurisation et monitoring avancé : implémentation de métriques et alertes sur Prometheus, Grafana, Loki, gestion des accès et des logs applicatifs.

📑 CDI (42 - 48K€) / Freelance / Portage Salarial – 🏠 3 jours de télétravail / semaine – 📍 Toulouse – 🛠️Expérience de 5 ans minimum Si vous êtes passionné·e par la data et les enjeux de maintenance prédictive, cette opportunité est faite pour vous ! 🚀 Nous recherchons un·e Java / Spark / PHP pour intervenir sur un projet stratégique d’un de nos clients dans le secteur aéronautique. Vous rejoindrez une équipe engagée, travaillant sur des applications critiques permettant d’optimiser la maintenance des avions. ✈️ 🎯 Votre défi à relever : En tant que Tech Lead , vous aurez un rôle central dans l’évolution et la maintenance d’une application Big Data à fort enjeu métier. Votre mission sera de : Piloter techniquement une équipe d’expert.e.s et accompagner les évolutions du produit. Développer et intégrer des solutions robustes en Java, Spark, SQL, GCP . Collaborer avec les équipes métiers et les Product Owners pour aligner les développements avec les besoins utilisateur.trice.s. Assurer la migration vers GCP et garantir la performance des environnements. Documenter et transmettre les bonnes pratiques pour assurer la pérennité des solutions. 🛠️ La stack technique : Langages : Java, SQL, Spark Cloud : Google Cloud Platform (GCP) Méthodologie : Agile Scrum