Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Missions et responsabilités : Animer l’équipe de développement : Organiser les tâches, coordonner les efforts et maintenir la motivation de l’équipe. Assurer l’avancement des sujets en mode agile : Suivre et garantir l’avancement des tâches et des projets tout en respectant les principes agiles. Relecture continue et rigoureuse du code : Vérifier la qualité et la conformité du code produit par l’équipe, en mettant l’accent sur la lisibilité, la performance, et la sécurité. Participer à la conception et l’implémentation des solutions techniques : Contribuer activement à l’architecture des solutions, en particulier pour les besoins complexes. Contribuer à l’architecture de l’outil : Définir et concevoir l’architecture avec les architectes, en assurant l’intégration future des produits et leur évolutivité. Promouvoir le bon fonctionnement agile de l’équipe : Aider à maintenir une dynamique agile au sein de l’équipe, former les nouveaux arrivants et les guider pour bien comprendre le produit et ses spécificités. Accompagner le développement des compétences : Fournir un mentorat et des conseils techniques pour faire progresser les développeurs de l’équipe. Support technique ponctuel : Apporter un soutien technique aux équipes de production ou aux équipes de développement partenaires. Compétences obligatoires : C++ : Maîtrise avancée de C++ pour le développement de solutions techniques robustes. QT/QML : Expertise dans le développement d’interfaces utilisateurs avec Qt et QML. OS Linux : Connaissance approfondie de Linux, notamment RedHat / CentOS, pour le développement et la gestion des environnements de production. Tests unitaires : Compétence en mise en œuvre et exécution de tests unitaires pour assurer la qualité du code. SQL : Bonne maîtrise des bases de données relationnelles et des requêtes SQL. GIT/GITLAB : Expérience avec GIT pour la gestion des versions et GitLab pour la gestion de l’intégration continue. SPARK : Connaissances dans l’utilisation de SPARK pour le développement logiciel sécurisé. Python : Compétence en Python pour l’automatisation, le développement de scripts ou la gestion des processus.

Almatek recherche pour l'un de ses clients un Administrateur plateforme Big Data (Cloudera Data Platform) sur Villaroche. 🔍 Contexte Notre client utilise une plateforme Big Data on-premise (Cloudera Data Platform) dédiée aux besoins du Service Après-Vente. La DSI gère l’ingestion et la préparation des données, assure l’industrialisation des développements et garantit le bon fonctionnement technique de la plateforme GAIA. Dans ce cadre, nous recherchons un Administrateur Big Data pour assurer l’exploitation, la maintenance et le support aux utilisateurs. Missions 1️⃣ Exploitation et administration de la plateforme Configuration, surveillance et optimisation des clusters Cloudera. Sécurisation des données (LDAP, Kerberos, SSL). Automatisation des tâches récurrentes via scripting (Shell, Ansible, Python). Ordonnancement des chaînes d’ingestion et des analytiques (Oozie, Nifi). Application des mises à jour et gestion des performances. 2️⃣ Support et gestion des incidents Assistance technique de niveau 1 et 2 aux utilisateurs via Redmine (Follow Up). Analyse et résolution des anomalies, mise en place de correctifs. Suivi régulier des demandes et communication aux utilisateurs. Reporting mensuel sur les incidents et le support. 3️⃣ Amélioration continue & documentation Mise à jour des référentiels (SharePoint, bonnes pratiques, procédures). Production de synthèses et propositions d’optimisation. Amélioration de la qualité de service et des performances de la plateforme. 🛠️ Compétences requises Systèmes & Sécurité : Linux (RedHat 8), LDAP, Kerberos, SSL, IDM. Big Data : Cloudera (HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi). Automatisation & Monitoring : Ansible, Centreon, scripting Shell, Python, Scala. Base de données : SQL. Soft skills : Bon relationnel, esprit d’équipe, autonomie, synthèse et communication claire.

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Consultant BI (H/F) à Lyon, France. Contexte : Projet de pilotage et d’analyse du système et doit répondre aux enjeux suivants : - Assurer le pilotage du système et des processus métier associés - Garantir la qualité et la sécurité des informations - Contribuer à l’amélioration continue du système L’application permet trois principales fonctionnalités : - Le reporting - L’export des données - L’exploitation de données Elle est utilisée par environ 1500 utilisateurs (analystes, experts métiers, experts SI). L’équipe se compose de près de quarante compétences, réparties en six sous équipes, qui a comme périmètre un ensemble de thématiques métiers et une plateforme technique. Les missions attendues par le Consultant BI (H/F) : Activité principale : o Analyser les besoins fonctionnels et techniques o Localiser les données de production permettant de répondre au besoin o Documenter / spécifier les livrables o Développer les processus d’intégration de données o Modéliser et enrichir les datawarehouse (entrepôts de données) et les datamarts (magasins de données) o Produire des rapports ou tableaux de bords lisibles et compréhensibles par le métier, et répondant à leur besoin o Tester la qualité et la performance de ses livrables Activité secondaire : o Livrer et déployer ses livrables o Participer aux revues de code o Assurer le suivi et le maintien en conditions opérationnelles de ses livrables en production Stack technique de l'équipe : o Big Data : Spark, Hive. o Stockage : Oracle, CEPH S3 (parquet). o Langages : Java, Python, PL/SQL, Shell. o CI/CD : Ansible, Terraform, Jenkins, GIT. o ETL : Informatica. o Dataviz : Tableau Server, PowerBI. o Ordonnanceur : Control-M.

Dans le cadre du programme de transformation Spark au sein de la CIB qui vise en 2025 à consolider les fondations data de la chaine de financements End to End (Front – Risk – Ops), mission de Business Analyst(e) confirmé au sein de l' équipe Digital Front Financing & Client. Le (a) Business Analyst sera appelé à étudier, spécifier et implémenter des solutions IT pour des utilisateurs Front Office conformément aux jalons de la roadmap du programme en 2025. Il (elle) travaillera en étroite collaboration avec plusieurs équipes IT (Risk, Data et Ops) et interagira également avec des Product Owners métier. La mission est prévue pour un démarrage au plutôt et se déroulera jusqu’à la fin de l’année 2025.

Smarteo recherche pour l'un de ses clients, Un Expert ElasticSearch / OpenSearch sur le 78 + TT Projet : En tant que Expert ElasticSearch / OpenSearch et DATA en général, vous rejoindrez une équipe DATA/IA et évoluerez dans un environnement technique et fonctionnel riche. Principaux livrables : Gestion de l’obsolescence des plateformes OpenDistro et ElasticSearch Platinium vers l’offre Elastic Search Entreprise ou OpenSearch. Les principales activités de la prestations consistent: Réaliser l’inventaire et cartographie de l'usage existant Re-challenger les besoins auprès des équipes applicatives (sizing, etc) Préparation des environnements cible iso prod actuel (sécurité, authorisation, index, etc) Accompagner techniquement les équipes applicatives dans la bascule (flux en Y prévu) Reporting des usages automatisés Documentation Compétences requises : OpenSearch / OpenDistro ElasticSearch Connaissance approfondie sur les technologies Data suivantes: Kafka, Spark, Flink, Nifi, AirFlow Connaissance des Cloud Public AWS et GCP et Terraform Connaissance des solutions Data sur le Cloud Public : AWS EMR, GCP DataProc, etc Connaissance approfondie linux et kubernetes Connaissance approfondie des solutions CI/CD (Gitlab, GitOps, ArgoCD, etc) Maîtrise de langages de programmation (Python…) Travail en Agile Anglais ITIL V4 Si vous êtes intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jour au format Word

Nous recherchons un ingénieur Azure Data pour rejoindre l'équipe Advanced Analytics Service Delivery Team. L'objectif de l'Advance Analytics SDT est de fournir des capacités autour de l'intégration et de l'ingénierie des données et du déploiement de modèles pour les cas d'utilisation prioritaires. L'équipe est composée d'ingénieurs en données, d'experts en la matière, d'architectes de services, d'ingénieurs DevOps, de testeurs, de propriétaires de produits techniques et de Scrum Master. La hiérarchisation du carnet de commandes est effectuée en collaboration avec les propriétaires de produits commerciaux sur la base du pipeline de cas d'utilisation. L'équipe soutient la Cloud Analytics Platform pour créer des capacités autour de solutions numériques et d'analyses avancées. La plateforme héberge le lac de données de l'entreprise du client où les données IoT provenant des équipements des usines des clients dans le monde entier sont collectées et complétées par des sources de données internes. L'équipe utilise ses capacités d'ingénierie des données pour obtenir des informations et générer des solutions aux problèmes des clients. En tant que Data Engineer, vous devrez : - Identifier les ensembles de données nécessaires pour chaque cas d'utilisation en collaboration avec les équipes sources et les analystes commerciaux - Intégrer les données dans le lac de données de l'entreprise - Déplacer et transformer les données du lac de données vers la base de données SQL ou le serveur de données SQL, en fonction du cas d'utilisation. - Implémenter la logique en fonction des besoins de l'entreprise (par exemple, définition des KPI, etc.) - Collaborer avec d'autres équipes informatiques pour créer une solution complète autour d'un cas d'utilisation. - Gestion du cycle de vie des cas d'utilisation livrés Qui êtes-vous ? - Expérience avec la plateforme Microsoft Azure (Data Lake, Data Factory, Databricks, Data Warehouse, Azure DevOps) - Expérience dans la modélisation de bases de données et d'informations - Expérience avec la manipulation de données en utilisant SQL et Python (R est un bonus) - Expérience avec Apache Spark Framework (de préférence PySpark - Python) - Expérience avec des langages de script tels que Python et PowerShell (C#/. NET) - Expérience de l'intégration de systèmes et de services - Expérience de la consommation d'API REST - Expérience du développement d'API REST (de préférence avec Flask - Python) - Expérience des conteneurs Docker

Nous recherchons un Administrateur plateforme Big Data (Cloudera Data Platform) Séniorité + de 6 ans d'expérience Contexte Le client est doté d’une plateforme Big Data on premise, basée sur la suite Cloudera Data Platform. Elle sert essentiellement aux besoins du Service Après-Vente de ses produits. Les rôles de la DSI sur cette plateforme sont multiples : • Développer les pipelines d’ingestion de nouvelles données • Développer les pipelines de préparation des données • Industrialiser les développements (ingestions, data preps, algorithmes) • Assurer le bon fonctionnement technique de la plateforme • Assurer le support aux utilisateurs en cas d’anomalie et de questions sur l’utilisation de la plateforme La DSI souhaite renforcer son équipe d’administrateurs BigData grâce à une prestation d’assistance. Lieu de mission Villaroches (77) Expertises / compétences Compétences techniques nécessaires • Linux (RedHat 8), Shell scripting • Security (LDAP, Kerberos, SSL, IDM) • Cloudera, HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi • Centreon, Ansible • Python et Scala sur environnement distribué. • SQL • Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.) Activités La prestation consiste à assurer l’administration des plateformes BigData ainsi que le support aux utilisateurs tant sur les anomalies que sur les demandes de support à l’utilisation de la plateforme En détail, l'ensemble des tâches des administrateurs sont les suivantes : Exploitation de la plateforme : • Configurer, surveiller et optimiser les systèmes de stockage et de traitement des données, tels que les clusters de serveurs et les bases de données distribuées. (Cloudera) • Effectuer les taches de MCO quotidiennes (vérification de l’état des jobs et de la plateforme) • Assurer la sécurité des données en mettant en place des mesures de protection, des politiques de contrôle d’accès et des stratégies de sauvegarde/récupération. • Assurer l’ordonnancement des chaines d’ingestion et des analytiques tournant sur les plateformes • Participer aux projets d’évolution des plateformes BigData • Gérer la performance des plateformes Big Data. • Participer à la maintenance des environnements en appliquant des mises à jour. • Automatiser les tâches récurrentes à l’aide de scripts pour optimiser la gestion des systèmes. • Produire et maintenir la documentation d’exploitation de la plateforme • Contribuer à l’amélioration continue de l’exploitabilité et de la qualité de service de la plateforme • Maintenir et améliorer les KPI de suivi du fonctionnement de la plateforme Le livrable associé est la documentation à jour des dernières modifications de paramétrage de la plateforme. Support aux utilisateurs Support sur incident Documentation technique et fonctionnelle de la plateforme Suivi de l’activité de run et amélioration continue

Informations Générales Intitulé du poste : Data Engineer GCP Localisation : [Ville, Pays] (possibilité de télétravail selon politique de l’entreprise) Type de contrat : CDI / Freelance / Autre Rémunération : Selon profil et expérience Département : Data / IT Rattachement hiérarchique : Lead Data Engineer / Data Architect Missions Principales En tant que Data Engineer GCP , vous serez responsable de la conception, de la mise en place et de l’optimisation des pipelines de données sur Google Cloud Platform . Vous travaillerez en collaboration avec les équipes Data Science, BI et DevOps pour garantir la fiabilité et la scalabilité des infrastructures de données. 1. Conception et Développement de Pipelines de Données Concevoir, développer et maintenir des pipelines ETL/ELT robustes et performants sur GCP Utiliser BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow) pour l’ingestion, la transformation et le stockage des données Assurer l'optimisation des performances et la scalabilité des traitements de données Automatiser les flux de données en intégrant les meilleures pratiques DevOps et CI/CD 2. Gestion et Optimisation des Bases de Données Déployer et gérer des bases de données relationnelles et NoSQL sur GCP : BigQuery, Cloud SQL, Firestore, Spanner Assurer la qualité, la gouvernance et la sécurité des données (GDPR, RGPD, DLP) Implémenter des stratégies de partitionnement, d’indexation et d’optimisation des coûts sur BigQuery 3. Sécurité, Monitoring et Fiabilité Mettre en place des bonnes pratiques de sécurité (IAM, chiffrement des données, gestion des accès) Assurer le monitoring des pipelines et des infrastructures de données avec Cloud Monitoring, Stackdriver et Prometheus Gérer les incidents et optimiser les performances des traitements et des requêtes SQL 4. Collaboration et Documentation Travailler en étroite collaboration avec les Data Scientists, Data Analysts et équipes métiers Documenter les pipelines, les architectures et les bonnes pratiques Sensibiliser et accompagner les équipes sur l’utilisation des données et des outils GCP Compétences Requises Compétences Techniques Maîtrise de Google Cloud Platform : BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow), Pub/Sub ETL / ELT : Conception et optimisation de pipelines de données Langages de programmation : Python, SQL, Scala, Java Bases de données : BigQuery, Cloud SQL, Firestore, Spanner Infrastructure as Code (IaC) : Terraform, Deployment Manager CI/CD et DevOps : GitHub Actions, GitLab CI/CD, Jenkins Sécurité et Gouvernance des données : IAM, GDPR, DLP Monitoring et Logging : Cloud Monitoring, Stackdriver, Prometheus Compétences Transverses Bonne capacité d’analyse et de résolution de problèmes Capacité à vulgariser des concepts techniques complexes Esprit collaboratif et bonne communication Force de proposition et autonomie

Projet : La DSI Risks regroupe toutes les activités MOA et MOE sur les applications des périmètres métiers Risques, Résultats, Gestion Financière. Les challenges de la DSI Risks sont : • mener avec succès les projets d’évolution du système d’information, en réponse aux nouveaux besoins règlementaires, métier, ou d’architecture globale du SI • faire évoluer et entretenir le SI métier, en mettant en œuvre des solutions efficaces et durables • assurer le support quotidien aux utilisateurs (Résultats, Risques, FO, BO, …) sur les outils SI. Contexte : L'application permet d'affecter un identifiant de payoff et un niveau d'observabilité (Fair Value Level) aux différents instruments récupérés à partir du référentiel Base des Opérations (BOP) en se basant sur leurs caractéristiques et le paramétrage métier (Cartographies). La mission consiste à développer et adapter des processus d’intégration, de traitement et de calcul de données ainsi que du site Web de l'application . L'application manipule un grand volume de données sur les instruments, les trades, les assets, les positions, les sensibilités, les chocs, la XVA avec de multiples sources de données. Missions du développeur/euse Fullstack C# / Angular / SQL : L’application est composée de plusieurs modules : - Un module BATCH développé en C# / SQL (Oracle) et ordonnancé par Control M - Un module BATCH Big Data développé sur Hadoop en utilisant les technologies suivantes : Spark, Scala, Python, Hive et Kafka - Un module IHM WEB développé en Angular / NestJS

Almatek recherche pour l'un de ses clients un Expert DATA et ElasticSearch/OpenSearch sur Guyancourt. Projet : En tant que Expert ElasticSearch / OpenSearch et DATA en général, vous rejoindrez une équipe DATA/IA et évoluerez dans un environnement technique et fonctionnel riche. Principaux livrables : Gestion de l’obsolescence des plateformes OpenDistro et ElasticSearch Platinium vers l’offre Elastic Search Entreprise ou OpenSearch. Les principales activités de la prestations consistent: - Réaliser l’inventaire et cartographie de l'usage existant - Re-challenger les besoins auprès des équipes applicatives (sizing, etc) - Préparation des environnements cible iso prod actuel (sécurité, authorisation, index, etc) - Accompagner techniquement les équipes applicatives dans la bascule (flux en Y prévu) - Reporting des usages automatisés - Documentation Compétences requises : - OpenSearch / OpenDistro - ElasticSearch - Connaissance approfondie sur les technologies Data suivantes: Kafka, Spark, Flink, Nifi, AirFlow - Connaissance des Cloud Public AWS et GCP et Terraform - Connaissance des solutions Data sur le Cloud Public : AWS EMR, GCP DataProc, etc - Connaissance approfondie linux et kubernetes - Connaissance approfondie des solutions CI/CD (Gitlab, GitOps, ArgoCD, etc) - Maîtrise de langages de programmation (Python…) - Travail en Agile - Anglais - ITIL V4 Localisation Guyancourt (78) / Télétravail

Vous êtes un·e Scrum Master confirmé·e avec au moins 4 ans d’expérience ? Vous recherchez un environnement dynamique pour mettre à profit vos compétences et accompagner des équipes vers une collaboration plus efficace et performante ? Alors cette mission est faite pour vous ! Nous recherchons pour notre client du secteur de l’énergie, un·e Scrum Master confirmé·e. Vous rejoindrez une équipe Agile Scrum en charge du développement et de l’évolution de trois applications stratégiques. Vos principales missions : Appliquer et promouvoir la méthodologie Agile Scrum Animer les cérémonies Scrum (Sprint Planning, Daily Scrum, Sprint Review, Rétrospective) Identifier et lever les obstacles pour garantir l’efficacité de l’équipe Faciliter la collaboration entre les Product Owners et les développeurs Coacher et guider les équipes dans l’adoption des bonnes pratiques agiles Suivre et analyser les indicateurs de performance (capacité, vélocité, Time to Market) Collaborer avec d’autres Scrum Masters pour améliorer les pratiques agiles de l’organisation Environnement technique : Angular, Angular Material, Ionic, JSP, Kubernetes, Spark, Minio S3, ELK, ArgoCD, ArgoWorkFlow

Smarteo recherche pour l'un de ses clients, grand compte, Un Expert DATA et ElasticSearch / OpenSearch sur Le 78 Démarrage ASAP Localisation Guyancourt (78) / Télétravail Durée de la mission : 2 ans Projet : En tant que Expert ElasticSearch / OpenSearch et DATA en général, vous rejoindrez une équipe DATA/IA et évoluerez dans un environnement technique et fonctionnel riche. Principaux livrables : Gestion de l'obsolescence des plateformes OpenDistro et ElasticSearch Platinium vers l'offre Elastic Search Entreprise ou OpenSearch. Les principales activités de la prestations consistent: Réaliser l'inventaire et cartographie de l'usage existant Re-challenger les besoins auprès des équipes applicatives (sizing, etc) Préparation des environnements cible iso prod actuel (sécurité, authorisation, index, etc) Accompagner techniquement les équipes applicatives dans la bascule (flux en Y prévu) Reporting des usages automatisés Documentation Compétences requises : OpenSearch / OpenDistro ElasticSearch Connaissance approfondie sur les technologies Data suivantes: Kafka, Spark, Flink, Nifi, AirFlow Connaissance des Cloud Public AWS et GCP et Terraform Connaissance des solutions Data sur le Cloud Public : AWS EMR, GCP DataProc, etc Connaissance approfondie linux et kubernetes Connaissance approfondie des solutions CI/CD (Gitlab, GitOps, ArgoCD, etc) Maîtrise de langages de programmation (Python) Travail en Agile Anglais ITIL V4 Si vous êtes disponible et intéressé merci de me faire parvenir votre TJM+CV à jour dès que possible. Historique

Les missions : - Cadrage des besoins métiers - Etude d'impact - Spécification fonctionnelle - Rédaction de stratégie de tests - Suivi de l’implémentation en interne et en OffShore (Singapour) - Validation des cas de tests et des résultats de tests. - Organisation et suivi des UAT - Préparation des Go-live avec l'équipe L'essentiel de la mission se déroulera en Anglais. Mission à Montrouge Compétences Requises pour la mission : - Minimum 3 ans d’expérience dans un contexte similaire - Contexte anglophone - Maitrise du langage SQL - Connaissances du domaine des paiements (SWIFT / SEPA / TARGET 2 / EBA / Paiements locaux..) Compétences Souhaitées : - Connaissance dans les technologies Java Spark / Python - Expérience dans les solutions utilisant l’IA, - Connaissance des principes de containérisation (Docker, Kubernates), des fournisseurs d'objets Big Data comme S3

Nous recherchons pour notre client bancaire un(e) Consultant(e) Data Scientist maitrisant Dataiku, Python, Py Spark et ayant éventuellement des connaissances en conformité bancaire, notamment sur la lutte contre le blanchiment de capitaux et le financement du terrorisme (LCBFT). La mission consiste à apporter ses compétences en data science, afin de participer au projet de conformité bancaire. La mission est sur Paris à partir de mi-avril 2025. Les candidatures seront envoyées dès que possible à notre client.

Nous recherchons un(e) Data Engineer afin de renforcer le les équipes de notre client en vue d'optimiser la personnalisation, le taux de conversion et les assets du business. Compétences requises : • Maîtrise de technologies Big Data: développement SPARK, outils d'extraction de la donnée (workflows SPARK) et outils de stockage (stockage objet / base relationnelle / NoSQL). • Agilité. • AWS Livrables attendus : • Définir et analyser des structures de données, • Contribuer aux assets des différentes équipes produits pour interconnecter et collecter les données, • Mettre à disposition de la data et des recommandations à des systèmes externes (APIs, exports, injection de données), Être garant de la production (mise en place de monitoring, d'alerting et intervention si nécessaire), • Développer et maintenir le continuous delivery (participer à l’intégration continue et à l’usine logicielle, déploiements et tests automatisés), • Construire l’architecture cloud AWS qui hébergera notre infrastructure existante ou future, Présenter et expliquer les réalisations à des publics métiers et techniques. Des connaissances en développement dans un langage de programmation (PYTHON, SCALA et/ou JAVA) seront appréciées.

Dans un environnement technique exigeant et en évolution constante, nous recherchons un Chef de Projet Technique pour piloter des projets transverses autour des architectures de données et de l’expérience utilisateur. Vos principales missions seront : Gestion de projet et coordination Animer les réunions et ateliers avec les équipes techniques et métiers. Suivre et optimiser les indicateurs de performance et de monitoring. Coordonner la mise en production et assurer un suivi rigoureux des déploiements. Accompagnement technique & méthodologique Rédiger et contribuer aux documents de cadrage et d’exploitation. Garantir la qualité, la performance et la sécurité des environnements techniques. Faciliter la communication entre les équipes internes et les parties prenantes. Expertise data & digital Participer à l’évolution des architectures data et CRM (Mediarithmics, Adobe Campaign). Assurer la bonne intégration des bonnes pratiques de conception et d’industrialisation. Intervenir sur des environnements technologiques variés : Python, Spark, SQL, BigQuery, Airflow (orchestration GCP).