Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Smarteo recherche pour l'un de ses clients, grand compte, Un Expert DATA et ElasticSearch / OpenSearch sur Le 78 Démarrage ASAP Localisation Guyancourt (78) / Télétravail Durée de la mission : 2 ans Projet : En tant que Expert ElasticSearch / OpenSearch et DATA en général, vous rejoindrez une équipe DATA/IA et évoluerez dans un environnement technique et fonctionnel riche. Principaux livrables : Gestion de l'obsolescence des plateformes OpenDistro et ElasticSearch Platinium vers l'offre Elastic Search Entreprise ou OpenSearch. Les principales activités de la prestations consistent: Réaliser l'inventaire et cartographie de l'usage existant Re-challenger les besoins auprès des équipes applicatives (sizing, etc) Préparation des environnements cible iso prod actuel (sécurité, authorisation, index, etc) Accompagner techniquement les équipes applicatives dans la bascule (flux en Y prévu) Reporting des usages automatisés Documentation Compétences requises : OpenSearch / OpenDistro ElasticSearch Connaissance approfondie sur les technologies Data suivantes: Kafka, Spark, Flink, Nifi, AirFlow Connaissance des Cloud Public AWS et GCP et Terraform Connaissance des solutions Data sur le Cloud Public : AWS EMR, GCP DataProc, etc Connaissance approfondie linux et kubernetes Connaissance approfondie des solutions CI/CD (Gitlab, GitOps, ArgoCD, etc) Maîtrise de langages de programmation (Python) Travail en Agile Anglais ITIL V4 Si vous êtes disponible et intéressé merci de me faire parvenir votre TJM+CV à jour dès que possible. Historique

Missions et responsabilités : Animer l’équipe de développement : Organiser les tâches, coordonner les efforts et maintenir la motivation de l’équipe. Assurer l’avancement des sujets en mode agile : Suivre et garantir l’avancement des tâches et des projets tout en respectant les principes agiles. Relecture continue et rigoureuse du code : Vérifier la qualité et la conformité du code produit par l’équipe, en mettant l’accent sur la lisibilité, la performance, et la sécurité. Participer à la conception et l’implémentation des solutions techniques : Contribuer activement à l’architecture des solutions, en particulier pour les besoins complexes. Contribuer à l’architecture de l’outil : Définir et concevoir l’architecture avec les architectes, en assurant l’intégration future des produits et leur évolutivité. Promouvoir le bon fonctionnement agile de l’équipe : Aider à maintenir une dynamique agile au sein de l’équipe, former les nouveaux arrivants et les guider pour bien comprendre le produit et ses spécificités. Accompagner le développement des compétences : Fournir un mentorat et des conseils techniques pour faire progresser les développeurs de l’équipe. Support technique ponctuel : Apporter un soutien technique aux équipes de production ou aux équipes de développement partenaires. Compétences obligatoires : C++ : Maîtrise avancée de C++ pour le développement de solutions techniques robustes. QT/QML : Expertise dans le développement d’interfaces utilisateurs avec Qt et QML. OS Linux : Connaissance approfondie de Linux, notamment RedHat / CentOS, pour le développement et la gestion des environnements de production. Tests unitaires : Compétence en mise en œuvre et exécution de tests unitaires pour assurer la qualité du code. SQL : Bonne maîtrise des bases de données relationnelles et des requêtes SQL. GIT/GITLAB : Expérience avec GIT pour la gestion des versions et GitLab pour la gestion de l’intégration continue. SPARK : Connaissances dans l’utilisation de SPARK pour le développement logiciel sécurisé. Python : Compétence en Python pour l’automatisation, le développement de scripts ou la gestion des processus.

Nous recherchons pour notre client bancaire un(e) Consultant(e) Data Scientist maitrisant Dataiku, Python, Py Spark et ayant éventuellement des connaissances en conformité bancaire, notamment sur la lutte contre le blanchiment de capitaux et le financement du terrorisme (LCBFT). La mission consiste à apporter ses compétences en data science, afin de participer au projet de conformité bancaire. La mission est sur Paris à partir de mi-avril 2025. Les candidatures seront envoyées dès que possible à notre client.

Vous êtes un·e Scrum Master confirmé·e avec au moins 4 ans d’expérience ? Vous recherchez un environnement dynamique pour mettre à profit vos compétences et accompagner des équipes vers une collaboration plus efficace et performante ? Alors cette mission est faite pour vous ! Nous recherchons pour notre client du secteur de l’énergie, un·e Scrum Master confirmé·e. Vous rejoindrez une équipe Agile Scrum en charge du développement et de l’évolution de trois applications stratégiques. Vos principales missions : Appliquer et promouvoir la méthodologie Agile Scrum Animer les cérémonies Scrum (Sprint Planning, Daily Scrum, Sprint Review, Rétrospective) Identifier et lever les obstacles pour garantir l’efficacité de l’équipe Faciliter la collaboration entre les Product Owners et les développeurs Coacher et guider les équipes dans l’adoption des bonnes pratiques agiles Suivre et analyser les indicateurs de performance (capacité, vélocité, Time to Market) Collaborer avec d’autres Scrum Masters pour améliorer les pratiques agiles de l’organisation Environnement technique : Angular, Angular Material, Ionic, JSP, Kubernetes, Spark, Minio S3, ELK, ArgoCD, ArgoWorkFlow

Dans un environnement technique exigeant et en évolution constante, nous recherchons un Chef de Projet Technique pour piloter des projets transverses autour des architectures de données et de l’expérience utilisateur. Vos principales missions seront : Gestion de projet et coordination Animer les réunions et ateliers avec les équipes techniques et métiers. Suivre et optimiser les indicateurs de performance et de monitoring. Coordonner la mise en production et assurer un suivi rigoureux des déploiements. Accompagnement technique & méthodologique Rédiger et contribuer aux documents de cadrage et d’exploitation. Garantir la qualité, la performance et la sécurité des environnements techniques. Faciliter la communication entre les équipes internes et les parties prenantes. Expertise data & digital Participer à l’évolution des architectures data et CRM (Mediarithmics, Adobe Campaign). Assurer la bonne intégration des bonnes pratiques de conception et d’industrialisation. Intervenir sur des environnements technologiques variés : Python, Spark, SQL, BigQuery, Airflow (orchestration GCP).

Projet : La DSI Risks regroupe toutes les activités MOA et MOE sur les applications des périmètres métiers Risques, Résultats, Gestion Financière. Les challenges de la DSI Risks sont : • mener avec succès les projets d’évolution du système d’information, en réponse aux nouveaux besoins règlementaires, métier, ou d’architecture globale du SI • faire évoluer et entretenir le SI métier, en mettant en œuvre des solutions efficaces et durables • assurer le support quotidien aux utilisateurs (Résultats, Risques, FO, BO, …) sur les outils SI. Contexte : L'application permet d'affecter un identifiant de payoff et un niveau d'observabilité (Fair Value Level) aux différents instruments récupérés à partir du référentiel Base des Opérations (BOP) en se basant sur leurs caractéristiques et le paramétrage métier (Cartographies). La mission consiste à développer et adapter des processus d’intégration, de traitement et de calcul de données ainsi que du site Web de l'application . L'application manipule un grand volume de données sur les instruments, les trades, les assets, les positions, les sensibilités, les chocs, la XVA avec de multiples sources de données. Missions du développeur/euse Fullstack C# / Angular / SQL : L’application est composée de plusieurs modules : - Un module BATCH développé en C# / SQL (Oracle) et ordonnancé par Control M - Un module BATCH Big Data développé sur Hadoop en utilisant les technologies suivantes : Spark, Scala, Python, Hive et Kafka - Un module IHM WEB développé en Angular / NestJS

Envie d’un nouveau challenge ? CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un Tech Lead Data Hub pour intervenir chez un de nos clients. 💻💼 Voici un aperçu détaillé de vos missions 🎯 : Piloter la migration d’un DataHub on-prem (actuellement sous Hadoop) vers le service DataHub du groupe. Assurer la réécriture des traitements Hadoop vers Spark en optimisant les performances. Encadrer et accompagner les équipes techniques dans la montée en compétences sur les nouvelles technologies. Mettre en place et orchestrer les workflows de données avec Airflow. Optimiser et requêter les données via SQL, Starburst, Presto ou Trino. Faciliter le retro-engineering des pipelines Hadoop/Hive si nécessaire. Garantir la qualité, la robustesse et la scalabilité des traitements de données.

Les missions : - Cadrage des besoins métiers - Etude d'impact - Spécification fonctionnelle - Rédaction de stratégie de tests - Suivi de l’implémentation en interne et en OffShore (Singapour) - Validation des cas de tests et des résultats de tests. - Organisation et suivi des UAT - Préparation des Go-live avec l'équipe L'essentiel de la mission se déroulera en Anglais. Mission à Montrouge Compétences Requises pour la mission : - Minimum 3 ans d’expérience dans un contexte similaire - Contexte anglophone - Maitrise du langage SQL - Connaissances du domaine des paiements (SWIFT / SEPA / TARGET 2 / EBA / Paiements locaux..) Compétences Souhaitées : - Connaissance dans les technologies Java Spark / Python - Expérience dans les solutions utilisant l’IA, - Connaissance des principes de containérisation (Docker, Kubernates), des fournisseurs d'objets Big Data comme S3

Objectifs : Le consultant Data Engineer SQL au sein du chapter « Data & BI Client - Data Engineering », sera en charge principalement de La maintenance évolutive des flux de données SQL (modélisation, Intégration/transformation de données, calculs d’indicateurs ,…) Ordonnancement des traitements (via ctrlM) Flux de données (Fichiers plats, xml, web services, …) Optimisation SQL - L’impact de la migration vers Windows 11 avec changement de login et de domaine (Outils, Process, Pipelines, …), le développement de fixs (optimisations et améliorations) des process techniques et le support niveau 2 (principalement au niveau bdd). Compétences optionnelles Connaissances d'outils devops (XLD, XLR, Azure pipeline, ..) Connaissances des outils BI (PBI, BO) Connaissances dev c# Connaissances Hadoop, hdfs, hive, spark

CONTEXTE Au sein de l’équipe projet et en étroite collaboration avec les différentes parties prenantes, la mission consistera à accompagner les membres de l’équipe sur tous les aspects techniques et en interaction avec les équipes techniques concernées. Le stack technique du projet repose principalement sur Mediarithmics (CDP) et Adobe Campagn (CRM). Le stack technique de notre plateforme Data est principalement constituée de Python, Spark, SQL, dbt, BigQuery et Airflow pour l’orchestration des traitements. Le stack inclut aussi d’autres services de la Google Cloud Platform. MISSIONS : En interaction avec les membres de l’équipe en place, la prestation consistera à : - Rédiger et contribuer à la constitution des documents de cadrage, d’exploitation et de pilotage, - Définir les indicateurs de performance, du monitoring et des tests, - Suivre les indicateurs, les communiquer et alerter en cas de difficultés, - Coordonner et définir les stratégies de mise en production, - Organiser et animer les ateliers, les réunions de suivi et autres rituels agiles, - Accompagner les équipes dans les différentes étapes des projets avec des objectifs de qualité, de performance et de respects des engagements, - Faciliter et coordonner les interactions entre les équipes et avec les différentes parties prenantes, - Assurer l’évolutivité, la sécurité, la stabilité des environnements.

CE QUE TU RECHERCHES : Evoluer au sein d’une équipe dynamique Participer à des projets innovants d’envergure Relever des défis Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d’un acteur majeur du secteur du média tu participeras à des projets d’envergure, de refonte, de migration et / ou à des évolutions majeures à mettre en œuvre dans le SI du client : Analyse des besoins, tu feras Spécifications techniques, tu rédigeras Modélisation et conception, tu réaliseras De nouvelles fonctionnalités, tu développeras Les flux data, tu optimiseras Zéro bug, tu laisseras Ton équipe, tu accompagneras Une Expérience du secteur des médias et du service public est exigée! QUI TU ES : Diplômé(e) de la formation qui va bien Surdoué(e) ou dôté(e) d’une expérience de10 ans minimum dans l’architecture Data Expert(e) de l'écosystèmes SQL, Python, Java, Scala, Spark, SAP BO, PowerBI, Looker, Cube MOLAP, HyperionGCP , AWS, DBT, Dataform, Cloud Function, BigQuery, AirflowMySQL, Terraform, Ansible, Postgres, Oracle, SQLServer, Gitlab, CI/CD, AWS (S3, Lambda, RDS, EventBridge, EKSAgile) AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu n’aimes pas rester les deux pieds dans le même sabot Autonome : un guide du Routard te suffira Esprit de synthèse : tu sais aller à l’essentiel Rigoureux(se) : chaque donnée doit être bien placée Curieux(se) : tu suis les tendances Data et IA Visionnaire : tu anticipes les besoins Data des entreprises Pédagogue : tu sais expliquer la valeur des données Organisé(e) : tu aimes structurer et optimiser Communicant(e) : tu fais le lien entre métier et technique QUI SOMMES NOUS : Mon nom, tu sauras : Groupe ALLIANCE Mon âge, tu respecteras : 28 ans Mon adresse, tu te rendras : 7 Rue Scribe 75009 Paris Mes activités, tu interviendras : Assistance Technique Unique ou Globale - Forfait – Centre de Services Mes domaines d’intervention, tu pratiqueras : Digitale & SI / Big Data - Data Science & IA / Transformation & SI / Infra - DevOps & Cloud Mes secteurs d’activité, tu iras : Banque / Finance / Assurance / Industrie / Télécom / Média / Services Mon RSE, tu estimeras : 91% de satisfaction au dernier Great Place To Work Mes engagements, tu adhéreras : Proximité / Réactivité / Écoute / Bienveillance