Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

developper l'offre SPARK aas sur le cloud privé IBM Nous recherchons un Architecte Data - qui maitrise les notions DEVOPS et les études d'architectures des produits as a Services qu'on fournit: (Apache AIFRLOW OU STARBURST OU SPARK) L'outillage/ecosystème ( Vault, Kubernetes/HELM, Monitoring elastic/dynatrace, Gitlab CI, ArgoCD, sécurité) - Challenger les nouveaux besoins des clients et les inclure dans la roadmap/release management - Fournir des standards et modèles d'intégrations de solutions Data à BNP - Accompagner et former les équipes de solutions Data

Description de la mission Ø Accompagner, faire monter en compétence les développeurs Ø Définir les bonnes pratiques de développement Ø Etre l’interlocuteur privilégié des architectes sur les aspects techniques Ø Gérer les obsolescences techniques des applications. Ø Apporter son expertise technique dans les travaux de conception et de cadrage Ø Chiffrer, estimer les coûts de développement dans la mise en place de solutions Ø Etre force de proposition dans l’amélioration et l’optimisation des applications existantes Ø Être garant de la qualité des développements sous responsabilité sur les aspects code, documentation, testabilité, qualimétrie et performance… Ø Facilitateur / A l’écoute / Trouve des solutions aux éventuelles difficultés rencontrées par les équipes développeurs Ø Animation (Ateliers / suivi de l’avancement des tâches / . . .) Ø Prendre en charge le développement des solutions Ø Réaliser les tests unitaires, les tests de non régression Ø Mise en place des CI-CD des projets, rédaction de la documentation technique des projets Ø Veiller au bon fonctionnement des application en effectuant un suivi et en apportant les corrections nécessaires

Contexte : • Mise en place d'une Assiette Comptable de Référence, certifiée & unique sur l'ensemble du périmètre Natixis SA servant de référence pour les calculateurs et reportings Finance et Risques • Décommissionnement de la base de données actuelle des inventaires Finance et capitalisation sur le Datalake Finance & Risk • Mise en place d'une nouvelle plateforme globale de suivi des contrôles et de gestion des corrections (en se basant sur le streaming évènementiel type Kafka) • Optimisation et rationalisation du SI Finance (prudentiel notamment) basé sur cette assiette comptable de référence • Acquisition et complétion des données • Nouvelle modélisation des données orientée produit pour les besoins des traitements, des calculateurs, … et distribution des données • Mise en place d’un Module de certification comptable avec mise en place d'un rapprochement plus rationalisé Compta to BO to FO et centralisation du rapprochement Compta Statutaire & Consolidée. Missions : 1) L'optimisation de la performance, temps d'exécution, utilisation des ressources machines afin de tenir les délais de traitement des informations et de leurs distributions vers les consommateurs avals (Calculateurs et reporting) dans le cadre des arrêtés mais également des besoins quotidiens. Notamment afin de faire face à l'augmentation significative de la volumétrie de données sur S2 2024 et 2025 en lien avec les déploiements GASPARD 2) La contribution à la mise en place des outils de monitoring technique et fonctionnelle

📑 CDI (42-50K€) / Freelance / Portage Salarial - 🏠 10 jours de télétravail / mois - 📍 Lyon - 🛠 Expérience de 5 ans minimum 🌟 Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un(e) Développeur – Big Data | Spark pour intervenir chez un de nos clients. 💻💼 Contexte : vos missions tournent autour de 4 axes : - Fournir une expertise en Big Data pour simplifier la manipulation des données. - Concevoir des solutions techniques pour le traitement massif de données. - Implémenter des solutions de stockage de données (SQL, NoSQL, etc.). - Assurer la sécurité et la lisibilité des pipelines de données pour faciliter l'analyse et la transformation. Voici un aperçu détaillé de vos missions 🎯 : - Création, maintenance, optimisation et sécurisation des bases de données pour garantir leur intégrité et leur performance. - Détection, proposition et suivi des optimisations des requêtes SQL, PL/SQL afin d'assurer l'efficacité des applications métier en termes de traitement des données. - Fournir un soutien aux équipes de développement en identifiant et en recommandant des solutions SGBD adaptées aux besoins métier, tout en assurant leur performance et leur pertinence. - Effectuer une veille technologique sur les outils utilisés dans le cadre du projet, afin de maintenir la pertinence et la compétitivité des solutions mises en œuvre. - Partager et dispenser des formations sur les bonnes pratiques en matière de gestion des bases de données, contribuant ainsi à l'amélioration continue des processus et des compétences au sein de l'équipe.

Nous recherchons un développeur Big Data senior avec une expertise sur Cloudera, Spark et Apache Iceberg pour intervenir sur une mission de longue durée. Le but de la mission est de participer sur un projet de création d'un Datalake opensource dans un contexte de création d'outils liés à de l'intelligence artificielle. La prestation s'effectuera au sein des équipes d'une vingtaine de personnes(data engineering, data architects). Anglais: Bon niveau requis car une partie des équipes est en Amérique et en Inde. Le datalake s'appuie sur l'offre Cloudera on premise. Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l'administrateur du datalake house et à mettre en oeuvre et à valider l'infrastructure des plateformes de données. Dans ce cadre, le prestataire contribuera et aura la responsabilité des sujets suivants: -Conception et développements du POC avec Cloudera, NoSQL, Mifi, Apache Iceberg, Kafka... -Mise en œuvre des pipelines pour l'ingestion et l'intégration des données à partir des divers sources tout en s'assurant de la qualité et la cohérence des données. -Processus ETL / ELT -Développement et Optimisation des sources ETL et ELT pour soutenir les besoins en datawarehouse -Optimisation de la performance des flux de données et des requetes -Travail en étroite collaboration avec l'administrateur

Le bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la gestion de l'écosystème des moteurs de calculs réglementaires pour les stress-tests et le Capital Interne. Ces applications couvrent les générations de scenarios, des paramètres de risque et des métriques de types provisions et capital sous condition de stress. Un projet d'amélioration des performances est mis en oeuvre. La mission consiste à mettre en oeuvre les remédiations identifiées lors d'un audit sur un des moteurs afin d'en améliorer les performances. Puis une étude sera menée pour voir la possible application de ces recommandations sur les autres moteurs.

Vous rejoindrez une DSI spécialisée en Finance dans le cadre d’un programme stratégique de transformation, visant à moderniser et optimiser les outils de gestion comptable et de reporting. Ce programme ambitieux, s'étalant sur plusieurs années, se concentre sur la mise en place d'une assiette comptable de référence, ainsi que sur la migration et l'optimisation des systèmes d’information en environnement Big Data. Vos responsabilités principales incluent : Optimisation de la performance des traitements : garantir des temps d'exécution rapides, une utilisation optimisée des ressources et une fiabilité accrue pour répondre aux volumes croissants des données en 2024 et 2025. Développement et monitoring : contribuer au développement d’outils de monitoring technique et fonctionnel pour renforcer la robustesse des systèmes en place. Participation au développement agile : collaborer étroitement avec les équipes locales et internationales en mode Agile (SCRUM).

Contribuez à des projets data complexes avec des technologies avancées. Quel sera votre rôle ? Nous recherchons un(e) Data Engineer Scala / Spark. Vous rejoignez l’équipe d’ingénierie data pour concevoir des pipelines de traitement de données à grande échelle. Au quotidien, vos missions seront les suivantes : Développer et optimiser des pipelines de données en utilisant Scala et Spark, dans un environnement distribué. Mettre en place des modèles de données complexes en SQL pour répondre aux besoins métier. Collaborer avec les data scientists pour garantir l’efficacité des flux de données et des modèles analytiques. Environnement technique : Scala, Apache Spark, SQL, Hadoop, Kafka

Nous recherchons un Expert Big Data (Spark) pour rejoindre notre équipe et apporter son expertise dans le traitement et la manipulation de données massives. En tant que tel, vous aurez pour missions principales : Apporter votre expertise en Big Data, en particulier sur Spark D éfinir et évaluer des solutions techniques permettant de traiter de grands volumes de données, tout en garantissant des pipelines sécurisés et clairs. Intervenir auprès des architectes et urbanistes pour la préparation des dossiers techniques. Mettre en place et maintenir des solutions de stockage de données (SQL, NoSQL, etc.), en veillant à leur efficacité. Proposer des optimisations des requêtes SQL, PL/SQL pour garantir les meilleures performances applicatives. Piloter et encadrer les équipes à chaque étape du processus de traitement des données. Partager les meilleures pratiques avec les équipes et assurer un accompagnement technique transverse. Big Data : Spark, Hive, Indexima. Stockage : Oracle, CEPH S3 (parquet). Langages : Java, Python, PL/SQL, Shell. CI/CD : Ansible, Terraform, Jenkins, GIT. ETL : Informatica. Dataviz : Tableau Server. Ordonnanceur : Control-M.

Le bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la gestion de l'écosystème des moteurs de calculs réglementaires pour les stress-tests et le Capital Interne. Ces applications couvrent les générations de scenarios, des paramètres de risque et des métriques de types provisions et capital sous condition de stress. Un projet d'amélioration des performances est mis en oeuvre. La mission consiste à mettre en oeuvre les remédiations identifiées lors d'un audit sur un des moteurs afin d'en améliorer les performances. Puis une étude sera menée pour voir la possible application de ces recommandations sur les autres moteurs. - Revue du diagnostic, propositions de solutions techniques complémentaires - Mise en oeuvre en Java / Spark sous environnement CDP dans l'outil de simulation de crédit - Tests et mesures des performances - Tests de non-regression - Elargissement aux autres moteurs - Suivi du projet avec documentation associée - Partage et communication avec l'équipe

💼 Poste : Data Engineer Scala Spark Hadoop 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : L’architecture avec le reste de l’entité (tech lead, devs, architecture). Mise en œuvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. Livrables attendus Les livrables attendus sont : Développements et tests (en TDD) en mode Agile pour répondre au cas d'usage métier et déployable en environnement de production. PVs techniques Chiffrage de projets et évolutions Design de solution 🤝 Expertises spécifiques : Continuous Integration Hadoop (Big Data) Scala Spark

💼 Poste : Tech Lead Java Spark référence 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite mettre en œuvre le volet transformation du système d'information du programme d'amélioration du dispositif de pilotage et de certification de l'assiette risques structurels dont les objectifs sont : Amélioration et accélération de la constitution de l'assiette risques structurels La certification de cette assiette risques structurels cohérente comptable Renforcer la remédiation en termes de qualité de donnée et réduire le nombre d'ajustements manuels Notre client souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre notre client souhaite bénéficier de l'expertise du Prestataire en termes de conception et développement. Dans ce cadre, la prestation consiste à contribuer à/au(x): L’instruction et le cadrage technique des projets, L’implémentation de solutions techniques en méthodologie agile Environnement technique : Java (Spark est un gros plus, Python est un plus) Devops : Ansible, Jenkins, GitHub Actions, Sonar, Artifactory Big Data & Cloud : Cloudera CDP, Apache stack (HDFS, Oozie, Yarn) Data : Oracle DB, PostgreSQL, Hive, Elastic Search, REST APIs Livrables attendus Les livrables attendus sont : Notes de cadrage techniques Spécifications techniques Support et développement sur toutes les releases 2024-2025 🤝 Expertises spécifiques : Agile Scrum Ansible Artifactory Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Elastic Search & Kibana Hive Java Jenkins Oracle Database Enterprise Server PostGreSQL REST Scripting (GuitHub, Ansible, AWX, shell, vba) Sonar

💼 Poste : Développeur Concepteur Big data Talend 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département exerce 3 missions principales : Garantir des services opérationnels d'excellence : sécurité des SI et maîtrise des risques opérationnels, qualité de la production informatique et pérennisation du SI. Délivrer des solutions SI innovantes, orientées clients, pour construire la banque relationnelle et digitale de demain . Améliorer son efficacité opérationnelle, en réponse aux enjeux d'agilité et de time to market, et optimiser les coûts informatiques. Le Bénéficiaire souhaite avoir une expertise en développement sur l'écosystème BIG DATA. A ce titre, le Bénéficiaire souhaite avoir l’expertise du prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - développements d'usages BIG DATA : Conception technique des développements Supervision des traitements en place Cérémonies agile (méthode Scrum) Livrables attendus Les livrables attendus sont : Dossier de conception Programmes versionnés Documentation projet nécessaire aux MEP 🤝 Expertises spécifiques : Les expertises attendues pour réaliser cette prestation sont listées ci-après : Agile Scrum Environnement Cloudera Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Hadoop (Big Data) HiveQL, scripting shell, environnmnent Conda Spark (PySpark), (gestion de volumes de données importants) Talend (Data integration, Big Data)

- Intégrer des données provenant de sources externes et exploiter pleinement le Datalake. - Générer et diffuser automatiquement des agrégats quotidiens, hebdomadaires et mensuels. - Mettre en place la chaîne complète d'ingestion, validation, croisement et stockage des données enrichies dans le Datalake. - Respecter les normes d'architecture définies lors du développement. - Documenter les user stories en collaboration avec le PO - Créer des scripts de déploiement et prioriser la résolution des anomalies. - Soutenir les équipes d'exploitation et contribuer à l'implémentation de la chaîne de livraison continue. - Automatiser les tests fonctionnels.

Nous recherchons un développeur Big Data avec un compétence sur l'environnement opensource Delta Lake pour une mission de longue durée à Vélizy. La Prestation s’effectuera au sein de l’équipe « IS Data Factory » du client qui est composée Data Engineer et de Data Architect. Les personnes sont basées entre Vélizy, Boston (USA) et Pune (Inde) Les données sont principalement gérées au sein - D’un datawarehouse d’entreprise organisé autour de plusieurs instances de base de données ORACLE - D’un Datalake s’appuyant sur l’offre cloudera on premise L’équipe est en charge des évolutions, du support et de la maintenance du datawarehouse. Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l’administrateur du Data Lakehouse et à mettre en œuvre et valider l’infrastructure de plateforme de données. Dans ce cadre, le Prestataire contribuera et aura la responsabilité de la conception et du développement d'un POC pour un Data Lakehouse ouvert en utilisant les dernières technologies (Delta Lake, Cloudera, NoSQL, NiFi, DBT, Superset, etc.) pour répondre aux exigences de l’entreprise, L’intégration des données : o Mise en œuvre des pipelines d’ingestion et d’intégration de données à partir de diverses sources tout en s’assurant la qualité et la cohérence des données. o Développement et optimisation des processus ETL/ELT pour soutenir les besoins de data warehousing et d’analyse. o Analyse et optimisation de la performance des flux de données et des requêtes. o Création et maintenance de documents techniques sur les pipelines de données, o Rester à jour avec les technologies émergentes et les meilleures pratiques pour améliorer continuellement la plateforme de données.

Smarteo recherche pour l'un de ses clients, Un Data Ingénieur(Spark,spark streaming,batch, Kafka,Java,Stack Hadoop Cloudera)sur Nantes Descriptif: Notre client nous soumet une de mande de prestation de DATA ENGINEERING Taches réalisées : - Développer les cas d'usages Data - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Mettre en ?ouvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code Compétences techniques attendues : - Spark (spark streaming et batch), Kafka, Java - Stack Hadoop Cloudera - Hdfs, Hive, Hbase, Phoenix, MongoDB - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana - Scrum (cadre agile entreprise) La mission nécessite de l'autonomie, de l'adaptabilité et une bonne communication (lien direct avec les Squads : PO ou DEV), Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.