Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming

A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du prestataire en terme de Data Engineering Dans ce cadre, la prestation consiste à contribuer à/au(x) : - Développement de traitements Spark/Scala - Revue de code et re-factoring - Traitement d'un gros volume de données - Développement sur un pipeline CICD - Respect des normes de développements Environnement technique - Framework Spark. - Langage scala - ETL Talend - Talend for BIG DATA - Cadre international - Méthode agile : Scrum - GIT - Ecosystème Hadoop Cloudera

Mon client, faisant partie des leaders dans le domaine de la distribution numérique de musique, recrute un Data Engineer. Au sein de l'équipe organisée selon la pratique Scrum, en charge du Build et du Run de son périmètre, vous aurez pour responsabilité d'implémenter les flux de données depuis l'ingestion des nouvelles sources jusqu'à leur préparation pour exposition au travers des niveaux Bronze, Silver et Gold (warehouse) Vos missions seront les suivantes : La conception et le développement d'un pipeline d'ingestion sur AWS (Step function / python / S3) La transformation de données (Python, Spark Scala / Databricks, SQL) La modélisation Data en flocons Les pratiques de test (TU Python, TU Spark Scala) Les pratiques de run (surveillance, monitoring, fix) La rédaction de la documentation (Data galaxy / Confluence) Les enjeux de performances, de suivi des couts et de sécurité

Vous rejoindrez une DSI spécialisée en Finance dans le cadre d’un programme stratégique de transformation, visant à moderniser et optimiser les outils de gestion comptable et de reporting. Ce programme ambitieux, s'étalant sur plusieurs années, se concentre sur la mise en place d'une assiette comptable de référence, ainsi que sur la migration et l'optimisation des systèmes d’information en environnement Big Data. Vos responsabilités principales incluent : Optimisation de la performance des traitements : garantir des temps d'exécution rapides, une utilisation optimisée des ressources et une fiabilité accrue pour répondre aux volumes croissants des données en 2024 et 2025. Développement et monitoring : contribuer au développement d’outils de monitoring technique et fonctionnel pour renforcer la robustesse des systèmes en place. Participation au développement agile : collaborer étroitement avec les équipes locales et internationales en mode Agile (SCRUM).

Contexte : Le Groupe a lancé le programme qui se déroulera sur 5 ans (2020 / 2025). Une équipe dédiée a été créée pour la durée du programme. Ce programme s'articule autour des 4 principaux chantiers ci-dessous : • Mise en place d'une Assiette Comptable de Référence, certifiée & unique sur l'ensemble du périmètre servant de référence pour les calculateurs et reportings Finance et Risques • Décommissionnement de la base de données actuelle des inventaires Finance et capitalisation sur le Datalake Finance & Risk • Mise en place d'une nouvelle plateforme globale de suivi des contrôles et de gestion des corrections (en se basant sur le streaming évènementiel type Kafka) • Optimisation et rationalisation du SI (prudentiel notamment) basé sur cette assiette comptable de référence En particulier, le chantier "CARAT" Assiette Comptable de Référence comprend trois sous-chantiers majeurs au sein du datalake Finance et Risque : • Acquisition et complétion des données • Nouvelle modélisation des données orientée produit pour les besoins des traitements, des calculateurs, … et distribution des données • Mise en place d’un Module de certification comptable avec mise en place d'un rapprochement plus rationalisé Compta to BO to FO et centralisation du rapprochement Compta Statutaire & Consolidée. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks mutualisée qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (SRB, PVA, Anatitres, Anacrédit, etc.) Au sein du chantier CARAT, travaillant en mode agile (SCRUM), la mission consistera à prendre part aux développements sur GASPARD, tout en étant garant de la pérennité et la non régression de l’outillage déjà en place, sur les deux sujets ci-dessous : 1) L'optimisation de la performance, temps d'exécution, utilisation des ressources machines afin de tenir les délais de traitement des informations et de leurs distributions vers les consommateurs avals (Calculateurs et reporting) dans le cadre des arrêtés mais également des besoins quotidiens. Notamment afin de faire face à l'augmentation significative de la volumétrie de données sur S2 2024 et 2025 en lien avec les déploiements GASPARD 2) La contribution à la mise en place des outils de monitoring technique et fonctionnelle L’équipe est principalement localisée à Paris mais dispose de ressources à Porto. L’anglais est donc d’usage dans l’équipe.

Nous recherchons un profil Tech-Lead/Dév Data AWS d’au moins 10 ans d’expérience pour intégrer le dép. Solutions Data (data-engineering) et participer activement aux projets d’implémentation de nouveaux cas d’usage data sur notre plateforme Data cloud AWS. Il sera demandé dans le cadre de cette mission de : Participer à l’élaboration du design technique des produits logiciels, Faciliter la recherche de solutions techniques, Prendre en charge une partie des dév. Accompagner les autres Dév. (Coaching, optimisation de code, …), Collaborer à l’intégration des produits dans le SI avec l’architecte data, Garantir la qualité des produits logiciels.

Description de la mission Ø Accompagner, faire monter en compétence les développeurs Ø Définir les bonnes pratiques de développement Ø Etre l’interlocuteur privilégié des architectes sur les aspects techniques Ø Gérer les obsolescences techniques des applications. Ø Apporter son expertise technique dans les travaux de conception et de cadrage Ø Chiffrer, estimer les coûts de développement dans la mise en place de solutions Ø Etre force de proposition dans l’amélioration et l’optimisation des applications existantes Ø Être garant de la qualité des développements sous responsabilité sur les aspects code, documentation, testabilité, qualimétrie et performance… Ø Facilitateur / A l’écoute / Trouve des solutions aux éventuelles difficultés rencontrées par les équipes développeurs Ø Animation (Ateliers / suivi de l’avancement des tâches / . . .) Ø Prendre en charge le développement des solutions Ø Réaliser les tests unitaires, les tests de non régression Ø Mise en place des CI-CD des projets, rédaction de la documentation technique des projets Ø Veiller au bon fonctionnement des application en effectuant un suivi et en apportant les corrections nécessaires

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Contexte : • Mise en place d'une Assiette Comptable de Référence, certifiée & unique sur l'ensemble du périmètre Natixis SA servant de référence pour les calculateurs et reportings Finance et Risques • Décommissionnement de la base de données actuelle des inventaires Finance et capitalisation sur le Datalake Finance & Risk • Mise en place d'une nouvelle plateforme globale de suivi des contrôles et de gestion des corrections (en se basant sur le streaming évènementiel type Kafka) • Optimisation et rationalisation du SI Finance (prudentiel notamment) basé sur cette assiette comptable de référence • Acquisition et complétion des données • Nouvelle modélisation des données orientée produit pour les besoins des traitements, des calculateurs, … et distribution des données • Mise en place d’un Module de certification comptable avec mise en place d'un rapprochement plus rationalisé Compta to BO to FO et centralisation du rapprochement Compta Statutaire & Consolidée. Missions : 1) L'optimisation de la performance, temps d'exécution, utilisation des ressources machines afin de tenir les délais de traitement des informations et de leurs distributions vers les consommateurs avals (Calculateurs et reporting) dans le cadre des arrêtés mais également des besoins quotidiens. Notamment afin de faire face à l'augmentation significative de la volumétrie de données sur S2 2024 et 2025 en lien avec les déploiements GASPARD 2) La contribution à la mise en place des outils de monitoring technique et fonctionnelle

Nous recherchons un Leader Technique en Données expérimenté(e) pour rejoindre notre équipe. Si vous avez une solide expertise technique en SQL, Java, Spark et des compétences en datavisualisation (Power BI, Spotfire), cette opportunité est faite pour vous ! Vos Missions : En tant que Tech Lead, sous la responsabilité du chef de projet, vous : Jouerez un rôle clé dans l’orientation technique de l’équipe, en définissant des lignes directrices et en aidant vos collègues. Contribuerez activement aux projets en cours, notamment par le développement d’améliorations, de corrections et de nouvelles fonctionnalités. Piloterez et accompagnerez une équipe de 4 personnes : vous-même (Tech Lead) et 3 Data Engineers offshore basés en Inde. Vos Responsabilités : Développement et amélioration des pipelines de données sur le framework Big Data (Java, Spark). Gestion des bases de données SQL Teradata et des topics Kafka. Participation aux projets de datavisualisation (SAP BI43, Power BI, Spotfire), bien que ce ne soit pas la priorité principale. Migration Cloud GCP prévue à partir de mi-2025. Conception et mise en œuvre de solutions alignées avec les recommandations architecturales de données de l’entreprise. Collaboration étroite avec les équipes métiers (Air France et KLM) pour comprendre et répondre aux besoins. Tests et validation des développements. Animation et assistance technique auprès de l’équipe.

nous recherchons un expert devops + Apache AIFRLOW ou STARBURST ou SPARK pour fournir et maintenir l'outillage facilitant l'intégration de solutions Data ( Vault, Kubernetes/HELM, Monitoring elastic/dynatrace, Gitlab CI, ArgoCD, sécurité) Fournir des standards et modèles d'intégrations de solutions Data à BNP Accompagner et former les équipes de solutions Data Les missions sont creer de l'Airflow Aas ou STARBURT ou SPARK3 Participation à la maintenance opérationnelle de l'outillage Amélioration de l'industrialisation des outils Participation au projet de migration vers Openshift et à sa sécurisation Maintien et amélioration de nos templates pour nous et nos clients Test et proposition des solutions innovantes pour améliorer notre offre de service Accompagnement des clients dans l'implémentation et le design de la sécurité Participation à l'amélioration du monitoring avec Dynatrace Participation à l'intégration de solutions Data

Nous recherchons pour un de nos clients un profil dév. data AWS d’au moins 4 ans d’expérience pour intégrer le dép. Solutions Data (data-engineering) et participer activement aux projets d’implémentation de nouveaux cas d’usage data sur notre plateforme Data cloud AWS : Il sera demandé la conception et développement d’alimentations/transformations d’entrepôt de données AWS (Redshift, ...) à partir de diverses sources de données (fichiers Parquet, base Oracle, …), ainsi que la documentation technique/d’exploitation correspondante.

developper l'offre SPARK aas sur le cloud privé IBM Nous recherchons un Architecte Data - qui maitrise les notions DEVOPS et les études d'architectures des produits as a Services qu'on fournit: (Apache AIFRLOW OU STARBURST OU SPARK) L'outillage/ecosystème ( Vault, Kubernetes/HELM, Monitoring elastic/dynatrace, Gitlab CI, ArgoCD, sécurité) - Challenger les nouveaux besoins des clients et les inclure dans la roadmap/release management - Fournir des standards et modèles d'intégrations de solutions Data à BNP - Accompagner et former les équipes de solutions Data

En tant que Data Engineer, vous interviendrez dans la création de nouvelles offres Data et dans l’adaptation des offres existantes aux environnement client avec une forte dimension conseil et support. Votre rôle Construction d’offres Data · Packager de nouvelles offres pour un déploiement optimisé dans un environnement Kubernetes · Automatiser, industrialiser et documenter les solutions · Intégrer des solutions de monitoring, alerting et gestion des droits dans les offres · Assurer le RUN des solutions en production · Effectuer une veille technologique autour de la Data : réalisation de POC, tests de performance et comparaison de solutions Adaptation des offres Data existantes · Identifier les offres existantes pour évaluer leur maturité · Intégrer les offres Data dans l’infrastructure Client · Intégrer des solutions de monitoring, alerting et gestion de droits dans les offres Conseil Expert et support Client · Intervenir en assistance/expertise auprès des clients, recueillir leurs retours et comprendre leurs exigences pour adapter les solutions · Evaluer les tendances du marché pour définir une vision produit alignée avec la stratégie de l’entreprise · Collaborer avec les architectes pour identifier la solution la plus adaptée au besoin client · Préparer la mise en place du produit en illustrant sa valeur ajoutée par des présentations et des démonstrations · Définir et documenter les patterns d’usage

📑 CDI (42-50K€) / Freelance / Portage Salarial - 🏠 10 jours de télétravail / mois - 📍 Lyon - 🛠 Expérience de 5 ans minimum 🌟 Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un(e) Développeur – Big Data | Spark pour intervenir chez un de nos clients. 💻💼 Contexte : vos missions tournent autour de 4 axes : - Fournir une expertise en Big Data pour simplifier la manipulation des données. - Concevoir des solutions techniques pour le traitement massif de données. - Implémenter des solutions de stockage de données (SQL, NoSQL, etc.). - Assurer la sécurité et la lisibilité des pipelines de données pour faciliter l'analyse et la transformation. Voici un aperçu détaillé de vos missions 🎯 : - Création, maintenance, optimisation et sécurisation des bases de données pour garantir leur intégrité et leur performance. - Détection, proposition et suivi des optimisations des requêtes SQL, PL/SQL afin d'assurer l'efficacité des applications métier en termes de traitement des données. - Fournir un soutien aux équipes de développement en identifiant et en recommandant des solutions SGBD adaptées aux besoins métier, tout en assurant leur performance et leur pertinence. - Effectuer une veille technologique sur les outils utilisés dans le cadre du projet, afin de maintenir la pertinence et la compétitivité des solutions mises en œuvre. - Partager et dispenser des formations sur les bonnes pratiques en matière de gestion des bases de données, contribuant ainsi à l'amélioration continue des processus et des compétences au sein de l'équipe.

Collecter, traiter et analyser de grands ensembles de données pour extraire des informations exploitables Concevoir, créer, mettre en œuvre, tester et maintenir des solutions basées sur les données conformément aux exigences commerciales et aux normes du secteur Surveiller les performances des données et modifier l'infrastructure selon les besoins pour améliorer les pipelines et les modèles existants Travailler au sein d'une équipe collaborative et interfonctionnelle, partager des informations, valoriser des idées diverses et collaborer efficacement avec des collègues du monde entier Améliorer continuellement les modèles et les algorithmes en fonction des commentaires et des nouvelles données Se tenir au courant des dernières techniques, outils et meilleures pratiques en matière de science des données