Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming à Paris

Mon client, faisant partie des leaders dans le domaine de la distribution numérique de musique, recrute un Data Engineer. Au sein de l'équipe organisée selon la pratique Scrum, en charge du Build et du Run de son périmètre, vous aurez pour responsabilité d'implémenter les flux de données depuis l'ingestion des nouvelles sources jusqu'à leur préparation pour exposition au travers des niveaux Bronze, Silver et Gold (warehouse) Vos missions seront les suivantes : La conception et le développement d'un pipeline d'ingestion sur AWS (Step function / python / S3) La transformation de données (Python, Spark Scala / Databricks, SQL) La modélisation Data en flocons Les pratiques de test (TU Python, TU Spark Scala) Les pratiques de run (surveillance, monitoring, fix) La rédaction de la documentation (Data galaxy / Confluence) Les enjeux de performances, de suivi des couts et de sécurité

Contexte : Le Groupe a lancé le programme qui se déroulera sur 5 ans (2020 / 2025). Une équipe dédiée a été créée pour la durée du programme. Ce programme s'articule autour des 4 principaux chantiers ci-dessous : • Mise en place d'une Assiette Comptable de Référence, certifiée & unique sur l'ensemble du périmètre servant de référence pour les calculateurs et reportings Finance et Risques • Décommissionnement de la base de données actuelle des inventaires Finance et capitalisation sur le Datalake Finance & Risk • Mise en place d'une nouvelle plateforme globale de suivi des contrôles et de gestion des corrections (en se basant sur le streaming évènementiel type Kafka) • Optimisation et rationalisation du SI (prudentiel notamment) basé sur cette assiette comptable de référence En particulier, le chantier "CARAT" Assiette Comptable de Référence comprend trois sous-chantiers majeurs au sein du datalake Finance et Risque : • Acquisition et complétion des données • Nouvelle modélisation des données orientée produit pour les besoins des traitements, des calculateurs, … et distribution des données • Mise en place d’un Module de certification comptable avec mise en place d'un rapprochement plus rationalisé Compta to BO to FO et centralisation du rapprochement Compta Statutaire & Consolidée. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks mutualisée qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (SRB, PVA, Anatitres, Anacrédit, etc.) Au sein du chantier CARAT, travaillant en mode agile (SCRUM), la mission consistera à prendre part aux développements sur GASPARD, tout en étant garant de la pérennité et la non régression de l’outillage déjà en place, sur les deux sujets ci-dessous : 1) L'optimisation de la performance, temps d'exécution, utilisation des ressources machines afin de tenir les délais de traitement des informations et de leurs distributions vers les consommateurs avals (Calculateurs et reporting) dans le cadre des arrêtés mais également des besoins quotidiens. Notamment afin de faire face à l'augmentation significative de la volumétrie de données sur S2 2024 et 2025 en lien avec les déploiements GASPARD 2) La contribution à la mise en place des outils de monitoring technique et fonctionnelle L’équipe est principalement localisée à Paris mais dispose de ressources à Porto. L’anglais est donc d’usage dans l’équipe.

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Collecter, traiter et analyser de grands ensembles de données pour extraire des informations exploitables Concevoir, créer, mettre en œuvre, tester et maintenir des solutions basées sur les données conformément aux exigences commerciales et aux normes du secteur Surveiller les performances des données et modifier l'infrastructure selon les besoins pour améliorer les pipelines et les modèles existants Travailler au sein d'une équipe collaborative et interfonctionnelle, partager des informations, valoriser des idées diverses et collaborer efficacement avec des collègues du monde entier Améliorer continuellement les modèles et les algorithmes en fonction des commentaires et des nouvelles données Se tenir au courant des dernières techniques, outils et meilleures pratiques en matière de science des données

En tant que Senior Data Engineer Azure, vous jouerez un rôle clé dans la conception, l'implémentation et l'optimisation des solutions de données cloud. Vous travaillerez en étroite collaboration avec les équipes de développement, les data scientists et les analystes pour construire et maintenir une architecture de données robuste et scalable. Concevoir et développer des pipelines de données sur la plateforme Azure en utilisant des technologies telles qu’Azure Data Factory, Databricks, Synapse, etc. Garantir la qualité, la sécurité et la gouvernance des données. Optimiser les performances des bases de données et des entrepôts de données. Collaborer avec les équipes métiers pour comprendre les besoins en données et concevoir des solutions adaptées. Assurer la maintenance, la supervision et le monitoring des pipelines et des flux de données. Réaliser des audits techniques et des revues de code pour garantir les bonnes pratiques en matière de développement de données. Assurer une veille technologique et recommander des évolutions architecturales et technologiques.

Les ingénieurs data de l’équipe ont deux missions principales : a. Maintien en condition opérationnelle de la plateforme : Assurer la disponibilité des données et des services de la plateforme Communiquer avec les utilisateurs de la plateforme Répondre aux demandes de données ad hoc ou à l'analyse des anomalies Développer des correctifs et des évolutions de la plateforme Contribuer à la qualité des données et à l’industrialisation de la plateforme b. Conception et développement de services et de pipelines de données performants et fiables : Mettre en place des flux d’acquisition et d’exportation de données Effectuer des modélisations de données Développer des pipelines de transformation Réaliser les tests unitaires et d'intégration Veiller à la qualité des développements et au respect des standards via les revues de code Gérer les dépendances entre les traitements et les ordonnancer Réaliser les déploiements dans tous les environnements Maintenir et enrichir la documentation de la plateforme

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : Un Tech-Lead/Dév Data AWS (H/F) Un profil senior (10+ ans d’expérience) est recherché pour le département Solutions Data (Data Engineering) La mission consistera à : Conception et Développement : Participer au design technique des solutions logicielles et à la recherche de solutions techniques. Prendre en charge une partie des développements. Encadrement et Qualité : Accompagner les autres développeurs (coaching, optimisation de code). Collaborer avec l'architecte data pour l'intégration dans le SI. Assurer la qualité des produits logiciels.

Bonjour, Nous recherchons pour notre client grand compte un Ingénieur Full Stack Java spécialisé en ElasticSearch pour participer à des projets stratégiques de migration et de développement applicatif. Vous interviendrez principalement dans le cadre d’une migration ElasticSearch 1.X vers OpenSearch 2.X, ainsi que sur le développement de fonctionnalités en Java/Spring au sein d’une équipe dynamique et collaborative. Nous étudions - prioritairement - les candidatures qui nous sont adressées par MAIL [freelance à insyco . fr] avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin CV à jour (format Word) Date de prochaine disponibilité Tarif journalier Merci d’indiquer la référence KTR/ELS/4551 en objet de votre message Missions principales Migration ElasticSearch/OpenSearch : Réaliser la migration de l’application existante d’ElasticSearch V1.8 vers OpenSearch sur AWS. Configuration avancée d'ElasticSearch et d'OpenSearch sur AWS, en tenant compte des bonnes pratiques et de la performance. Modélisation et mapping des données pour optimiser la structure des index. Création et gestion des index ElasticSearch. Mise en œuvre de fonctionnalités de recherche avancée, ainsi que la construction de requêtes ElasticSearch complexes. Optimisation des performances de la solution de recherche. Développement et maintenance d’applications Java/Angular : Implémenter, développer et maintenir des fonctionnalités en Java avec Spring et en front-end avec Angular 7+. Assurer le bon déroulement des tests unitaires et des tests de bout en bout avec l’appui du Product Owner. Produire la documentation technique, incluant les spécifications techniques et les processus de migration. Collaboration en équipe : Participer à l’animation de l’équipe Agile Safe, en contribuant aux rituels (daily meetings, PI planning, ateliers de partage de connaissances, démos, etc.). Environnement Technique : Langages et Frameworks : Java (Spring), Angular 7+, ElasticSearch, OpenSearch. Infrastructure Cloud : AWS (expérience de déploiement d’applications sur AWS, architecture serverless avec Lambda, API Gateway, etc.). Outils de DevOps et CI/CD : Docker, Terraform, GitLab CI/CD, avec gestion des environnements sur le cloud. Services AWS : S3, RDS Aurora, VPC, ainsi que des outils de monitoring (Grafana, Prometheus) et sécurité (Linux, Redhat). Autres : Apache Spark, Spring, Eclipse, VSCode, Maven, Git.

Ce que tu recherches : Evoluer au sein d’une équipe dynamique Participer à des projets innovants et d’envergure Relever des défis Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d’acteurs majeurs du secteur Banque, Assurance, Retail ou Médias et service, tu participeras à des projets d’envergure, de refonte, de migration, et / ou à des évolutions majeures du SI du client : Analyse des besoins, tu feras Spécifications techniques, tu rédigeras L'architecture et/ou le socle technique, tu définiras Bonnes pratiques, tu instaureras De nouvelles fonctionnalités, tu développeras Zéro bug, tu laisseras Ton équipe, tu accompagneras Aux instances de pilotage, tu participeras

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'n Data Engineer Python/Spark. Les missions de la prestation notamment seront : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont : - Description des fonctionnements existants et des besoins couverts, - Développement d’une solution de collecte de données, - Développement d’un système de stockage de la donnée, - Réalisation de tests unitaires, - Mise en place d’un suivi des traitements, - Assistance à la recette par la MOA / les utilisateurs.

Dans le cadre de la croissance rapide de HEXATEAM, nous renforçons notre équipe technique en intégrant de nouveaux talents capables d’accompagner notre transition et expansion dans l’univers du Big Data . Nous cherchons actuellement des Architecte Data Engineer AWS pour concevoir, évoluer et maintenir nos plateformes data sur le cloud AWS. En tant qu'Architecte Data Engineer AWS, vous jouerez un rôle clé dans la conception, le développement, l’optimisation et la maintenance des pipelines de données pour répondre aux besoins de nos clients et assurer la robustesse de notre infrastructure Data. Conception et Gestion de Databricks : Création et gestion de clusters , jobs , et notebooks dans Databricks. Utilisation avancée de SQL pour créer des requêtes performantes et gérer de grandes bases de données. Maintien en condition opérationnelle : Analyser, corriger et prévenir les incidents et les défauts de la plateforme data en production. Assurer la stabilité et la disponibilité de la plateforme. Développement de pipelines d'ingestion et de transformation des données : Utilisation de Python avec Apache Spark pour traiter de grands volumes de données. Conception de jobs d’ingestion automatisés et performants. Stratégie à long terme : Proposer et implémenter une vision stratégique pour le développement de la plateforme Data. Travailler en collaboration avec les équipes pour définir la feuille de route technique à long terme. Accompagnement et diffusion des bonnes pratiques : Promouvoir les standards de qualité dans l'équipe. Accompagner les équipes dans l’adoption des bonnes pratiques en termes de développement et de gestion des données. Participation aux ateliers de conception techniques et fonctionnels : Collaborer avec les équipes de développement et de produit pour concevoir des solutions adaptées aux besoins métiers. Documentation technique : Rédiger et maintenir à jour la documentation technique des projets en cours. Indispensable : Langages : Python, SQL Big Data Framework : Apache Spark Outils : Databricks Cloud AWS : Expérience avec les services AWS (S3, Glue, Lambda, Airflow, CloudWatch, IAM) Versioning : Git Méthodologies : Travail en Agile , principalement en mode Scrum Suivi de projet : Expérience avec JIRA et Confluence Souhaité (plus) : CI/CD : Connaissance et utilisation de GitLab pour l’intégration et le déploiement continus. Outils Big Data : Expérience dans la gestion de grands volumes de données . Expérience en CI/CD avec des pratiques avancées d'automatisation.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Dévelopeur Java et Scala (H/F) dans le cadre d'un projet Big Data. Contexte de la Mission : Nous recherchons un Développeur Java et Scala pour rejoindre une équipe technique travaillant sur des projets Big Data dans le cadre de la transformation digitale d'un acteur majeur de la logistique pour l'intégration de systèmes et l'optimisation des flux de données. Vos missions : - Participer au développement des injecteurs et des adaptateurs en Java et Scala. - Implémenter des microservices permettant la gestion et le suivi des flux de données. - Réaliser les tests unitaires et d'intégration pour garantir la qualité des composants. - Collaborer avec les Tech Leads et les Product Owners pour garantir la bonne intégration des composants dans l'architecture globale. Profil recherché : - Expérience : Minimum 3 ans d'expérience en développement Java et Scala (maitrise obligatoire des 2 langages) dans des environnements Big Data. - Compétences techniques : - Langages : Java , Scala - Big Data : Kafka, Spark Streaming - Bases de données : Cassandra, Elasticsearch - Outils DevOps : Docker, Jenkins - Capacité à travailler en équipe et bonne connaissance des méthodologies agiles (Scrum). Pourquoi nous rejoindre ? - Projet d'envergure : Participez à un projet innovant et complexe visant à transformer la logistique. - Environnement stimulant : Travaillez sur des technologies modernes avec une équipe d'experts en Big Data. - Possibilité de télétravail partiel pour favoriser un équilibre entre vie professionnelle et personnelle. Modalités de la Mission : - Durée : 6 mois (renouvelable). - Localisation : Île-de-France avec possibilité de télétravail 2 jours par semaine.

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un Dévelopeur Java/Scala (H/F) dans le cadre d'un projet Big Data. Contexte de la Mission : Nous recherchons un développeur Java/Scala pour rejoindre une équipe technique travaillant sur des projets Big Data dans le cadre de la transformation digitale d'un acteur majeur de la logistique pour l'intégration de systèmes et l'optimisation des flux de données. Vos missions : - Participer au développement des injecteurs et des adaptateurs en Java et Scala. - Implémenter des microservices permettant la gestion et le suivi des flux de données. - Réaliser les tests unitaires et d'intégration pour garantir la qualité des composants. - Collaborer avec les Tech Leads et les Product Owners pour garantir la bonne intégration des composants dans l'architecture globale. Profil recherché : - Expérience : Minimum 3 ans d'expérience en développement Java/Scala dans des environnements Big Data. - Compétences techniques : - Langages : Java, Scala - Big Data : Kafka, Spark Streaming - Bases de données : Cassandra, Elasticsearch - Outils DevOps : Docker, Jenkins - Capacité à travailler en équipe et bonne connaissance des méthodologies agiles (Scrum). Pourquoi nous rejoindre ? - Projet d'envergure : Participez à un projet innovant et complexe visant à transformer la logistique. - Environnement stimulant : Travaillez sur des technologies modernes avec une équipe d'experts en Big Data. - Possibilité de télétravail partiel pour favoriser un équilibre entre vie professionnelle et personnelle. Modalités de la Mission : - Durée : 6 mois (renouvelable). - Localisation : Île-de-France avec possibilité de télétravail 2 jours par semaine.