Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

💼 Poste : Data Engineer Scala Spark Hadoop 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : L’architecture avec le reste de l’entité (tech lead, devs, architecture). Mise en œuvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. Livrables attendus Les livrables attendus sont : Développements et tests (en TDD) en mode Agile pour répondre au cas d'usage métier et déployable en environnement de production. PVs techniques Chiffrage de projets et évolutions Design de solution 🤝 Expertises spécifiques : Continuous Integration Hadoop (Big Data) Scala Spark

💼 Poste : Tech Lead Java Spark référence 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite mettre en œuvre le volet transformation du système d'information du programme d'amélioration du dispositif de pilotage et de certification de l'assiette risques structurels dont les objectifs sont : Amélioration et accélération de la constitution de l'assiette risques structurels La certification de cette assiette risques structurels cohérente comptable Renforcer la remédiation en termes de qualité de donnée et réduire le nombre d'ajustements manuels Notre client souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre notre client souhaite bénéficier de l'expertise du Prestataire en termes de conception et développement. Dans ce cadre, la prestation consiste à contribuer à/au(x): L’instruction et le cadrage technique des projets, L’implémentation de solutions techniques en méthodologie agile Environnement technique : Java (Spark est un gros plus, Python est un plus) Devops : Ansible, Jenkins, GitHub Actions, Sonar, Artifactory Big Data & Cloud : Cloudera CDP, Apache stack (HDFS, Oozie, Yarn) Data : Oracle DB, PostgreSQL, Hive, Elastic Search, REST APIs Livrables attendus Les livrables attendus sont : Notes de cadrage techniques Spécifications techniques Support et développement sur toutes les releases 2024-2025 🤝 Expertises spécifiques : Agile Scrum Ansible Artifactory Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Elastic Search & Kibana Hive Java Jenkins Oracle Database Enterprise Server PostGreSQL REST Scripting (GuitHub, Ansible, AWX, shell, vba) Sonar

💼 Poste : Développeur Concepteur Big data Talend 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département exerce 3 missions principales : Garantir des services opérationnels d'excellence : sécurité des SI et maîtrise des risques opérationnels, qualité de la production informatique et pérennisation du SI. Délivrer des solutions SI innovantes, orientées clients, pour construire la banque relationnelle et digitale de demain . Améliorer son efficacité opérationnelle, en réponse aux enjeux d'agilité et de time to market, et optimiser les coûts informatiques. Le Bénéficiaire souhaite avoir une expertise en développement sur l'écosystème BIG DATA. A ce titre, le Bénéficiaire souhaite avoir l’expertise du prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - développements d'usages BIG DATA : Conception technique des développements Supervision des traitements en place Cérémonies agile (méthode Scrum) Livrables attendus Les livrables attendus sont : Dossier de conception Programmes versionnés Documentation projet nécessaire aux MEP 🤝 Expertises spécifiques : Les expertises attendues pour réaliser cette prestation sont listées ci-après : Agile Scrum Environnement Cloudera Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Hadoop (Big Data) HiveQL, scripting shell, environnmnent Conda Spark (PySpark), (gestion de volumes de données importants) Talend (Data integration, Big Data)

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'n Data Engineer Python/Spark. Les missions de la prestation notamment seront : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont : - Description des fonctionnements existants et des besoins couverts, - Développement d’une solution de collecte de données, - Développement d’un système de stockage de la donnée, - Réalisation de tests unitaires, - Mise en place d’un suivi des traitements, - Assistance à la recette par la MOA / les utilisateurs.

Contexte : Le Groupe a lancé le programme qui se déroulera sur 5 ans (2020 / 2025). Une équipe dédiée a été créée pour la durée du programme. Ce programme s'articule autour des 4 principaux chantiers ci-dessous : • Mise en place d'une Assiette Comptable de Référence, certifiée & unique sur l'ensemble du périmètre servant de référence pour les calculateurs et reportings Finance et Risques • Décommissionnement de la base de données actuelle des inventaires Finance et capitalisation sur le Datalake Finance & Risk • Mise en place d'une nouvelle plateforme globale de suivi des contrôles et de gestion des corrections (en se basant sur le streaming évènementiel type Kafka) • Optimisation et rationalisation du SI (prudentiel notamment) basé sur cette assiette comptable de référence En particulier, le chantier "CARAT" Assiette Comptable de Référence comprend trois sous-chantiers majeurs au sein du datalake Finance et Risque : • Acquisition et complétion des données • Nouvelle modélisation des données orientée produit pour les besoins des traitements, des calculateurs, … et distribution des données • Mise en place d’un Module de certification comptable avec mise en place d'un rapprochement plus rationalisé Compta to BO to FO et centralisation du rapprochement Compta Statutaire & Consolidée. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks mutualisée qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (SRB, PVA, Anatitres, Anacrédit, etc.) Au sein du chantier CARAT, travaillant en mode agile (SCRUM), la mission consistera à prendre part aux développements sur GASPARD, tout en étant garant de la pérennité et la non régression de l’outillage déjà en place, sur les deux sujets ci-dessous : 1) L'optimisation de la performance, temps d'exécution, utilisation des ressources machines afin de tenir les délais de traitement des informations et de leurs distributions vers les consommateurs avals (Calculateurs et reporting) dans le cadre des arrêtés mais également des besoins quotidiens. Notamment afin de faire face à l'augmentation significative de la volumétrie de données sur S2 2024 et 2025 en lien avec les déploiements GASPARD 2) La contribution à la mise en place des outils de monitoring technique et fonctionnelle L’équipe est principalement localisée à Paris mais dispose de ressources à Porto. L’anglais est donc d’usage dans l’équipe.

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Mon client, faisant partie des leaders dans le domaine de la distribution numérique de musique, recrute un Data Engineer. Au sein de l'équipe organisée selon la pratique Scrum, en charge du Build et du Run de son périmètre, vous aurez pour responsabilité d'implémenter les flux de données depuis l'ingestion des nouvelles sources jusqu'à leur préparation pour exposition au travers des niveaux Bronze, Silver et Gold (warehouse) Vos missions seront les suivantes : La conception et le développement d'un pipeline d'ingestion sur AWS (Step function / python / S3) La transformation de données (Python, Spark Scala / Databricks, SQL) La modélisation Data en flocons Les pratiques de test (TU Python, TU Spark Scala) Les pratiques de run (surveillance, monitoring, fix) La rédaction de la documentation (Data galaxy / Confluence) Les enjeux de performances, de suivi des couts et de sécurité

Collecter, traiter et analyser de grands ensembles de données pour extraire des informations exploitables Concevoir, créer, mettre en œuvre, tester et maintenir des solutions basées sur les données conformément aux exigences commerciales et aux normes du secteur Surveiller les performances des données et modifier l'infrastructure selon les besoins pour améliorer les pipelines et les modèles existants Travailler au sein d'une équipe collaborative et interfonctionnelle, partager des informations, valoriser des idées diverses et collaborer efficacement avec des collègues du monde entier Améliorer continuellement les modèles et les algorithmes en fonction des commentaires et des nouvelles données Se tenir au courant des dernières techniques, outils et meilleures pratiques en matière de science des données

Bonjour, Nous recherchons pour notre client grand compte un Ingénieur Full Stack Java spécialisé en ElasticSearch pour participer à des projets stratégiques de migration et de développement applicatif. Vous interviendrez principalement dans le cadre d’une migration ElasticSearch 1.X vers OpenSearch 2.X, ainsi que sur le développement de fonctionnalités en Java/Spring au sein d’une équipe dynamique et collaborative. Nous étudions - prioritairement - les candidatures qui nous sont adressées par MAIL [freelance à insyco . fr] avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin CV à jour (format Word) Date de prochaine disponibilité Tarif journalier Merci d’indiquer la référence KTR/ELS/4551 en objet de votre message Missions principales Migration ElasticSearch/OpenSearch : Réaliser la migration de l’application existante d’ElasticSearch V1.8 vers OpenSearch sur AWS. Configuration avancée d'ElasticSearch et d'OpenSearch sur AWS, en tenant compte des bonnes pratiques et de la performance. Modélisation et mapping des données pour optimiser la structure des index. Création et gestion des index ElasticSearch. Mise en œuvre de fonctionnalités de recherche avancée, ainsi que la construction de requêtes ElasticSearch complexes. Optimisation des performances de la solution de recherche. Développement et maintenance d’applications Java/Angular : Implémenter, développer et maintenir des fonctionnalités en Java avec Spring et en front-end avec Angular 7+. Assurer le bon déroulement des tests unitaires et des tests de bout en bout avec l’appui du Product Owner. Produire la documentation technique, incluant les spécifications techniques et les processus de migration. Collaboration en équipe : Participer à l’animation de l’équipe Agile Safe, en contribuant aux rituels (daily meetings, PI planning, ateliers de partage de connaissances, démos, etc.). Environnement Technique : Langages et Frameworks : Java (Spring), Angular 7+, ElasticSearch, OpenSearch. Infrastructure Cloud : AWS (expérience de déploiement d’applications sur AWS, architecture serverless avec Lambda, API Gateway, etc.). Outils de DevOps et CI/CD : Docker, Terraform, GitLab CI/CD, avec gestion des environnements sur le cloud. Services AWS : S3, RDS Aurora, VPC, ainsi que des outils de monitoring (Grafana, Prometheus) et sécurité (Linux, Redhat). Autres : Apache Spark, Spring, Eclipse, VSCode, Maven, Git.

En tant que Senior Data Engineer Azure, vous jouerez un rôle clé dans la conception, l'implémentation et l'optimisation des solutions de données cloud. Vous travaillerez en étroite collaboration avec les équipes de développement, les data scientists et les analystes pour construire et maintenir une architecture de données robuste et scalable. Concevoir et développer des pipelines de données sur la plateforme Azure en utilisant des technologies telles qu’Azure Data Factory, Databricks, Synapse, etc. Garantir la qualité, la sécurité et la gouvernance des données. Optimiser les performances des bases de données et des entrepôts de données. Collaborer avec les équipes métiers pour comprendre les besoins en données et concevoir des solutions adaptées. Assurer la maintenance, la supervision et le monitoring des pipelines et des flux de données. Réaliser des audits techniques et des revues de code pour garantir les bonnes pratiques en matière de développement de données. Assurer une veille technologique et recommander des évolutions architecturales et technologiques.

Les ingénieurs data de l’équipe ont deux missions principales : a. Maintien en condition opérationnelle de la plateforme : Assurer la disponibilité des données et des services de la plateforme Communiquer avec les utilisateurs de la plateforme Répondre aux demandes de données ad hoc ou à l'analyse des anomalies Développer des correctifs et des évolutions de la plateforme Contribuer à la qualité des données et à l’industrialisation de la plateforme b. Conception et développement de services et de pipelines de données performants et fiables : Mettre en place des flux d’acquisition et d’exportation de données Effectuer des modélisations de données Développer des pipelines de transformation Réaliser les tests unitaires et d'intégration Veiller à la qualité des développements et au respect des standards via les revues de code Gérer les dépendances entre les traitements et les ordonnancer Réaliser les déploiements dans tous les environnements Maintenir et enrichir la documentation de la plateforme

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : Un Tech-Lead/Dév Data AWS (H/F) Un profil senior (10+ ans d’expérience) est recherché pour le département Solutions Data (Data Engineering) La mission consistera à : Conception et Développement : Participer au design technique des solutions logicielles et à la recherche de solutions techniques. Prendre en charge une partie des développements. Encadrement et Qualité : Accompagner les autres développeurs (coaching, optimisation de code). Collaborer avec l'architecte data pour l'intégration dans le SI. Assurer la qualité des produits logiciels.

Ce que tu recherches : Evoluer au sein d’une équipe dynamique Participer à des projets innovants et d’envergure Relever des défis Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d’acteurs majeurs du secteur Banque, Assurance, Retail ou Médias et service, tu participeras à des projets d’envergure, de refonte, de migration, et / ou à des évolutions majeures du SI du client : Analyse des besoins, tu feras Spécifications techniques, tu rédigeras L'architecture et/ou le socle technique, tu définiras Bonnes pratiques, tu instaureras De nouvelles fonctionnalités, tu développeras Zéro bug, tu laisseras Ton équipe, tu accompagneras Aux instances de pilotage, tu participeras

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service