Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

💼 Poste : Data Engineer Scala Spark Hadoop 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : L’architecture avec le reste de l’entité (tech lead, devs, architecture). Mise en œuvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. Livrables attendus Les livrables attendus sont : Développements et tests (en TDD) en mode Agile pour répondre au cas d'usage métier et déployable en environnement de production. PVs techniques Chiffrage de projets et évolutions Design de solution 🤝 Expertises spécifiques : Continuous Integration Hadoop (Big Data) Scala Spark

💼 Poste : Tech Lead Java Spark référence 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite mettre en œuvre le volet transformation du système d'information du programme d'amélioration du dispositif de pilotage et de certification de l'assiette risques structurels dont les objectifs sont : Amélioration et accélération de la constitution de l'assiette risques structurels La certification de cette assiette risques structurels cohérente comptable Renforcer la remédiation en termes de qualité de donnée et réduire le nombre d'ajustements manuels Notre client souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre notre client souhaite bénéficier de l'expertise du Prestataire en termes de conception et développement. Dans ce cadre, la prestation consiste à contribuer à/au(x): L’instruction et le cadrage technique des projets, L’implémentation de solutions techniques en méthodologie agile Environnement technique : Java (Spark est un gros plus, Python est un plus) Devops : Ansible, Jenkins, GitHub Actions, Sonar, Artifactory Big Data & Cloud : Cloudera CDP, Apache stack (HDFS, Oozie, Yarn) Data : Oracle DB, PostgreSQL, Hive, Elastic Search, REST APIs Livrables attendus Les livrables attendus sont : Notes de cadrage techniques Spécifications techniques Support et développement sur toutes les releases 2024-2025 🤝 Expertises spécifiques : Agile Scrum Ansible Artifactory Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Elastic Search & Kibana Hive Java Jenkins Oracle Database Enterprise Server PostGreSQL REST Scripting (GuitHub, Ansible, AWX, shell, vba) Sonar

💼 Poste : Développeur Concepteur Big data Talend 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département exerce 3 missions principales : Garantir des services opérationnels d'excellence : sécurité des SI et maîtrise des risques opérationnels, qualité de la production informatique et pérennisation du SI. Délivrer des solutions SI innovantes, orientées clients, pour construire la banque relationnelle et digitale de demain . Améliorer son efficacité opérationnelle, en réponse aux enjeux d'agilité et de time to market, et optimiser les coûts informatiques. Le Bénéficiaire souhaite avoir une expertise en développement sur l'écosystème BIG DATA. A ce titre, le Bénéficiaire souhaite avoir l’expertise du prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - développements d'usages BIG DATA : Conception technique des développements Supervision des traitements en place Cérémonies agile (méthode Scrum) Livrables attendus Les livrables attendus sont : Dossier de conception Programmes versionnés Documentation projet nécessaire aux MEP 🤝 Expertises spécifiques : Les expertises attendues pour réaliser cette prestation sont listées ci-après : Agile Scrum Environnement Cloudera Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Hadoop (Big Data) HiveQL, scripting shell, environnmnent Conda Spark (PySpark), (gestion de volumes de données importants) Talend (Data integration, Big Data)

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'n Data Engineer Python/Spark. Les missions de la prestation notamment seront : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont : - Description des fonctionnements existants et des besoins couverts, - Développement d’une solution de collecte de données, - Développement d’un système de stockage de la donnée, - Réalisation de tests unitaires, - Mise en place d’un suivi des traitements, - Assistance à la recette par la MOA / les utilisateurs.

Mon client, faisant partie des leaders dans le domaine de la distribution numérique de musique, recrute un Data Engineer. Au sein de l'équipe organisée selon la pratique Scrum, en charge du Build et du Run de son périmètre, vous aurez pour responsabilité d'implémenter les flux de données depuis l'ingestion des nouvelles sources jusqu'à leur préparation pour exposition au travers des niveaux Bronze, Silver et Gold (warehouse) Vos missions seront les suivantes : La conception et le développement d'un pipeline d'ingestion sur AWS (Step function / python / S3) La transformation de données (Python, Spark Scala / Databricks, SQL) La modélisation Data en flocons Les pratiques de test (TU Python, TU Spark Scala) Les pratiques de run (surveillance, monitoring, fix) La rédaction de la documentation (Data galaxy / Confluence) Les enjeux de performances, de suivi des couts et de sécurité

Collecter, traiter et analyser de grands ensembles de données pour extraire des informations exploitables Concevoir, créer, mettre en œuvre, tester et maintenir des solutions basées sur les données conformément aux exigences commerciales et aux normes du secteur Surveiller les performances des données et modifier l'infrastructure selon les besoins pour améliorer les pipelines et les modèles existants Travailler au sein d'une équipe collaborative et interfonctionnelle, partager des informations, valoriser des idées diverses et collaborer efficacement avec des collègues du monde entier Améliorer continuellement les modèles et les algorithmes en fonction des commentaires et des nouvelles données Se tenir au courant des dernières techniques, outils et meilleures pratiques en matière de science des données

Bonjour, Nous recherchons pour notre client grand compte un Ingénieur Full Stack Java spécialisé en ElasticSearch pour participer à des projets stratégiques de migration et de développement applicatif. Vous interviendrez principalement dans le cadre d’une migration ElasticSearch 1.X vers OpenSearch 2.X, ainsi que sur le développement de fonctionnalités en Java/Spring au sein d’une équipe dynamique et collaborative. Nous étudions - prioritairement - les candidatures qui nous sont adressées par MAIL [freelance à insyco . fr] avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin CV à jour (format Word) Date de prochaine disponibilité Tarif journalier Merci d’indiquer la référence KTR/ELS/4551 en objet de votre message Missions principales Migration ElasticSearch/OpenSearch : Réaliser la migration de l’application existante d’ElasticSearch V1.8 vers OpenSearch sur AWS. Configuration avancée d'ElasticSearch et d'OpenSearch sur AWS, en tenant compte des bonnes pratiques et de la performance. Modélisation et mapping des données pour optimiser la structure des index. Création et gestion des index ElasticSearch. Mise en œuvre de fonctionnalités de recherche avancée, ainsi que la construction de requêtes ElasticSearch complexes. Optimisation des performances de la solution de recherche. Développement et maintenance d’applications Java/Angular : Implémenter, développer et maintenir des fonctionnalités en Java avec Spring et en front-end avec Angular 7+. Assurer le bon déroulement des tests unitaires et des tests de bout en bout avec l’appui du Product Owner. Produire la documentation technique, incluant les spécifications techniques et les processus de migration. Collaboration en équipe : Participer à l’animation de l’équipe Agile Safe, en contribuant aux rituels (daily meetings, PI planning, ateliers de partage de connaissances, démos, etc.). Environnement Technique : Langages et Frameworks : Java (Spring), Angular 7+, ElasticSearch, OpenSearch. Infrastructure Cloud : AWS (expérience de déploiement d’applications sur AWS, architecture serverless avec Lambda, API Gateway, etc.). Outils de DevOps et CI/CD : Docker, Terraform, GitLab CI/CD, avec gestion des environnements sur le cloud. Services AWS : S3, RDS Aurora, VPC, ainsi que des outils de monitoring (Grafana, Prometheus) et sécurité (Linux, Redhat). Autres : Apache Spark, Spring, Eclipse, VSCode, Maven, Git.

En tant que Senior Data Engineer Azure, vous jouerez un rôle clé dans la conception, l'implémentation et l'optimisation des solutions de données cloud. Vous travaillerez en étroite collaboration avec les équipes de développement, les data scientists et les analystes pour construire et maintenir une architecture de données robuste et scalable. Concevoir et développer des pipelines de données sur la plateforme Azure en utilisant des technologies telles qu’Azure Data Factory, Databricks, Synapse, etc. Garantir la qualité, la sécurité et la gouvernance des données. Optimiser les performances des bases de données et des entrepôts de données. Collaborer avec les équipes métiers pour comprendre les besoins en données et concevoir des solutions adaptées. Assurer la maintenance, la supervision et le monitoring des pipelines et des flux de données. Réaliser des audits techniques et des revues de code pour garantir les bonnes pratiques en matière de développement de données. Assurer une veille technologique et recommander des évolutions architecturales et technologiques.

Les ingénieurs data de l’équipe ont deux missions principales : a. Maintien en condition opérationnelle de la plateforme : Assurer la disponibilité des données et des services de la plateforme Communiquer avec les utilisateurs de la plateforme Répondre aux demandes de données ad hoc ou à l'analyse des anomalies Développer des correctifs et des évolutions de la plateforme Contribuer à la qualité des données et à l’industrialisation de la plateforme b. Conception et développement de services et de pipelines de données performants et fiables : Mettre en place des flux d’acquisition et d’exportation de données Effectuer des modélisations de données Développer des pipelines de transformation Réaliser les tests unitaires et d'intégration Veiller à la qualité des développements et au respect des standards via les revues de code Gérer les dépendances entre les traitements et les ordonnancer Réaliser les déploiements dans tous les environnements Maintenir et enrichir la documentation de la plateforme

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : Un Tech-Lead/Dév Data AWS (H/F) Un profil senior (10+ ans d’expérience) est recherché pour le département Solutions Data (Data Engineering) La mission consistera à : Conception et Développement : Participer au design technique des solutions logicielles et à la recherche de solutions techniques. Prendre en charge une partie des développements. Encadrement et Qualité : Accompagner les autres développeurs (coaching, optimisation de code). Collaborer avec l'architecte data pour l'intégration dans le SI. Assurer la qualité des produits logiciels.

Ce que tu recherches : Evoluer au sein d’une équipe dynamique Participer à des projets innovants et d’envergure Relever des défis Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d’acteurs majeurs du secteur Banque, Assurance, Retail ou Médias et service, tu participeras à des projets d’envergure, de refonte, de migration, et / ou à des évolutions majeures du SI du client : Analyse des besoins, tu feras Spécifications techniques, tu rédigeras L'architecture et/ou le socle technique, tu définiras Bonnes pratiques, tu instaureras De nouvelles fonctionnalités, tu développeras Zéro bug, tu laisseras Ton équipe, tu accompagneras Aux instances de pilotage, tu participeras

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Dans le cadre de la croissance rapide de HEXATEAM, nous renforçons notre équipe technique en intégrant de nouveaux talents capables d’accompagner notre transition et expansion dans l’univers du Big Data . Nous cherchons actuellement des Architecte Data Engineer AWS pour concevoir, évoluer et maintenir nos plateformes data sur le cloud AWS. En tant qu'Architecte Data Engineer AWS, vous jouerez un rôle clé dans la conception, le développement, l’optimisation et la maintenance des pipelines de données pour répondre aux besoins de nos clients et assurer la robustesse de notre infrastructure Data. Conception et Gestion de Databricks : Création et gestion de clusters , jobs , et notebooks dans Databricks. Utilisation avancée de SQL pour créer des requêtes performantes et gérer de grandes bases de données. Maintien en condition opérationnelle : Analyser, corriger et prévenir les incidents et les défauts de la plateforme data en production. Assurer la stabilité et la disponibilité de la plateforme. Développement de pipelines d'ingestion et de transformation des données : Utilisation de Python avec Apache Spark pour traiter de grands volumes de données. Conception de jobs d’ingestion automatisés et performants. Stratégie à long terme : Proposer et implémenter une vision stratégique pour le développement de la plateforme Data. Travailler en collaboration avec les équipes pour définir la feuille de route technique à long terme. Accompagnement et diffusion des bonnes pratiques : Promouvoir les standards de qualité dans l'équipe. Accompagner les équipes dans l’adoption des bonnes pratiques en termes de développement et de gestion des données. Participation aux ateliers de conception techniques et fonctionnels : Collaborer avec les équipes de développement et de produit pour concevoir des solutions adaptées aux besoins métiers. Documentation technique : Rédiger et maintenir à jour la documentation technique des projets en cours. Indispensable : Langages : Python, SQL Big Data Framework : Apache Spark Outils : Databricks Cloud AWS : Expérience avec les services AWS (S3, Glue, Lambda, Airflow, CloudWatch, IAM) Versioning : Git Méthodologies : Travail en Agile , principalement en mode Scrum Suivi de projet : Expérience avec JIRA et Confluence Souhaité (plus) : CI/CD : Connaissance et utilisation de GitLab pour l’intégration et le déploiement continus. Outils Big Data : Expérience dans la gestion de grands volumes de données . Expérience en CI/CD avec des pratiques avancées d'automatisation.