Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

La prestation concerne la réalisation d’une prestation d’ingénierie d’infrastructure et d’exploitation de la plateforme Data, et plus précisément d’une prestation d’expertise cloud et de construction et automatisation des infrastructures Cloud (publiques et privées) en lien avec les équipes de la Direction Data. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l'expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d'aide à la décision. Le prestataire participera au(x)/à : - BUILD des services - l’analyse des besoins liés à l’hébergement des développements - l’adaptation de l’industrialisation des infrastructures pour les changements - la planification et exécution des changements, - RUN des services et l’exploitation quotidienne - la remontée d’alarmes - diagnostic - l’analyse des incidents - intervention sur incidents - la documentation

La prestation concerne la réalisation d’une prestation d’ingénierie d’infrastructure et d’exploitation de la plateforme Data, et plus précisément d’une prestation d’expertise cloud et de construction et automatisation des infrastructures Cloud (publiques et privées) en lien avec les équipes de la Direction Data. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l'expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d'aide à la décision. Le prestataire participera au(x)/à : - BUILD des services - l’analyse des besoins liés à l’hébergement des développements - l’adaptation de l’industrialisation des infrastructures pour les changements - la planification et exécution des changements, - RUN des services et l’exploitation quotidienne - la remontée d’alarmes - diagnostic - l’analyse des incidents - intervention sur incidents - la documentation

Notre client recherche un Développeur Java Spark Angular , profil Confirmé 3-5 ans d'expérience Obligatoire : Java, Spark, Angular Mission : 6 mois avec possibilité d'être prolongé Télétravail : 2 jours par semaine (non négociable) Secteur : Divertissement L'entreprise souhaite migrer plusieurs jobs Datastage vers Spark, une plateforme de traitement de données Big Data. Le consultant devra travailler sur la plateforme Spark pour réaliser les évolutions nécessaires. L'environnement : Java , Angular, Spark, Kafka, AWS

Notre client bancaire recherche un consultant Tech Lead GCP (H/F) pour renforcer l'équipe au sein de laquelle preste déjà des consultants de NEXORIS. Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données avec des projets novateurs. Tâches et activités de la mission (non exhaustives) : - Récupérer les données issues de sources externes - Utiliser la puissance du datalake pour le traitement des données - Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels - Mettre en œuvre la chaîne d'ingestion, validation, croisement et déversement des données dans le datalake - Développer en respectant les règles d’architecture définies - Développer et documenter les user stories avec l’assistance du Product Owner - Produire les scripts de déploiement - Prioriser les corrections des anomalies - Assister les équipes d’exploitation - Participer à la mise en œuvre de la chaîne de delivery continue - Automatiser les tests fonctionnels. Environnement GKE : - Développement d'API REST - Stockage : HDFS / GCS - Planification : Airflow / Composer - Méthodologies : Scrum, Kanban, Git - DWH : SQL, BigQuery, BigTable - Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build

💡 Contexte /Objectifs l'entité est en charge des développements liés aux applications sources, de contrôle et de valorisation des instruments, des données de marchés et des facteurs de risques. L'application sert à transférer les données sur le Cloud public (Azure) à des fins analytiques. 💡 Objectifs et livrables Les enjeux étaient nombreux :  Volumétrie de données  Performance / Multi-Threading  Data Quality  Legacy Management  Large éventail de technologies à maîtriser : o Etudes techniques o Refonte technique et refonte de l’architecture du projet o Migration On-Premise vers Azure o Optimisation des performances o Amélioration du Code Quality o Mise en place des process CI/CD o Mise en place du monitoring o Diverses implémentations et migrations techniques de composants déployés dans Azure (AirFlow, Migration Blue/Green, etc…)

Dans le cadre de projets stratégiques autour du traitement de données massives et de la répartition de flux financiers, nous recherchons un Ingénieur Full Stack Java confirmé. L’objectif de la mission est de renforcer une équipe technique en charge du développement de traitements batchs critiques et d’APIs performantes, dans un environnement Java/Spark. Missions principales Concevoir et développer des traitements batchs critiques en Java et Spark Développer des APIs REST et des services backend avec Spring Boot Modéliser et exploiter des bases de données relationnelles Participer à la migration de données et à l’optimisation des performances Contribuer à l’écriture de tests unitaires et d’intégration Documenter les processus techniques et appliquer les bonnes pratiques DevOps

Fiche de Poste – Expert Technique Java / Spark / Angular Localisation : Paris Expérience : 10 à 15 ans Contexte : Le bénéficiaire recherche un Expert Technique Java / Spark / Angular pour accompagner les évolutions réglementaires des plateformes de projections des paramètres de risque et de simulation d’impact des chocs sur le coût du risque et les provisions. L’objectif est d’assurer le bon fonctionnement et l’évolution des moteurs de calculs réglementaires tout en migrant les applications vers le Cloud DMZR.

Missions principales : Conception et développement de traitements batchs critiques en Java et Spark. Développement d'API REST et de services backend avec Spring Boot. Modélisation et exploitation de bases de données relationnelles. Participation à la migration de données et à l'amélioration continue des performances des traitements. Contribution aux tests unitaires et d'intégration. Documentation des processus techniques et participation aux bonnes pratiques DevOps. Profil recherché : Expérience confirmée en développement Java (impératif). Maîtrise de Spark pour les traitements de données volumineuses (impératif). Bonne connaissance de Spring Boot et des API REST. Solide compétence en bases de données relationnelles. Expérience en migration de données et en réalisation de tests. Connaissances en CI/CD, Docker, Kubernetes sont un plus. Soft skills attendues : Autonomie et réactivité dans la résolution de problématiques techniques. Esprit d'analyse, de synthèse et capacité de documentation. Capacité à collaborer efficacement avec les équipes DEV, OPS et produit. Proactivité et partage de connaissances au sein de l'équipe.

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Python/Spark/Deltalake. Tâches: Conception, développement et déploiement des pipelines de données efficaces pour l’extraction, la transformation et le chargement (ETL) des données, - Collaboration avec les équipes métier pour comprendre les besoins en matière de données et proposer une solution adaptée, - Etablissement des spécifications techniques à partir des besoins, - Mise en place de la collecte et la mise à disposition des données, - Garantie de la sécurisation des pipelines de données déployés, - Analyse et transformation des données pour répondre aux besoins des métiers, - Industrialisation et automatisation de la transformation des données suivants les spécifications définies, - Développement et maintien des batchs d’automatisations de traitement, - Suivi de la production et la maintenance, - Développement de l’industrialisation de modèles statistiques, - Développement des dashboards en lien avec les attentes du métier, - Rédaction et maintien de la documentation relative aux bases de données et à leur exploitation, - Accompagnement des citizens developers dans leur prise en main de la plateforme data in-house. Si vous êtes actuellement à l'écoute du marché, je vous invite à m'envoyer votre candidature. Bien à vous, Nadia

data engineer senior - freelance - Paris python / SQL / Spark : databricks contribuer à la création de pipelines d'orchestration des modèles ML (preparation de features, training, tunning et inférence) dans le cadre de la création d'une plateforme dédiée au forecasting, qui s’appuie sur l’intelligence artificielle, le big data et les données météorologiques pour optimiser la gestion des risques et la performance des activités Supply et Renewables. -- data engineer senior - freelance - Paris python / SQL / Spark : databricks contribuer à la création de pipelines d'orchestration des modèles ML (preparation de features, training, tunning et inférence) dans le cadre de la création d'une plateforme dédiée au forecasting, qui s’appuie sur l’intelligence artificielle, le big data et les données météorologiques pour optimiser la gestion des risques et la performance des activités Supply et Renewables.

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Pour le compte de l' un de nos clients dans le domaine des médias, nous recherchons un Ingénieur Devops/Cloud (GCP) avec des compétences Big Data. Au sein de la Direction technique du groupe, vous réaliserez une prestation d’expertise cloud et de construction/ automatisation des infrastructures Cloud (publiques et privées) en lien avec les équipes de la Direction Data. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l'expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d'aide à la décision. Vous aurez en charge : - BUILD des services - l’analyse des besoins liés à l’hébergement des développements - l’adaptation de l’industrialisation des infrastructures pour les changements - la planification et exécution des changements, - RUN des services et l’exploitation quotidienne - la remontée d’alarmes - diagnostic - l’analyse des incidents - interventions sur les incidents la documentation Des astreintes exceptionnelles peuvent vous etre demandées ou des interventions le soir ou le week end également.

💡 Contexte /Objectifs : La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad Financing & Risk qui aujourd'hui développe et gère un datalake (RiskLake). 🤝 Expertises indispensables Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer du RiskLake : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets

Développer et maintenir des pipelines de données actuarielles, assurer la qualité des données et contribuer à divers projets d'analyse de données sur une plateforme DATA moderne. Développer et maintenir des pipelines de données robustes et évolutifs sur Databricks. Assurer la qualité et l'intégrité des données collectées et traitées. Collaborer avec les équipes d'inventaire pour comprendre les besoins en matière de données et fournir des solutions adaptées. Participer à l'optimisation des performances des bases de données et des systèmes de traitement des données. - Contribuer à la documentation des processus et des flux de données.

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Notre souhaite une prestation d'accompagnement dans le cadre de l’accélération de l’IA d’une grande banque française. L'objectif est de renforcer l'équipe en charge de la mise en place et de l'optimisation des solutions de traitement de données massives, en s'appuyant sur des technologies Big Data et d'intelligence artificielle. Dans ce cadre, nous recherchons un Data Engineer Spark pour intégrer une équipe spécialisée et intervenir sur des problématiques de Delivery. La mission consiste à assurer la mise en place, l'optimisation et le maintien des règles métier dans un environnement de production à forte volumétrie. Les principales missions seront : Écriture, test et validation des règles métier en collaboration avec les équipes métiers et IT ; Développement et maintenance des règles dans Rule Designer et Decision Center ; Contribution à l'amélioration et à l'optimisation des traitements existants ; Analyse des besoins, modélisation des données et rédaction de spécifications fonctionnelles et techniques ; Participation aux ateliers et aux échanges avec les parties prenantes afin de garantir la bonne implémentation des solutions.