Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

L’objectif de la mission est de contribuer à l’industrialisation des processus et traitements big data mis en œuvre dans le cadre de la plateforme mégadonnées de client et d’assurer la maintenance des pipelines d’intégration et de transformation des données à l’EDS Prestation de développements & Ingénierie big data dans le cadre de l’intégration et d’exploration de données dans un contexte big data et du cluster données massives Conception et réalisation/développement d’outils et traitements d’intégration et de standardisation de données massives dans le cadre d’une plateforme Hadoop, Contribution à l’industrialisation d’outils d’exploration des données (restitution des données de type tableaux de bord, projets de recherche thématiques, bibliothèques de code spécifiques, etc.) ; Participation à la standardisation des modèles de données (format FHIR/OMOP) et à la conception d’API appropriés (Webservices FHIR, etc.) ; Spécifications techniques détaillées ; Test unitaire et recette technique ; Documentation de conception, réalisation et d’exploitation. L’objectif de la mission consiste à participer à la mise en place d’outils de pilotage

Compétences techniques Stack HADOOP - Expert - Impératif Python - Expert - Impératif Connaissances linguistiques Français Courant (Impératif) Description détaillée Nous cherchons un lead technique pour encadrer une équipe Big Data. Le contexte fonctionnel est la lutte anti blanchiment, et voici les éléments essentiels: - Contribuer au affinage et au découpage des récits. - Étudier la faisabilité et chiffrer les récits. - Développer les briques des pipelines de données. - Développer les tests unitaires et assurer une couverture de + 70%. - Effectuer les tests de performances (tuning spark). - Préparer le déploiement en construisant les fichiers de configuration indispensables pour utiliser les outils devops mises en place. - Assurance de la maintenance corrective et évolutive du projet. - Préparer les instructions pour la MEP des évolutions/correctifs. - Suivi de productio Il s'agit d'encadrer une équipe de 4 personnes. Des expériences précédentes dans un rôle de responsable technique sont requises. La mission est en plein coeur de Paris.

Nous poursuivons notre développement et recherchons actuellement un.e Data Engineer pour intervenir chez un de nos clients du secteur bancaire. Contexte / Objectifs : Récupérer les données issues de sources externes Utiliser la puissance du Datalake Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. Mise en œuvre de la chaîne : d’ingestion de données, de validation de données, de croisement de données, de déversement dans le datalake des données enrichies Développer dans le respect des règles d’architecture définies Développer et documenter les user stories avec l’assistance du Product Owner. Produire les scripts de déploiement Prioriser les corrections des anomalies Assister les équipes d’exploitation Participer à la mise en œuvre de la chaîne de delivery continue Automatiser les tests fonctionnels

Poste : Développeur Big Data Spécialisation : Spark, Scala Langues : Anglais Courant (Impératif) Environnement : Agile, anglophone Contexte du Poste : Nous recherchons un Développeur Big Data expérimenté pour rejoindre notre équipe dynamique afin de mener à bien la migration de jobs Talend vers des solutions basées sur Spark. Le candidat idéal doit avoir une solide expérience en Spark et Scala et être capable de travailler efficacement dans un environnement anglophone et agile. Responsabilités : Migration des Jobs : Analyser et comprendre les jobs Talend existants. Concevoir et développer des équivalents en utilisant Apache Spark. Assurer une transition fluide des processus ETL de Talend à Spark en minimisant les interruptions de service. Tester et valider les jobs migrés pour garantir la précision des données et les performances requises. Développement et Optimisation : Développer des solutions de traitement de données à grande échelle en utilisant Apache Spark et Scala. Optimiser les performances des jobs Spark pour gérer efficacement de grands volumes de données. Collaborer avec les équipes de développement pour intégrer les solutions Spark dans les pipelines de données existants. Collaboration et Documentation : Travailler en étroite collaboration avec les équipes de data engineering, data science et autres parties prenantes pour comprendre les besoins et les exigences. Documenter les processus de migration, les architectures de solution et les meilleures pratiques. Participer aux réunions d'équipe Agile, contribuer aux rétrospectives et s'adapter aux changements de priorités. Support et Maintenance : Fournir un support technique pour les jobs Spark en production. Identifier et résoudre les problèmes liés aux performances ou aux erreurs de traitement des données. Mettre en place des processus de surveillance et d'alerte pour assurer la stabilité et la fiabilité des solutions mises en œuvre.

Nous recherchons pour une de nos clients basés à Paris, un consultant SAP BI pour une mission freelance (longue visibilité) Compétences techniques Stack HADOOP - Expert - Impératif Python - Expert - Impératif Connaissances linguistiques Français Courant (Impératif) Description détaillée Bonjour, Nous cherchons un lead technique pour encadrer une équipe Big Data. Le contexte fonctionnel est la lutte anti blanchiment, et voici les éléments essentiels: - Contribuer au affinage et au découpage des récits. - Étudier la faisabilité et chiffrer les récits. - Développer les briques des pipelines de données. - Développer les tests unitaires et assurer une couverture de + 70%. - Effectuer les tests de performances (tuning spark). - Préparer le déploiement en construisant les fichiers de configuration indispensables pour utiliser les outils devops mises en place. - Assurance de la maintenance corrective et évolutive du projet. - Préparer les instructions pour la MEP des évolutions/correctifs. - Suivi de production Environnement technique : Cloudera Data Platform,JAVA, SPARK, Hadoop, HIVE, HDFS,Sqoop, PostgreSQL, Oracle, shell, Unix, JUnit, SonarQube,Maven, XlDeploy, Jenkins, Artifactory, Gitlab, Confluence, JIRA,Eclipse. Il s'agit d'encadrer une équipe de 4 personnes. Des expériences précédentes dans un rôle de responsable technique sont requises. La mission est en plein coeur de Paris.

Cherry Pick est à la recherche d'un Analytics Engineer/Data Engineer pour l'un de ses clients dans le secteur du sport. Vos responsabilités:  Implémenter des solutions, à partir des règles fonctionnelles établies par le Product Manager / Data Owner  Vous documentez les règles de qualités décrites dans Collibra au préalable pour valider les datasets.  Vous partez des templates génériques pour construire des pipelines scalables de données structurées  Transformez la stack legacy vers la nouvelle stack recommandée par les équipes de la Data Platform  Répondre aux questions des utilisateurs ainsi que l’équipe de datavisualisation sur les données mises à disposition  Etre capable d’intervenir sur l’ensemble des flux de l’équipe  Documenter les flux implémentés.  Contribuer à l’amélioration des bonnes pratiques de développement au sein de l’équipe (Mob programming, Test Driven Development,..).  Contribuer à notre communauté de data analytics engineers. Compétences techniques souhaitées:  Vous comptez déjà une expérience sur l'environnement Big Data d’Amazon Web Services. Vous savez utiliser ses composants (Lambda,Redshift, S3) ainsi qu'optimiser leurs performances.  Vous avez déjà implémenté Apache Spark (PySpark/Scala)  Vous avez déjà implémenté DBT pour de la transformation de données  Vous avez déjà mis en place de l’ordonnancement via Airflow

Hanson Reganis recherche actuellement un Data Engineer (Python Azure) pour travailler avec une équipe de données existante sur une gamme de nouveaux projets passionnants et essentiels à l'entreprise. 2 jours par semaine sur site à Paris sont requis pour ce poste. Les candidats devront maîtriser Python (Spark), SQL et les requêtes SQL, les technologies Azure Cloud (Data Bricks et Data Facory) et Kubernetes. En raison des exigences de nos clients, nous ne pouvons accepter que les candidatures de freelances travaillant par l'intermédiaire de leur propre entreprise française. Malheureusement, nous ne pouvons pas accepter de solutions de portage pour ce poste. Si vous êtes intéressé, veuillez nous contacter dès que possible avec un CV à jour en utilisant les coordonnées ci-dessous.

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

En tant que Data Analyst ou Data Scientist (H/F), vous contribuez au sein de grands comptes bancaires, à l’analyse, le traitement et la restitution des données bancaires et financières. A ce titre, vous avez pour missions : Recueil et analyse des besoins Rassemblement et traitement des données chiffrées Nettoyage des données afin de supprimer les doublons Réalisation d’algorithmes pour les exploiter Conception et construction des actifs informatiques dédiés au management des données (Data préparation, Data visualisation) Conception et développement du code ou des scripts qui s’appuient sur des données structurées et non-structurées en provenance de différentes sources et qui alimentent les actifs informatiques dédiés à l’exploitation des données Participation aux campagnes de tests Installation et configuration des logiciels requis dans le respect du cadre de référence Maintenance des solutions et intervention en support lorsque nécessaire Documentation des use cases et des développements effectués

Voici au moins pour le 1er besoin, on recherche des ingénieurs de production en finance de marchés front-office pour faire du support technique sur les infrastructures. Il y a beaucoup de run (nombreuses demandes gestion des incidents, livraison) dans un environnement complexe (bcp de composants dans un système distribués windows/linux) , critique et dynamique (finance de marché) Horaire décalé + astreinte + weekend Contexte international (Asie, Us) D’autres éléments présentant le contexte : Mission technique dans un environnement riche techniquement permettant d’acquérir un verni fonctionnel : • Système distribué permettant la gestion de positions marchés dérivés action ou matières premières avec le Progiciel Sophis Risk au cœur. • Plus de 10 000 jobs dans l’ordonnanceur • Plusieurs milliers de cores de calculs (windows + linux) • Mise en œuvre(création) et gestion en autonomie des arrêts/relances, de la supervision, livraison, upgrade… • Investigation des incidents techniques, performance etc … • Expertise technique sur le progiciel Sophis et le pricer, test de disponibilité, performance … Sujets en cours (non exhaustif, pour exemple) : • Intégration des applications du périmètre vers les outils devops (cloud interne et/ou externe) , jenkins, xldeploy, xlrelease • Upgrade OS des serveurs windows vers win 2016 (migration des applications en autonomie sur plus de 500 serveurs windows) • Upgrade d’une solution maison de distribution de calculs • Développement d’un framework python d’intégration des résultats de calculs vers Hadoop (Spark/hive) • Upgrade majeur Sophis à venir, installation/configuration des composants

Contexte de la mission et livrables associés : Contexte de la mission : La direction des Systèmes d’information (GIT) est responsable de la conception, du développement, de la maintenance des applications et des systèmes ainsi que de la production informatique. Au sein de GIT, Capital Market IT gère le système d'information des activités de marchés de capitaux dans un contexte dynamique, innovant et international. La mission est émise par la « filière Transversale Risk et GMD » de Capital Market IT, et se déroule en deux phases : sur les applications legacy PIRAT et GV Risk, puis sur l’application MASAI. Livrables associés : Morning check Monitoring des batchs, applications et infrastructure Extraction de rapports en batch et sur demande d'utilisateur Documentation de support mise à jour en anglais Contribution au processus d'amélioration continue et à la réduction des problèmes (ITIL) Production quotidienne/hebdomadaire/mensuelle/trimestrielle/annuelle des chiffres par application MRI (notamment PnL, VaR, VaR Stréssée) Contribution aux supports pour les différentes instances de gouvernance produits à temps Suivi des plans d’actions d’amélioration continue de l’équipe Tickets maintenance à jour et correctement escaladés à la MOE Cadrage et spécifications des besoins du support Retour d’expériences des phases d'UAT et autres parallèles run Participation aux weekends de déploiement et autres activités. Périmètre de la mission : Primaire : MASAI FRTB (Hadoop distrib Horton Works), Spark Java, Spark SQL, HDFS, Hive, ELK + Control M, Grid computing IBM Symphony, Active Pivot, Active UI, Indexima, Tableau), grafana/Promotheus et prochainement Cloud. Secondaire : PIRAT, GVRisk (SQL, Unix, CTRLM) Business process : PnL, Pnl explain, Var, Var explain, stress, Sensies, risk limit monitrogin, irc, initial margin, frtb (standard approach) sur les activités de capital market Asset classes : Change, Taux, Credit, Actions, Trésorerie Localisations et population utilisateurs : Mondiale avec le site principal à Paris - environ 300 à 400 utilisateurs

Dans le cadre d'un renfort d'équipe chez l'un de nos clients : Nous recherchons un consultant Data / BI / Dataviz avec une expertise sur "Apache Superset" Missions principales : Configuration de dashboards superset : Création de dashboards dynamiques et interactifs pour répondre aux besoins spécifiques de l'entreprise Intégration de données provenant de différentes sources Mise en forme des données pour une visualisation claire et efficace Développement de plugins : Création de plugins personnalisés pour étendre les fonctionnalités de Superset Intégration de nouvelles sources de données Automatisation des tâches de reporting Informations complémentaires : Type de contrat : Prestation de service Début de mission : Immédiat Lieu de travail : Castres / Full Remote

Role description : Vos fonctions seront : - Présentation de la solution Dynatrace aux équipes - Cadrage et qualification des besoins des besoins - Etude de la capacité de Dynatrace à surveiller les applications (desktop/mobile/web) - Rédaction des chiffrages et devis aux entités - Veille technique récurrente : révision et mise à jour des agents et/ou composants (Extension, ActiveGate) - Healthcheck Bilan de santé : détection et escalade des problèmes applicatifs récurrents et des régressions de performance - Recommandation d'optimisation des performances des ressources - Reporting mensuel sur l'activité Dynatrace - Configuration de la plateforme Votre profil : De formation BAC+5, Vous justifiez d’une expérience de 5 ans minimum à un poste de spécialiste dynatrace Environnement technique : - Système Linux - SGBD : MS SQL, Oracle, MySQL, PostGres - MiddleWare : Apache, Tomcat

Pour un démarrage sous un mois environ, nous recherchons un(e) intégrateur technique d'application freelance très expérimenté pour intégrer les application web chez notre client, en lien avec la production et les équipes de développement. Très Important : le profil recherché n'est pas un ingénieur de production qui gère des procédures d'intégration applicative mais un consultant habitué à être intercalé entre les équipes de développements et la production et qui prépare les documents d'installation. de plus il doit être expert et parfaitement autonome avec beaucoup d'expérience sur Tomcat / Apache. Pas de Devops dans le périmètre. Astreintes possibles soir et week-end - répartition selon l'équipe Livrables sont : - Dossier d'installation - Composants applicatifs -Configuration applicative Description détaillée - Capable de configurer/installer tomcat manuellement sur windows ou linux - Capable d'analyser les logs tomcat en cas d'erreur - Capable de configurer/installer manuellement un serveur httpd - Capable d'analyser les logs httpd en cas d'erreur - Savoir évoluer dans un environnement linux - Récupération des livrables de développement sur les outils de Gestion de configuration (SVN, GIT) - Installation des packages sur les plateformes de tests - Qualification des packages sur les plateformes de tests selon les normes en vigueur - Vérification de la conformité des applications vis à vis des contraintes de production - Rédaction et validation des documents d'installation et d'exploitation - Rédaction et exécution des plans de tests techniques - Assistance et support technique à la mise en production - Communication avec l'équipe projet - Reporting

Rôle hybride : 2-3 jours sur site En tant qu'expert Apache Flink, vous serez responsable du développement et de la maintenance des applications Flink. À propos de l'optimisation des performances Résolution des problèmes qui peuvent survenir Développement et maintenance des applications Apache Flink Optimiser les performances et assurer l'évolutivité Dépanner et résoudre tous les problèmes De solides compétences en programmation Java ou Scala sont requises Une expérience avec d'autres technologies Big Data telles que Hadoop et Spark est un plus.