Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

Data Engineer Python Spark - Confirmé client Banque basé à Paris Gare de Lyon, un Data Engineer - Confirmé avec un minimum de 4 ans d’expériences. Localisation Paris 12e/ Télétravail Durée de la mission : 2 ans Projet : Contribuer à la Fabrication des Produits des équipes dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) Contribuer à la fabrication d'un entrepôt de données interne dans un environnement Python - PostGresql Etre force de proposition et expertise sur les techno manipulées Principaux livrables : Développer les cas d'usages Data Participer à la définition de l'architecture Data (en lien avec les architectes et les équipes) Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code Compétences requises : Python (requis), Spark - spark streaming et batch (requis), Kafka (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Autonomie, Adaptabilité, Bonne communication (lien direct avec les PO ou DEV), Apprécié - activités BI : BDD Teradata, xDI, SQL Data viz : Microstrategy

Nous recherchons un(e) développeur(se) python passionné(e) pour rejoindre notre équipe et contribuer à la création de pipelines d'orchestration des modèles ML (preparation de features, training, tunning et inférence). Ces pipelines de données permettent aux Quants & Data Scientist d'industrialiser l’utilisation des modèles ML avancés dans les processus de prévision de la consommation et de la production d'énergie. Le profil idéal est : - Un(e) data engineer maîtrisant Python/Spark qui comprend les enjeux du MLOps - Un(e) passionné(e) du développement Python, capable de jongler avec les bibliothèques et les frameworks. - Un(e) passionné du développement capable de travailler avec les Quants et Data Scientists pour résoudre des problèmes relatifs au cycle de vie des modèles de MachineLearning (e.g. mise en place de pipelines d'entraînement). Le poste requiert une maîtrise avancée de Python et Spark. Une expérience préalable autour de Databricks, des Feature Stores / Model Registries est un plus.

Nous recherchons un(e) développeur(se) python passionné(e) pour rejoindre notre équipe et contribuer à la création de pipelines d'orchestration des modèles ML (preparation de features, training, tunning et inférence). Ces pipelines de données permettent aux Quants & Data Scientist d'industrialiser l’utilisation des modèles ML avancés dans les processus de prévision de la consommation et de la production d'énergie. Le profil idéal est : - Un(e) data engineer maîtrisant Python/Spark qui comprend les enjeux du MLOps - Un(e) passionné(e) du développement Python, capable de jongler avec les bibliothèques et les frameworks. - Un(e) passionné du développement capable de travailler avec les Quants et Data Scientists pour résoudre des problèmes relatifs au cycle de vie des modèles de MachineLearning (e.g. mise en place de pipelines d'entraînement). Le poste requiert une maîtrise avancée de Python et Spark. Une expérience préalable autour de Databricks, des Feature Stores / Model Registries est un plus. Contexte Le groupe a récemment entrepris de créer une plateforme dédiée au forecasting, qui s’appuie sur l’intelligence artificielle, le big data et les données météorologiques pour optimiser la gestion des risques et la performance des activités Supply et Renewables.

💡 Contexte /Objectifs l'entité est en charge des développements liés aux applications sources, de contrôle et de valorisation des instruments, des données de marchés et des facteurs de risques. - MDx Datalake : une application qui copie les données MSD et MATRIX sur le Cloud public (Azure) à des fins analytiques. 💡 Objectifs et livrables Les enjeux étaient nombreux :  Volumétrie de données  Performance / Multi-Threading  Data Quality  Legacy Management  Large éventail de technologies à maîtriser : o Etudes techniques o Refonte technique et refonte de l’architecture du projet o Migration On-Premise vers Azure o Optimisation des performances o Amélioration du Code Quality o Mise en place des process CI/CD o Mise en place du monitoring o Diverses implémentations et migrations techniques de composants déployés dans Azure (AirFlow, Migration Blue/Green, etc…)

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Conception et développement de pipelines de données : Concevoir et développer des pipelines de données robustes et évolutifs utilisant Apache Spark et d’autres outils Big Data. Intégrer et transformer des données en temps réel ou en batch à partir de sources variées (bases de données, APIs, fichiers plats, etc.). Implémenter des solutions de traitement de données massives, principalement avec Spark (Scala et Python). Optimisation et maintenance : Assurer l'optimisation des performances des pipelines de données (gestion des ressources Spark, optimisation des requêtes, réduction des latences, etc.). Maintenir et améliorer la fiabilité des processus de traitement de données et des infrastructures associées. Automatisation des processus : Mettre en place et gérer des workflows d’automatisation des tâches avec Apache Airflow . Automatiser le déploiement et l'exécution des pipelines de données à l'aide de Jenkins . Collaboration avec les équipes de data science et d’infrastructure : Collaborer avec les data scientists pour comprendre les besoins en données et optimiser leur accès. Travailler étroitement avec les équipes d’infrastructure pour assurer la stabilité et la scalabilité des pipelines de données. Veille technologique : Se tenir informé des évolutions des technologies Big Data et des bonnes pratiques pour intégrer de nouvelles fonctionnalités dans les pipelines. Langages de programmation : Scala et Python : Expérience confirmée dans la programmation de pipelines de données en Scala (pour Spark) et en Python. Technologies Big Data : Apache Spark : Maîtrise de Spark pour le traitement de données massives, avec une compréhension approfondie de ses API en Scala et Python. Apache Airflow : Expérience avec la gestion et l'orchestration de workflows de données dans un environnement de production. Outils de CI/CD : Jenkins : Expérience avec Jenkins pour l’automatisation des déploiements et des tests des pipelines de données. Bases de données et gestion des données : Connaissances solides des bases de données relationnelles (SQL, PostgreSQL, etc.) et NoSQL (Cassandra, MongoDB, etc.).

💼 Poste : Data Engineer Scala Spark Hadoop 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite une assistance dans le cadre de la mise en œuvre d'une assiette commune pour les usages Finances et Risques, plus particulièrement sur les données Evènements. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : L’architecture avec le reste de l’entité (tech lead, devs, architecture). Mise en œuvre/Développement des propositions techniques. Revue de code. Suivi des méthodologies agiles. L'industrialisation des développements et des tests sur de l'open source Environnement anglophone. Livrables attendus Les livrables attendus sont : Développements et tests (en TDD) en mode Agile pour répondre au cas d'usage métier et déployable en environnement de production. PVs techniques Chiffrage de projets et évolutions Design de solution 🤝 Expertises spécifiques : Continuous Integration Hadoop (Big Data) Scala Spark

💼 Poste : Tech Lead Java Spark référence 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Notre client souhaite mettre en œuvre le volet transformation du système d'information du programme d'amélioration du dispositif de pilotage et de certification de l'assiette risques structurels dont les objectifs sont : Amélioration et accélération de la constitution de l'assiette risques structurels La certification de cette assiette risques structurels cohérente comptable Renforcer la remédiation en termes de qualité de donnée et réduire le nombre d'ajustements manuels Notre client souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre notre client souhaite bénéficier de l'expertise du Prestataire en termes de conception et développement. Dans ce cadre, la prestation consiste à contribuer à/au(x): L’instruction et le cadrage technique des projets, L’implémentation de solutions techniques en méthodologie agile Environnement technique : Java (Spark est un gros plus, Python est un plus) Devops : Ansible, Jenkins, GitHub Actions, Sonar, Artifactory Big Data & Cloud : Cloudera CDP, Apache stack (HDFS, Oozie, Yarn) Data : Oracle DB, PostgreSQL, Hive, Elastic Search, REST APIs Livrables attendus Les livrables attendus sont : Notes de cadrage techniques Spécifications techniques Support et développement sur toutes les releases 2024-2025 🤝 Expertises spécifiques : Agile Scrum Ansible Artifactory Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Elastic Search & Kibana Hive Java Jenkins Oracle Database Enterprise Server PostGreSQL REST Scripting (GuitHub, Ansible, AWX, shell, vba) Sonar

💼 Poste : Développeur Concepteur Big data Talend 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département exerce 3 missions principales : Garantir des services opérationnels d'excellence : sécurité des SI et maîtrise des risques opérationnels, qualité de la production informatique et pérennisation du SI. Délivrer des solutions SI innovantes, orientées clients, pour construire la banque relationnelle et digitale de demain . Améliorer son efficacité opérationnelle, en réponse aux enjeux d'agilité et de time to market, et optimiser les coûts informatiques. Le Bénéficiaire souhaite avoir une expertise en développement sur l'écosystème BIG DATA. A ce titre, le Bénéficiaire souhaite avoir l’expertise du prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - développements d'usages BIG DATA : Conception technique des développements Supervision des traitements en place Cérémonies agile (méthode Scrum) Livrables attendus Les livrables attendus sont : Dossier de conception Programmes versionnés Documentation projet nécessaire aux MEP 🤝 Expertises spécifiques : Les expertises attendues pour réaliser cette prestation sont listées ci-après : Agile Scrum Environnement Cloudera Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Hadoop (Big Data) HiveQL, scripting shell, environnmnent Conda Spark (PySpark), (gestion de volumes de données importants) Talend (Data integration, Big Data)

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Nous recherchons un(e) développeur(se) python passionné(e) pour rejoindre notre équipe et contribuer à la création de pipelines d'orchestration des modèles ML (preparation de features, training, tunning et inférence). Ces pipelines de données permettent aux Quants & Data Scientist d'industrialiser l’utilisation des modèles ML avancés dans les processus de prévision de la consommation et de la production d'énergie. Le profil idéal est : - Un(e) data engineer maîtrisant Python/Spark qui comprend les enjeux du MLOps - Un(e) passionné(e) du développement Python, capable de jongler avec les bibliothèques et les frameworks. - Un(e) passionné du développement capable de travailler avec les Quants et Data Scientists pour résoudre des problèmes relatifs au cycle de vie des modèles de MachineLearning (e.g. mise en place de pipelines d'entraînement). Le poste requiert une maîtrise avancée de Python et Spark. Une expérience préalable autour de Databricks, des Feature Stores / Model Registries est un plus. Contexte Engie est un acteur majeur de la transition énergétique vers la neutralité carbone, qui investit massivement dans la digitalisation et la modernisation de son système d’information. Le groupe a récemment entrepris de créer une plateforme dédiée au forecasting, qui s’appuie sur l’intelligence artificielle, le big data et les données météorologiques pour optimiser la gestion des risques et la performance des activités Supply et Renewables.

Dans le cadre de la transformation de son activité Décisionnel, le client recherche un Chef de projet SAS H/F pour l’accompagner sur deux sujets de transformation (à mi-temps) : - Migration des utilisateurs SAS de Teradata vers Hadoop - Appel d’offre, choix et acquisition d’un nouvel outil en vue de remplacer SAS Le chef de projet H/F pilotera l’activité de transformation avec une équipe dédiée, sur Lyon et sur Paris. Des déplacements sont donc à prévoir dans le cadre de ce pilotage. Vous accompagnerez le client sur la migration vers SAS-Hadoop, et le process d’acquisition d’un nouvel outil en vue de remplacer SAS dans les prochaines années. Un premier benchmark de solution du marché est en cours de réalisation avant de démarrer le projet, avec un recensement des cas d’usages utilisateur. Fort de votre expérience sur cette technologie et de vos compétences en gestion de projet, vous piloterez le projet par les jalons, gérerez les risques et alerterez la hiérarchie en cas de glissement. Vous devrez également préparer et animer la comitologie du projet de transformation SAS. Rattaché(e) au responsable Transformation Décisionnel, vos principales missions sont : Faire un état des lieux technique et fonctionnel de l’existant Mener des entretiens utilisateurs afin de faire un état des lieux des usages SAS et les besoins futurs Accompagner les utilisateurs dans la migration de SAS-Teradata vers SAS-Hadoop, et piloter ce plan de migration Planifier et suivre l’avancement des travaux liés à la transformation Gérer les risques inerrants au projet, Préparer et animer les différents comités (Comité suivi, Comité opérationnel ,.. ) Assister le responsable Transformation Décisionnel pour la préparation des comités de pilotage Jouer un rôle de conseil sur les bonnes pratiques en termes de gestion de projet, ainsi que sur les fonctionnalités SAS à utiliser dans Hadoop. Accompagner les utilisateurs sur les aspects techniques de SAS. Être amené(e) à coordonner les différentes équipes techniques, recette et métier tout au long de la phase de migration Piloter les démarches pour le choix et l’acquisition d’un nouvel outil, en relation avec l’ensemble des parties prenantes Rédaction de documents de synthèse sur les deux périmètres Rédaction et dépouillement des appels d’offre A noter que cette mission est à pourvoir à mi-temps. Environnement technique SAS Teradata Python et le stack Cloudera (HDFS, Hive, Spark, Impala, HBase, …), pour des usages Big Data

Bonjour, Nous recherchons pour notre client grand compte un Product Owner Big Data . Nous étudions - prioritairement - les candidatures qui nous sont adressées par MAIL à [freelance à insyco . fr] avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin ci-dessous CV à jour au format Word Date de prochaine disponibilité Tarif journalier Merci d'indiquer la référence KTR/POB/4607 dans l'objet de votre mail Contexte de la prestation Notre client, un acteur majeur du numérique, optimise la valorisation de ses données grâce à une Data Platform structurée en trois zones : Bronze : collecte, nettoyage, centralisation, et exposition des données brutes. Silver : transformation des données brutes en données raffinées pour répondre aux besoins métier. Gold : exploitation des données raffinées pour des cas d’usage avancés, tels que le pilotage, la personnalisation et la data science. L’équipe Big Data, responsable de la zone Bronze, joue un rôle clé dans la gestion, la validation et l’optimisation des données brutes. Le Product Owner recherché devra collaborer avec des équipes pluridisciplinaires pour garantir l'alignement des développements avec les besoins métier. Objectifs de la prestation Collecter et prioriser les besoins : Cadrer les besoins et les objectifs pour et avec chaque partie prenante : analyser et cadrer les exigences, puis les prioriser pour élaborer des user stories claires et pertinentes. Maintenir le backlog produit à jour en fonction des priorités et des besoins des parties prenantes Identifier les améliorations en continu sur les produits et processus de l’équipe Suivre et analyser les indicateurs de performance pour évaluer l'impact des évolutions et ajuster les priorités Gestion du produit : Coordonner les différentes étapes de développement, de l'idéation à la réalisation Rédiger et recetter les user stories en fonction des besoins Prioriser et hiérarchiser les différentes fonctionnalités du produit à développer et à décommissionner Accompagner les équipes techniques pour garantir la qualité du produit et la valeur apportée aux utilisateurs Identifier des opportunités d'amélioration continue pour optimiser la performance et l’efficacité du produit et des processus Améliorer l’exploitation et le maintien des produits en production. Assurer une veille technologique continue pour intégrer les meilleures pratiques et technologies afin d'améliorer la plateforme Définition et communication de la vision produit : Définir et maintenir une roadmap à jour avec les jalons clés et coordonner les différentes parties prenantes Animer et communiquer sur les évolutions liées à la vision du produit Collaboration avec les équipes pluridisciplinaires : Les équipes Data Platform : Data Domain, Pilotage, Personnalisation, Recommandation Les équipes en charge de la Gouvernance et de la conformité des données Les Chefs de Projet technique de la direction numérique

Merci de bien lire la fiche de poste, surtout au niveau de la séniorité demandé sur les environnements technologiques Niveau d’expertise attendu pour la réalisation de la prestation : Senior : plus de 6 ans d’expérience significative dans le type d’expertise demandé) Confirmé : Un minimum de 4 ans d’expérience est attendu. Le département Data IA (DaIA) a la charge de mettre à disposition des métiers, un socle technologique transverse permettant de mettre en production et industrialiser les cas d’usage Data et IA, en développant notamment, une plateforme d’enrichissement des métadonnées des contenus ( IA & GenAI). Dans ce cadre, le DaIA, a besoin d’une prestation en Data Ingénierie pour : la conception, la construction et la gestion de l’infrastructure AWS. Activités principales de la prestation : • Développement de la plateforme de micro-services AWS • Industrialisation des cas d’usage métiers du groupe en lien avec les médias • Gestion de la qualité, la fiabilité et l'accessibilité des données • Développement des pipelines de traitement de données avec orientation média • Collaboration avec les équipes de Data Science pour comprendre les besoins en données et mise en place des solutions appropriées • Maintenir et optimiser des systèmes de données existants

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Participer à des projets de data engineering basés sur un framework méthodologique Développer, industrialiser et maintenir des pipelines de données (principalement ETL et ML) Effectuer de l’exploration de données et du prototypage rapide Mettre en application les meilleures pratiques : versioning, tests automatisés, CI/CD Participer activement à l’automatisation des infrastructures basées sur des services de Cloud Computing Implémenter des architectures de type Lakehouse pour casser les silos Déployer des algorithmes de machine learning at scale et sur des flux de streaming Collaborer avec l’ensemble des équipes depuis les spécifications fonctionnelles jusqu’aux validations métiers des solutions implémentées Contribuer à la mise en place de méthodologies Agile de type Scrum