Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Le Data Engineer est un développeur au sein de l’équipe Data Delivery de la Data Factory, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée. Cette Factory est dédiée au service du clientet de ses équipes (Data and AI office, Tribus, Business, Transformation Office etc.), afin de fournir, les plateformes Data et les données nécessaires aux équipes chargées de délivrer les cas d’usages, puis les déployer et les maintenir en conditions opérationnelles. Vous serez directement rattaché(e) au Responsable de l’équipe Data Delivery au sein du Data and AI Office Vous allez contribuer directement aux projets des directions métier (ex : Fraude santé, Pricing IARD, Optimisation du lead management, Fragilité Auto, …) La Direction Transformation Digital Tech : - Une organisation agile en feature teams : tribus, guildes, squads - Des projets sur des applications innovantes à fort trafic (web, mobile…) - Des méthodologies craft (TDD, BDD, clean code, code review…) et DevOps - Une communauté de partage de bonnes pratiques (BBL, dojo, meetup, conf…) Votre rôle et vos missions : Initiation au développement de projets Big Data demandés par le métier en mode Agile, et notamment : • Passer de la donnée brute à de la donnée exploitable, exposée sous forme de tables requêtables dans le Datalake • Consolider ces données au fur et à mesure de leur alimentation récurrente dans le Datalake • Les exploiter pour atteindre la finalité business (exposition de Business View, réintégration des résultats dans le SI, service de scoring, …) • De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.)

Nous recherchons un Test Lead Senior pour travailler au sein de la Tribu Finance / Domaines Risques pour intervenir sur l’outil Extractor. Extractor est un outil de construction des models points d’actifs, qui sert pour les travaux d’arrêtés Solvabilité 2 ainsi que pour diverses études et demandes internes émanant du Groupe et du régulateur. A son arrivée, le testeur commencera par travailler sur la refonte d'Extractor qui permettra de sortir d'un client lourd accessible via citrix pour basculer vers une solution datalake (les développements sont réalisés par une équipe interne). Une fois cette bascule mise en œuvre, des versions seront agendées pour faire évoluer l'application en fonction des besoins métiers, du réglementaire, … Nous souhaiterions également que le Test Lead (au-delà de ses activités de testeur) puisse endosser le rôle de Scrum Master pour mettre en place et suivre les bonnes pratiques Agile (participation au découpage des versions, à la mise en place des rituels Agile, des livrables, …). Il devra être également un référent pour acculturer son équipe aux bonnes pratiques de test. == Activités prises en charge : Mise en place des stratégies de test Conception des tests et exécution Gestion des anomalies Production des KPI de suivi de l’activité de test Rédaction des PV de fin de phase Respect des processus de test définis par la Guilde et utilisation de l’outillage de test préconisé (ex : X-Ray) Organisation des campagnes de tests en pilotant / intégrant des acteurs métier Être force de proposition sur une automatisation éventuelle de tests et sur une amélioration continue des pratiques de test Mise en place et suivi des pratiques Agile Mise en place d’une documentation pour capitaliser sur le périmètre de test Expertise souhaitée == Compétences techniques minimales requises : Maitrise d’Excel Connaissances en Python/Pyspark, Azure, Datalake… Maitrise de JIRA et X-Ray

Bonjour, Pour un de mes clients, je suis à la recherche Profil Teradata & PySpark | Pour une Mission Long Terme. 📍 Lieu : 2 jours de déplacement par semaine à Tours (reste en télétravail) 📅 Durée : 6 mois renouvelables (long terme) 🕒 Disponibilité : ASAP 🌍 Langue : Bon niveau d’ anglais requis 🔹 Compétences requises : ✔ Expertise Teradata ✔ Maîtrise de PySpark ✔ Expérience en traitement et manipulation de données à grande échelle ✔ Capacité à travailler en environnement international Je reste à disposition pour toutes informations complémentaires. Bien cdt,

Il définit les politiques de l’IT et coordonne leur mise en place. GIT regroupe l’ensemble des DSI en charge du développement et de la production des systèmes d’information et des infrastructures technologiques de la Banque. Afin de répondre aux exigences réglementaires de lutte anti blanchiment la l'équipe mène un programme de déploiement de son dispositif de monitoring. Mission au sein, qui intervient sur le Programme AML, notamment à travers de solutions editeurs framework IA et des solutions packagées d’AML intégrant des capacités de machine learning. Mission à Montrouge

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance. (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Nous recherchons pour le compte de notre client dans le domaine bancaire, un ingénieur python / PySpark Contexte : Au sein de l'équipe en charge des Outils Analytiques Avancées qui assure l’accompagnement client, la réalisation de POC, le déploiement des outils analytiques, leur administration et leur support. : R & Python : offre d’outils de développement, principalement Rstudio (Desktop et Server) et Jupyter, Vscode pour R, Python et Spark (SparkMagic) mais également Stata et Matlab. Missions : administration technique (préparation, déploiement et maintenance des environnements) pour assurer la mise à disposition d’environnements de développement pour de nouveaux projets en adéquation avec les contraintes d’intégration à l’architecture technique, le maintien en condition opérationnelle des plateformes mises à disposition support aux utilisateurs. Elle inclut également la qualification de nouvelles versions ainsi que l’étude d’un passage vers une plateforme Cloud. Les travaux sont suivi avec une méthodologie SAFe

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance. (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Expertises spécifiques : Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Genious Systèmes recherche pour son client un(e) Développeur Python-Pyspark/Jupyter-VSCode F/H Assurer le maintien en condition opérationnelle des environnements Jupyterhub, Vscode, Sparkmagic (Livy) Ajout de nouveaux laboratoires avec les versions homologuées à la BDF Tests de bon fonctionnement et support aux utilisateurs Support aux utilisateurs sur Python, PySpark: Aide à la prise en main de l’outillage Support quotidien aux utilisateurs Résolution d’incident Assistance aux utilisateurs lors des montées de version Définition des bonnes pratiques de développement Upgrades des versions langage Python et logicielles IDE Jupyterlab, VScode Qualification des nouvelles versions des solutions actuelles Assistance pour le packaging de ces déploiements Etude de la solution qui sera retenue pour la création et la distribution des applications dans le cadre de la plateforme Cloud LIVRABLE : Rédaction de modes opératoires et mise à jour de la documentation Ouverture des tickets auprès des services concernés Suivi des tickets des utilisateurs Suivi des tickets des utilisateurs Compte-rendu Plan d’actions Rédaction de documentation et de best practices Animation d’ateliers ou webinaires Déploiement en environnement de qualification Documentation Participation aux POCs fonctionnels, techniques Participation à l’évaluation des POCs

Maintien en Condition Opérationnelle (MCO) des environnements : Gérer et administrer les environnements de développement (JupyterHub, VScode, Sparkmagic, etc.). Ajouter de nouveaux laboratoires avec les versions homologuées par le client. Assurer la stabilité et le bon fonctionnement des plateformes existantes. Mettre en place des tests de bon fonctionnement. Support Utilisateurs : Apporter un support technique aux utilisateurs sur Python, PySpark et les outils associés. Aider à la prise en main des outils et résoudre les incidents rencontrés par les utilisateurs. Fournir une assistance lors des mises à jour et des montées de version des environnements et outils. Assurer un suivi des tickets utilisateurs et rendre compte de l’évolution des actions. Déploiement et Gestion des Versions : Qualifier les nouvelles versions des solutions logicielles (Python, Jupyterlab, VScode, etc.). Mettre en place des upgrades des versions des outils analytiques et des environnements. Assurer l'intégration et la configuration des nouvelles versions dans l'architecture existante. Documentation et Formation : Rédiger des modes opératoires et mettre à jour la documentation technique. Créer et maintenir des guides de bonnes pratiques de développement. Organiser des ateliers ou des webinaires pour les utilisateurs. Etude et Pilotage de Projets Cloud : Participer à l’étude et à la définition de la solution Cloud pour le déploiement des outils analytiques. Participer aux POC techniques et fonctionnels pour la plateforme Cloud. Contribuer à l’évaluation des résultats des POCs et à leur intégration dans les processus de développement.

Vous assurez la maintenance en condition opérationnelle des environnements Jupyterhub, Vscode, Sparkmagic (Livy)(garantir le bon fonctionnement, gérer les incidents, et optimiser les configurations techniques, intégration des versions homologuées, tests de fonctionnement et support aux utilisateurs). Vous assurez le support quotidien aux utilisateur sur Python, PySpark (résolution d'incidents, aide sur la prise en main et lors des mises à jours, formations, rédaction de compte-rendus). Vous assurez la mise à jour des nouvelles versions du langage Python ainsi que des logiciels IDE, tels que JupyterLab et VSCode (qualification et validation, support pour la préparation et le déploiement des mises à jour, rédaction de la documentation). Vous étudierez la solution qui sera sélectionnée pour la création et la distribution des applications sur la plateforme Cloud. Vous participerez aux POCs (Proof of Concept) fonctionnels et techniques, ainsi qu’à leur évaluation, en fonction des besoins identifiés.

Missions Dans un environnement en pleine transformation avec des évolutions technologiques rapides, vous rejoindrez une équipe au sein des Services (TGITS). Cette équipe gère la construction et le support de la plateforme Data & Analytics utilisese par l’ensemble des entités Nous recherchons spécifiquement un(e) DevOps pour renforcer notre équipe. Administration, Mise en place de traitement de données. Infra, Admin et exploitation. Construction de data pipeline - Langues : Anglais et Français Rôles et responsabilités En tant que membre de la squad Data and Analytics Platform, vous participerez aux activités suivantes : • Conception de la Data & Analytics Platform • Évolution des infrastructures cloud via l’Infrastructure as Code • Gestion d’un cluster kubernetes • Développement de micro-services en Python et C# • Conception et maintenance de chaînes de déploiement automatisé • Assurer le bon fonctionnement opérationnel de la Data & Analytics Platform • Enrichissement de la documentation à l’attention des utilisateurs

Nous recherchons un expert en Big Data avec une bonne compréhension des architectures distribuées et une maîtrise de Spark/PySpark et Hadoop. Une expérience en gestion de production et en CI/CD est un vrai plus. L'équipe développe et gère un DataLake (FinLake) utilisé par les équipes IT et les métiers. Missions Assurer la gestion de la production (supervision, monitoring, correction des incidents). Réduire la dette technique en optimisant et en modernisant les solutions existantes. Revoir l’ architecture actuelle et proposer des améliorations. Développer des solutions data adaptées aux projets IT et métiers.

Au sein du département IT, la DSI a pour vocation de fournir aux services Technologies & Opérations (pôles Global Business Management and Transformation (GBMT), WorkPlace, CIO Office Groupe) et Banque de Proximité et Assurance (BPA), l’ensemble des applications nécessaires à leur fonctionnement. Le département CIO Office Groupe a lancé un programme stratégique qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake CIO Office a également pour vocation de devenir la brique centrale de l'architecture du SI CIO Office.

VOTRE QUOTIDIEN RESSEMBLERA A… Vous rejoignez notre client et interviendrez sur l'alimentation des datamarts. A ce titre, vous serez en charge de : Comprendre l’activité et les attentes des utilisateurs, en lien avec la MOA et les équipes métiers. Appréhender le SI de production et échanger avec les équipes techniques pour assurer une bonne intégration des solutions. Structurer les données via des modèles adaptés (ex : schéma en étoile, tables de dimensions). Développer des traitements d’alimentation Concevoir et modéliser des schémas de données. Créer et alimentation des datamarts (ex : via DBT). Mettre en place de processus CDC. Gérer les anomalies et assurer la maintenance Accompagner les équipes métiers et rédiger la documentation technique. Environnement Technique : Business Object, BI, Semarchy, Talend, AWS, Amazon RedShift, PySpark, SQL, Power Designer Le poste est basé à Nantes (44) . Dans le cadre de vos fonctions, vous pourrez bénéficier de 1 jour de télétravail par semaine après votre période d'intégration.

Notre client a lancé un large programme de transformation autour des données et de l’Intelligence Artificielle dans un contexte de transformation globale de sa DSI. La mission consiste à être en mesure de leader plusieurs Data Engineers afin de livrer le maximum de valeurs, tout en respectant les principes d'architecture. Votre rôle sera de participer avec les Tech leads & Développeurs Seniors des autres comptoirs des données, à l'harmonisation du socle comptoirs des données, ainsi que le déroulement de la roadmap des décommissionnements des applications legacy du socle.