Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Dans le cadre d’une transformation technologique majeure, nous recherchons un Consultant Data Engineer spécialisé en PySpark et Power BI, avec une solide expérience en décommissionnement de SAS, pour accompagner notre client dans une mission stratégique. Votre rôle principal sera de migrer les processus existants de SAS vers PySpark sur une infrastructure Azure , tout en assurant une documentation claire et exhaustive pour une reprise par une équipe novice. Power BI sera utilisé pour la visualisation des données . Migration des programmes SAS : Réécriture et optimisation en PySpark sur Azure. Documentation et qualité du code : Rédaction détaillée des étapes et respect des standards de codage. Formation des équipes : Accompagnement d’une équipe novice en PySpark pour une prise en main autonome. Mise en œuvre de dashboards Power BI : Création de tableaux de bord interactifs et adaptés aux besoins métiers. Gestion des délais : Respect de l’échéance stratégique pour le décommissionnement de SAS d’ici fin 2024.

Descriptif de la prestation - Réalisation des prestations chez le client - Participation à la rédaction des livrables - Participation aux réunions Contexte & Objectifs de la prestation Le groupe est engagé depuis de nombreuses années dans la mise en place la mise place d'une IA responsable et éthique Dans le cadre de sa Gouvernance sur les Systèmes d'Intelligence Artificielle, un besoin de mieux outiller les équipes en charges des produits de DataScience/IA pour garantir une mise en conformité homogène aux principes et procédures d'IA éthiques et responsables défines. le groupe est à la recherhce d'une experise datascientist pour automatiser l'ensemble des travaux d'analyse de biaias / discrimination et de suivi de performance des systèmes d'IA mis en oeuvre. Nature et étendue de la prestation Malakoff Humanis a défini des procédures et des guidelines décrivant les attendues et les points de contrôles sur les différents étapes du cycle de vie de ses Systèmes IA. Afin d'assurer une application homoègne et efficace de ces procédures, il es nécessaire de les automatiser et de les intégrer aux outils destinés aux DataScientist. La prestation vise à produire des outils de DataScience (Notebook), s'intégrant facilement dans l'environnement de développement (Dataiku). Ces outls devant s'adapter à des problématiques de gestion d'importants volumes de données; pour répondre aux procédures - sur l'identification et d'analyse des biais et discrimination et - pour les centraliser les résultats relatifs aux procédure sur les performances et leurs suivis. Livrables attendus & planning Livrables attendus - Notebook Biais et Discrimination - Notebook Performnce et suivi Ces notebook doivent s'intégrer à l'environnement MH et outil de datascience (Daiku) Les travaux se déroulerons à partir de mi octobre et jusqu'a fin décemblre 2024

Nous recherchons pour notre client, grand compte, un Data Scientist confirmé pour une mission longue durée Notre client figure parmi les principaux gérants d'actifs mondiaux assurant la gestion active d'actions, d'obligations et de taux, la gestion passive de fonds indiciels ainsi que la gestion d'actifs non liquides (actifs immobiliers et dettes privées). Prérequis : Data Science : Apprentissage automatique et analyse de données Pratiques MLOps Déploiement de packages Python PySpark Pratiques LLMs LLMOps Rigoureux, organisé, Proactif

Objet de la prestation Nous recherchons Un Data Engineer expérimenté H/F pour accompagner la mise en production de "data products" sur une plateforme d'analytics Databricks. Le candidat idéal aura un profil de développeur Python orienté data avec une expérience sur le traitement de grande volumétrie de données. Le candidat devra être capable d’intéragir avec des datascientists et avoir une bonne compréhension des principes algorithmiques. Le travail consiste, entre autre, à reprendre et industrialiser des preuves de concept (PoCs) développées par notre centre de recherche et de les déployer sur la plateforme Databricks. Activités · Participer avec l’équipe technique à la mise en place de la gouvernance de la platforme · Collaborer (en anglais) avec les chercheurs pour comprendre les algorithmes existants · Implémenter les pipelines d’ingestion de données brut · Implémenter et optimiser les algorithmes de traitement en pyspark · Suivre les jobs en production

Imaginez-vous au cœur de l’action, travaillant pour un acteur majeur du secteur bancaire ! Dans le cadre d’un renfort d’activité, nous recherchons un Data Scientist MLOps H/F en Freelance, spécialisé dans le développement et le déploiement et modèles d’apprentissage automatique. Vous jouerez un rôle clé dans la mise en place et la gestion des pipelines Machine Learning. En tant que Data Scientist MLOps, vous serez en charge de : Développer et déployer des modèles d’apprentissage automatique Mettre en place et gérer des pipelines Machine Learning (MLOps et LLMOps ) Contribuer aux projets de Data Engineering impliquant PySpark Créer et maintenir une documentation détaillée des processus et solutions Assurer la qualité et la performance des modèles déployés

En tant que Senior Data Engineer Azure, vous jouerez un rôle clé dans la conception, l'implémentation et l'optimisation des solutions de données cloud. Vous travaillerez en étroite collaboration avec les équipes de développement, les data scientists et les analystes pour construire et maintenir une architecture de données robuste et scalable. Concevoir et développer des pipelines de données sur la plateforme Azure en utilisant des technologies telles qu’Azure Data Factory, Databricks, Synapse, etc. Garantir la qualité, la sécurité et la gouvernance des données. Optimiser les performances des bases de données et des entrepôts de données. Collaborer avec les équipes métiers pour comprendre les besoins en données et concevoir des solutions adaptées. Assurer la maintenance, la supervision et le monitoring des pipelines et des flux de données. Réaliser des audits techniques et des revues de code pour garantir les bonnes pratiques en matière de développement de données. Assurer une veille technologique et recommander des évolutions architecturales et technologiques.

INVENTIV IT est à la recherche de son futur Architecte Data Azure. Avec 7 ans d'expérience au minimum Profil Technico-fonctionnel. Nous travaillons principalement dans un environnement Azure sur des sujets Big Data & Data Viz. Nous gérons à la fois le Build & le Run des applicatifs. Nous devons avoir une vision 360 des sujets Data : Data Mesh, Data Management, Acculturation Data ... Environnemennt : Azure Data Lake Azure Databricks Azure Synapse Azure Fabric Azure Data Factory Spark / Scala / Python Power BI Snowflake Résumé quelques une de nos missions : Participation à l’évaluation et à la livraison de composants Azure • Conception et mise en œuvre d’architectures de solutions data sur Azure (data lakes, ingestion, service et consommation de données). • Développement d’architectures Azure Data Lake pour stocker les données IoT et configurer Databricks. • Implémentation de solutions utilisant Azure SQL Database, Azure Data Factory, et Azure SQL Managed Instance. • Conception de solutions BI avec Power Platform (Power BI, Power Automate, Power Virtual Agents). • Création de rapports, tableaux de bord, et KPI avec Power BI, ainsi que gestion de la sécurité des données. • Direction de projets cloud axés sur les services Azure et gestion de la qualité des livrables pour les projets de migration et d’infrastructure.

Le client, leader mondial dans le domaine des moyens de paiement recherche un consultant "Data engineer" junior pour intervenir au sein de l'équipe BI. Le client évolue dans un environnement technique Microsoft cloud Azure avec une architecture orientée Big Data avec un Data Lake (Sparks) alimentant des cubes tablulaires. Power BI est l’outil de reporting du groupe. Le périmètre d'intervention est le suivant: • Réaliser les projets BI (tout ou partie) sous la supervision du Tech lead • Assurer du support utilisateur • Documenter ses réalisations et procédures support

Missions / Tâches : Vous intégrerez l’équipe IT Data Integration, qui a pour responsabilité l’intégration des données (ainsi que les flux retours) en provenance d'un partenaire (qui opère le système bancaire en marque blanche pour le compte du client final) vers notre Data Platform sur le cloud AWS. Vous aurez à travailler sur le « run » (suivi de production et gestion des défauts sur les données reçues/envoyées) : - Jobs AWS Glue (Spark serverless sur AWS) - Lambda Functions AWS - DAG Airflow - PYSpark - Flux de fichiers CFT/SFTP - Reporting PowerBI ainsi que sur les nouveaux projets : - Data Privacy : purge de données, mise en conformité RGPD. - Data Quality : mise en place de traitements (DBT) pour détecter les données non conformes et consolider des KPI permettant de gérer la qualité des données. - API Management (Gravitee) finalisation d’un Proof of Value et accompagnement au deploiement des nouvelles API / miration des API existantes vers cet outil. Administration de l’outil en lui-même (K8S, helm, AWS). Formation & Expérience Requises : Vous justifiez d'une expérience de plus de 5 ans dans le domaine de la data et/ou des solutions cloud AWS (idéalement orientées Data ou API Management). Vous savez travailler en équipe et en mode agile (Scrum) et vous vous appuyez sur des compétences solides en git et gitlab-ci pour mettre en commun votre code, participer aux revues de l’equipe, déployer les nouvelles versions jusqu’en production. Vous êtes passionné(e)s de nouvelles technologies et vous souhaitez développer vos compétences. Formation : A partir de Bac+4, tête bien faite, envie d’apprendre et de relever des défis Anglais : Professionnel

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'n Data Engineer Python/Spark. Les missions de la prestation notamment seront : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont : - Description des fonctionnements existants et des besoins couverts, - Développement d’une solution de collecte de données, - Développement d’un système de stockage de la donnée, - Réalisation de tests unitaires, - Mise en place d’un suivi des traitements, - Assistance à la recette par la MOA / les utilisateurs.

✅ Nous vous serions reconnaissants de bien vouloir nous adresser un bref message expliquant les raisons de votre candidature et votre intérêt pour cette mission. ✅ Par ailleurs, nous vous remercions de nous confirmer que vous avez bien pris en compte le lieu de la mission ainsi que l’obligation de présence sur site trois jours par semaine. 🔴 La mission ne peut pas se faire en full Remote (Présence sur site hebdo obligatoire - Condition non négociable) La mission de Data Engineer expérimenté consiste à : • Comprendre les problématiques métier et celles de l’équipe • Définir avec justesse le périmètre des données nécessaire à la solution technique • Estimer la charge à allouer aux différents traitements et actions techniques prévus • Optimiser le modèle de donnée des projets data de l’équipe • Optimiser les scripts Python • Créer les tables ou vues nécessaires aux projets data de l’équipe • Echanger avec les ops de la Team Data à des fins d’industrialisation de collecte, traitements, supervision et restitution des données En outre, il maîtrise les concepts de l’agilité. Il intervient au sein de divers projets de l’équipe Data Analytics du pôle Data Analytics & CRM

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : Data Engineer (H/F) - Lille Mission à pourvoir en région Lilloise Compétences obligatoires : - AWS - Scheduling Airflow - DBT - Databricks - Pyspark Vous savez communiquer en anglais dans un contexte professionnel Votre mission : - Vous implémentez des solutions selon les règles fonctionnelles définies - Vous documentez vos actions - Vous créez des pipelines scalables de données structurées - Vous réalisez le support utilisateur en répondant à leurs questions - Vous documentez les flux implémentés - Vous prenez part à l’élaboration des bonnes pratiques de l’équipe - Vous partagez vos savoirs avec les autres Data Engineers Vous avez de l’expérience sur un poste similaire REFERENCE : EFN/DAENDE/111

Les missions : • Implémenter des data pipelines à travers une collaboration avec les équipes IT • Développement de programmes et services lié à la collecte, à la data quality et aux règles de transformation, en lien avec la couche d’API située dans le DataHub et le moteur de règle. • Implémentation de modèles et développements spécifiques à l’intérieur de la solution éditeur. • Collaborer étroitement avec les Data Engineers/Data Scientists pour surveiller et ré-entraîner les modèles d'IA utilisés pour la détection de la criminalité financière. Apporter son expertise sur les données. • Participer à l'industrialisation des algorithmes, au développement et à l'optimisation de l'architecture du pipeline de données. • Tester les solutions d'éditeurs, préparer des documents techniques et des scénarios de tests techniques. • Comptable de la solution technique de l’ensemble des développements spécifiques (côté pipelines et côté modèles) L'essentiel de la mission se déroulera en Anglais.

Description détaillée : -Construction des pipelines de données pour collecter, transformer et traiter des données dans notre Data Lake sur Azure -Développement de notebooks de traitement avancés des données sur Databricks (Spark, langages Scala, SQL et Python) -Conception et modélisation des données au niveau du Data Lake (format Parquet, Delta) -Réalisation des tests unitaires -Rédaction de documentation technique (Dossier d'Analyse Technique, release delivery note, ….) -Préparation de package pour livraison en CI/CD avec les équipes DevOps -Réalisation des activités de maintenance corrective et évolutive -Participation aux cérémonies agiles (Sprint Planning, Daily, Spring Review, Demo,…

Pour quel poste ? Nous recherchons un(e) Ingénieur Data Spotfire. Ce poste en CDI vous offre l'opportunité de travailler dans un environnement innovant et de contribuer à des projets de data visualisation de grande envergure. Dans le cadre d'un projet spécifique, vous intégrerez une équipe dynamique qui se concentre principalement sur l'utilisation de TIBCO Spotfire pour la visualisation des données et, dans une moindre mesure, de SAP Business Project/ SAP BW. Missions principales : En tant qu'Ingénieur Data Spotfire, vous aurez pour missions : Concevoir et développer des visualisations de données avancées avec TIBCO Spotfire (environ 60 % de votre temps) Gérer et exploiter des données issues de SAP BW et SAP SAC (environ 40 % de votre temps) Travailler en collaboration avec les équipes Business Analyst, Scrum Master et Product Owner Contribuer à l’intégration et au traitement des données (data pipelines en PySpark et stockage Palantir Foundry) Participer activement aux sprints Agile

💼 Poste : Développeur Concepteur Big data Talend 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département exerce 3 missions principales : Garantir des services opérationnels d'excellence : sécurité des SI et maîtrise des risques opérationnels, qualité de la production informatique et pérennisation du SI. Délivrer des solutions SI innovantes, orientées clients, pour construire la banque relationnelle et digitale de demain . Améliorer son efficacité opérationnelle, en réponse aux enjeux d'agilité et de time to market, et optimiser les coûts informatiques. Le Bénéficiaire souhaite avoir une expertise en développement sur l'écosystème BIG DATA. A ce titre, le Bénéficiaire souhaite avoir l’expertise du prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - développements d'usages BIG DATA : Conception technique des développements Supervision des traitements en place Cérémonies agile (méthode Scrum) Livrables attendus Les livrables attendus sont : Dossier de conception Programmes versionnés Documentation projet nécessaire aux MEP 🤝 Expertises spécifiques : Les expertises attendues pour réaliser cette prestation sont listées ci-après : Agile Scrum Environnement Cloudera Compétences en développement (Shell unix, Perl, PHP, Python, git, github) Hadoop (Big Data) HiveQL, scripting shell, environnmnent Conda Spark (PySpark), (gestion de volumes de données importants) Talend (Data integration, Big Data)