Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Développer et maintenir des pipelines de données actuarielles, assurer la qualité des données et contribuer à divers projets d'analyse de données sur une plateforme DATA moderne. Développer et maintenir des pipelines de données robustes et évolutifs sur Databricks. Assurer la qualité et l'intégrité des données collectées et traitées. Collaborer avec les équipes d'inventaire pour comprendre les besoins en matière de données et fournir des solutions adaptées. Participer à l'optimisation des performances des bases de données et des systèmes de traitement des données. - Contribuer à la documentation des processus et des flux de données.

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Contexte : Au sein de la section « Gouvernance des données » du Pôle Données, la mission « qualité des données » participe activement : À la mise en œuvre de la stratégie de gouvernance des données A l’accompagnement de projets, d’équipes ou bureaux métier par exemple pour la détermination des causes techniques ou organisationnelles des anomalies et la conception de solutions pragmatiques afin de répondre aux irritants identifiés ; A l’animation d’ateliers de travail pour l’analyse et sélection de scénarios et la formalisation de solutions ; À la conduite et à l’évaluation de projets pilotes pour améliorer la qualité des données À la communication interne et la formation des internes sur les méthodes et outils de gestion de la qualité de leurs données ; Cette mission a pour objet de renforcer la capacité à faire de la mission qualité des données. Cet appui doit permettre de: Mettre en place une stratégie de récupération, de transformation et d'analyse de la qualité des données : Proposer une veille, des expérimentations et des évaluations d’outillages (librairie python) d’analyse de la qualité des données et de leurs fiabilisations ; Analyser des données et les fiabiliser, restituer les résultats et aider au plan d’actions.

La mission va se dérouler au sein du département IT Data Management & Business Intelligence, plus précisément dans l'équipe Big Data & API / Squad Financing & Risk. Cette équipe est actuellement responsable du développement et de la gestion d'un datalake nommé RiskLake. Ce datalake sert de plateforme de données centralisée pour les équipes IT et métiers. Il permet de stocker, traiter et analyser de grandes quantités de données de manière efficace et sécurisée. L'objectif principal de la mission est d'assurer le rôle de Data Engineer pour le RiskLake. Les responsabilités incluent : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets

Dans le cadre d'une migration vers la nouvelle plateforme Data Groupe , nous recherchons un Data Engineer Python - Spark - Airflow , pour renforcer les équipes de notre client. Missions : Réalisation des cas d’usage de bout en bout Application des règles de bonnes pratiques Réalise des développements maintenables, scalables, réutilisables et optimisés Réalise des développements de qualité et performants Réalise de la documentation technique à la fin de chaque sprint Exploite et déploie de manière propre sur GIT (version, repository, nom de l’US ou la Feature…) Réalise des tests techniques automatisés (tests unitaires, tests de non-régression…) et les traces Applique le devoir de conseil Travail en équipe Propose des solutions, des alternatives et débloque les autres développeurs si besoinAppui et aide les Product Owner si besoin Réalise le modèle de données en support avec la gouvernance, Product Owner et le data analyst Explique et effectue du support auprès des data analyst notamment sur la structure des données et les modèles en base de données Respecte les règles de nommage imposée par l’entreprise

- Jouer un rôle clé dans l'industrialisation des produits IA, MLOps et gouvernance IA. - Piloter l'innovation et livrer des projets à forte valeur ajoutée pour les business units. - Accompagner l'équipe dans le cadrage des projets et la mise en place des pratiques de qualité et d'architecture logicielle. - Contribuer à la production automatisée des modèles de Machine Learning et assurer leur fonctionnalité. - Participer à l'amélioration des pratiques MLOps et participer à la veille technologique au sein des communautés de pratique. - Participer aux Meetups, BBL et autres événements techniques. - Bénéficier et contribuer à des événements de renforcement des compétences tels que les Dojos, Hackathons et Conférences.

Le data engineer intègre une équipe en charge du lakehouse pour la B2C (France Retail). De nombreuses challenges techniques sont attendus. Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analyse) -Cadrage technique des besoins émis par les consommateurs de la plateforme Data -Est garant de la mise en production des traitements au sein de la plateforme -Optimisation du code et de la capacité des VMs mise en œuvre pour chaque traitement -Garantit la disponibilité et l'outillage pour les équipes métier, ainsi qu'aux utilisateurs de la plateforme (data scientists / data analystes / data engineer) -Est en relation avec les équipes infrastructure afin d'assurer le cadrage et le déploiement des solutions valides -Support aux équipes consommatrices -Analyse d'anomalie et proposition solution court / moyen terme - Developpement sous Databrick (Python / SQL / Spark / Airflow) -Est force de propositions techniques Contexte Un data engineer expérimenté est recherché pour travailler au sein du COE Data en charge de la nouvelle B2C Data Platform : il s'agit d'un lakehouse (AWS + Databricks). Une équipe centralisée gère la plateforme mais de nombreux équipes travaille également sur le nombreux uses cases (fonctionnement Data Mesh). Toutes les équipes fonctionnement en mode agile. La B2C Data Platform est en pleine expansion avec de très nombreux uses cases, et services à déployer.

Nous recherchons un data engineer GCP Spark/Scala avec pour missions principales : Collecter des données provenant de diverses sources externes. Exploiter les capacités du Datalake sur GCP. Implémenter l’ensemble du processus incluant : L’ingestion des données, La validation des données, Le croisement des données, L’intégration des données enrichies dans le Datalake. Développer en respectant les principes d’architecture définis. Rédiger et documenter les user stories en collaboration avec le Product Owner. Rédiger les scripts nécessaires au déploiement. Identifier et prioriser la correction des anomalies. Assister les équipes en charge de l’exploitation. Contribuer à la mise en place d’une chaîne de livraison continue. Automatiser les tests fonctionnels. Encadrer et superviser le travail des data engineers de la squad.

À propos de l’entreprise : Nous recherchons un Data Engineer hautement qualifié pour rejoindre notre équipe. En tant que Data Engineer, vous serez responsable de la conception, du développement et de la maintenance des pipelines de données, de l’optimisation des performances des bases de données et de la mise en place de solutions analytiques adaptées aux besoins métiers. Vous travaillerez sur des projets passionnants et collaborerez avec une équipe multidisciplinaire pour fournir des solutions de gestion et d’exploitation de données performantes et évolutives. Process de recrutement : 1. Qualification téléphonique (30 min) 2. Étude de cas 3. Rencontre avec la direction (en présentiel ou à distance) 4. Réponse sous 48h

Nous recherchons un Lead Data Scientist expérimenté pour accompagner notre équipe Data dans le développement d’analyses avancées et de solutions innovantes à forte valeur ajoutée. Contrairement à un rôle centré sur le Machine Learning, cette mission met l’accent sur l’ analytics et la compréhension des besoins métiers afin de proposer des solutions stratégiques et exploitables. Vous interviendrez en tant que référent analytique et force de proposition auprès des équipes métiers, notamment en collaborant avec responsable d'équipe , qui joue actuellement aussi un rôle de Business Analyst. Votre mission consistera à créer le besoin autour des usages Data, ML et GenAI, en particulier pour l’ aspect analytique et l’ innovation métier .

Nous sommes à la recherche d'un(e) : Data Engineer -Être le référent technique sur plusieurs applicatifs et composantes sur socles IT (DWH, CI/CD, Datalab, APIs…) en relation avec les streams Leaders et l’architecte Design Authority. - Apporter le support nécessaire aux entités dans leur utilisation accompagnement sur Talend/Java et sur l'amélioration de la performance de leur JOB ainsi que sur les bases de données (Snowflake, Oracle,Vertica). Impliquant le suivi de migrations, l’amélioration des processus, l’administration de la TMC et l’entretien du lien avec l’éditeur et le support. - Développer les nouveaux composants (Talend,DBT, Java, Shell, Oracle, Vertica, Snowflake, Jupyter, Python) afin d'alléger le travail des entités dans la Data Factory et permettre aux entités de se focaliser sur leur business. - Assurer le RUN (niveau 3) de l'infrastructure en utilisant les composants CA-GIP pour debugger les applicatifs et pour apporter des solutions efficientes (ElasticSearch, Logstash, Kibana,Grafana). - Evaluer et valider les estimations de l’infogérant et des sous-traitants. - Accompagner et superviser les missions confiées aux sous-traitants. - Analyse, conception et mise en place d’un monitoring centralisé des flux Datawarehouse.

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Spark/AWS Description Grâce à ses compétences alliant développement bigdata, appétences pour les modèles d’IA et architecture applicative, le data engineer participe à la conception d’applications mettant à l’échelle des algorithmes créateurs de valeur pour l’entreprise. Livrables Définir et analyser des structures de données, Contribuer aux assets des différentes équipes produits pour interconnecter et collecter les données, Mettre à disposition de la data et des recommandations à des systèmes externes (APIs, exports, injection de données), Être garant de la production (mise en place de monitoring, d'alerting et intervention si nécessaire), Développer et maintenir le continuous delivery (participer à l’intégration continue et à l’usine logicielle, déploiements et tests automatisés), Construire l’architecture cloud AWS qui hébergera notre infrastructure existante ou future, Présenter et expliquer les réalisations à des publics métiers et techniques.

CITECH recrute ! 👌 🚀 Rejoignez-nous et intégrez un environnement Big Data à la pointe de la technologie ! Vous êtes passionné(e) par les environnements Big Data et souhaitez relever des défis en gestion courante applicative au sein d’une équipe dynamique et engagée ? Nous avons le poste d’ Ingénieur Data (H/F) pour vous ! ✨ 💰 Votre mission est pour un client du secteur banque et assurance qui dispose de 3000 caisses locales sur l’ensemble du territoire ainsi que de 8000 conseillers. Le projet est pour l’une de ces caisses. 📝 Au sein de la Direction des Systèmes d’Information, vous rejoignez l’équipe Gestion Courante Décisionnelle et jouerez un rôle clé dans le maintien et l’évolution des applications décisionnelles du groupe. 🙌🔽 Vous aurez les missions principales suivantes : 🔽🙌 ✅ Suivi et exploitation des traitements quotidiens en Spark/Scala ✅ Analyse et correction des incidents fonctionnels ✅ Reprise et qualité des données en lien avec l’équipe Datalake ✅ Rédaction et mise à jour de la documentation ✅ Livraison en production des corrections et suivi des mises en production ✅ Collaboration avec les chefs de projet pour assurer une amélioration continue

Nous recherchons un Data Engineer Databricks Sénior avec une expérience minimale de 5 ans. Le contexte : Migration des traitement Apache Spark/Scala du datalake depuis une plateforme AKS/Airflow vers Azure Databricks et mise en place de nouveaux pipelines Organisation et suivi des migrations des projets depuis AKS vers Databricks Audit du patrimoine applicatif et organisation de chantiers de refactorisation pour améliorer la résilience et les performances des applications Homogénéisation des pratiques de développement au sein du service (mise en place TU, process de code review, mise en place d’outils de code quality ...) Suivi et résolution de failles de sécurité Elargissement de l’utilisation des services Databricks par les projets (Unity Catalog, migration parquet vers delta, workflows ...) Maitrise DevOps Maitrise de Spark / Scala / Databricks & AZURE sont indispensables 2 ans d'expérience minimum dans le même environnement technique

Bonjour, Nous recherchons pour notre client grand compte un Ingénieur Data AWS répondant au besoin ci-dessous. Nous étudions uniquement les candidatures qui nous sont adressées à freelance à insyco . fr avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin CV à jour (format Word) Date de prochaine disponibilité Tarif journalier Merci d’indiquer la référence MDE/DATA/4730 en objet du message Vos responsabilités Mise en place de pipelines de traitement de données Développement des modèles de données Bonnes pratiques de développements (découpage de code, tests unitaire etc…) Amélioration des performances et la maîtrise des coûts sur les différents environnements AWS Captage des données (structurées et non structurées) produites dans les différentes applications ou à l’extérieur de l’entité Intégration des éléments Structuration de la donnée (sémantique, etc.) Cartographie des éléments à disposition Nettoyage de la donnée Validation de la donnée Création du référentiel de données Expertise autour de AWS (lambdas, EMR, APIGateway, cognito ...) CI/CD & automatization (Git, Terraform) Maîtrise des langages (Python, SQL, Pyspark)

En quelques mots Cherry Pick est à la recherche d'un "Data Databricks Engineer" pour un client dans le secteur de l'énergie Description Contexte Au sein de notre équipe Data Platform, vous interviendrez dans les activités liées à Databricks :Unity Catalog, Policy, Cluster/Serverless, PySpark. Vous participerez à la maintenance et àl'évolution de la Data & Analytics Platform, à l'évolution des infrastructures cloud via Terraform,au développement de micro-services en Python, et à la conception et maintenance de chaînes dedéploiement automatisé (CICD). Vous assurerez le bon fonctionnement opérationnel de la Data &Analytics Platform (MCO/Run) et enrichirez la documentation à l'attention des utilisateurs. Missions Interventions sur Databricks : Vous travaillerez spécifiquement sur Unity Catalog, la gestion des politiques, les clusters/serveurless, et l'utilisation de PySpark. Maintenance et évolution de la Data & Analytics Platform : Vous participerez à la gestion et à l'amélioration continue de la plateforme de données et des infrastructures cloud. Infrastructure via Terraform : Vous serez impliqué dans l'évolution des infrastructures cloud avec Terraform. Développement de micro-services en Python : Vous contribuerez au développement de micro-services pour l'architecture globale. Gestion du déploiement automatisé (CICD) : Vous serez responsable de la conception et maintenance des chaînes de déploiement continu. MCO/Run (Maintenance et Opérations) : Vous veillerez au bon fonctionnement de la plateforme au quotidien. Documentation : Vous enrichirez et maintiendrez la documentation à l'attention des utilisateurs.