Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark à Paris

Bonjour, Pour un de mes clients, je suis à la recherche Profil Teradata & PySpark | Pour une Mission Long Terme. 📍 Lieu : 2 jours de déplacement par semaine à Tours (reste en télétravail) 📅 Durée : 6 mois renouvelables (long terme) 🕒 Disponibilité : ASAP 🌍 Langue : Bon niveau d’ anglais requis 🔹 Compétences requises : ✔ Expertise Teradata ✔ Maîtrise de PySpark ✔ Expérience en traitement et manipulation de données à grande échelle ✔ Capacité à travailler en environnement international Je reste à disposition pour toutes informations complémentaires. Bien cdt,

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance. (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Nous recherchons pour le compte de notre client dans le domaine bancaire, un ingénieur python / PySpark Contexte : Au sein de l'équipe en charge des Outils Analytiques Avancées qui assure l’accompagnement client, la réalisation de POC, le déploiement des outils analytiques, leur administration et leur support. : R & Python : offre d’outils de développement, principalement Rstudio (Desktop et Server) et Jupyter, Vscode pour R, Python et Spark (SparkMagic) mais également Stata et Matlab. Missions : administration technique (préparation, déploiement et maintenance des environnements) pour assurer la mise à disposition d’environnements de développement pour de nouveaux projets en adéquation avec les contraintes d’intégration à l’architecture technique, le maintien en condition opérationnelle des plateformes mises à disposition support aux utilisateurs. Elle inclut également la qualification de nouvelles versions ainsi que l’étude d’un passage vers une plateforme Cloud. Les travaux sont suivi avec une méthodologie SAFe

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance. (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Expertises spécifiques : Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Notre client a lancé un large programme de transformation autour des données et de l’Intelligence Artificielle dans un contexte de transformation globale de sa DSI. La mission consiste à être en mesure de leader plusieurs Data Engineers afin de livrer le maximum de valeurs, tout en respectant les principes d'architecture. Votre rôle sera de participer avec les Tech leads & Développeurs Seniors des autres comptoirs des données, à l'harmonisation du socle comptoirs des données, ainsi que le déroulement de la roadmap des décommissionnements des applications legacy du socle.

Développer et maintenir des pipelines de données actuarielles, assurer la qualité des données et contribuer à divers projets d'analyse de données sur une plateforme DATA moderne. Développer et maintenir des pipelines de données robustes et évolutifs sur Databricks. Assurer la qualité et l'intégrité des données collectées et traitées. Collaborer avec les équipes d'inventaire pour comprendre les besoins en matière de données et fournir des solutions adaptées. Participer à l'optimisation des performances des bases de données et des systèmes de traitement des données. - Contribuer à la documentation des processus et des flux de données.

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

- Jouer un rôle clé dans l'industrialisation des produits IA, MLOps et gouvernance IA. - Piloter l'innovation et livrer des projets à forte valeur ajoutée pour les business units. - Accompagner l'équipe dans le cadrage des projets et la mise en place des pratiques de qualité et d'architecture logicielle. - Contribuer à la production automatisée des modèles de Machine Learning et assurer leur fonctionnalité. - Participer à l'amélioration des pratiques MLOps et participer à la veille technologique au sein des communautés de pratique. - Participer aux Meetups, BBL et autres événements techniques. - Bénéficier et contribuer à des événements de renforcement des compétences tels que les Dojos, Hackathons et Conférences.

Nous recherchons un Data Engineer Databricks Sénior avec une expérience minimale de 5 ans. Le contexte : Migration des traitement Apache Spark/Scala du datalake depuis une plateforme AKS/Airflow vers Azure Databricks et mise en place de nouveaux pipelines Organisation et suivi des migrations des projets depuis AKS vers Databricks Audit du patrimoine applicatif et organisation de chantiers de refactorisation pour améliorer la résilience et les performances des applications Homogénéisation des pratiques de développement au sein du service (mise en place TU, process de code review, mise en place d’outils de code quality ...) Suivi et résolution de failles de sécurité Elargissement de l’utilisation des services Databricks par les projets (Unity Catalog, migration parquet vers delta, workflows ...) Maitrise DevOps Maitrise de Spark / Scala / Databricks & AZURE sont indispensables 2 ans d'expérience minimum dans le même environnement technique

Bonjour, Nous recherchons pour notre client grand compte un Ingénieur Data AWS répondant au besoin ci-dessous. Nous étudions uniquement les candidatures qui nous sont adressées à freelance à insyco . fr avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin CV à jour (format Word) Date de prochaine disponibilité Tarif journalier Merci d’indiquer la référence MDE/DATA/4730 en objet du message Vos responsabilités Mise en place de pipelines de traitement de données Développement des modèles de données Bonnes pratiques de développements (découpage de code, tests unitaire etc…) Amélioration des performances et la maîtrise des coûts sur les différents environnements AWS Captage des données (structurées et non structurées) produites dans les différentes applications ou à l’extérieur de l’entité Intégration des éléments Structuration de la donnée (sémantique, etc.) Cartographie des éléments à disposition Nettoyage de la donnée Validation de la donnée Création du référentiel de données Expertise autour de AWS (lambdas, EMR, APIGateway, cognito ...) CI/CD & automatization (Git, Terraform) Maîtrise des langages (Python, SQL, Pyspark)

En quelques mots Cherry Pick est à la recherche d'un "Data Databricks Engineer" pour un client dans le secteur de l'énergie Description Contexte Au sein de notre équipe Data Platform, vous interviendrez dans les activités liées à Databricks :Unity Catalog, Policy, Cluster/Serverless, PySpark. Vous participerez à la maintenance et àl'évolution de la Data & Analytics Platform, à l'évolution des infrastructures cloud via Terraform,au développement de micro-services en Python, et à la conception et maintenance de chaînes dedéploiement automatisé (CICD). Vous assurerez le bon fonctionnement opérationnel de la Data &Analytics Platform (MCO/Run) et enrichirez la documentation à l'attention des utilisateurs. Missions Interventions sur Databricks : Vous travaillerez spécifiquement sur Unity Catalog, la gestion des politiques, les clusters/serveurless, et l'utilisation de PySpark. Maintenance et évolution de la Data & Analytics Platform : Vous participerez à la gestion et à l'amélioration continue de la plateforme de données et des infrastructures cloud. Infrastructure via Terraform : Vous serez impliqué dans l'évolution des infrastructures cloud avec Terraform. Développement de micro-services en Python : Vous contribuerez au développement de micro-services pour l'architecture globale. Gestion du déploiement automatisé (CICD) : Vous serez responsable de la conception et maintenance des chaînes de déploiement continu. MCO/Run (Maintenance et Opérations) : Vous veillerez au bon fonctionnement de la plateforme au quotidien. Documentation : Vous enrichirez et maintiendrez la documentation à l'attention des utilisateurs.

Nous recherchons pour l'un de nos grands comptes, un Data Engineer. Vous trouverez ci-dessous le descriptif du poste : La prestation du data engineering consistera à participer à : La mise en place de pipelines de traitement de données Le développement des modèles de données L’extraction et l’exposition des données du Data Lake vers d’autres services L’industrialisation des projets sur la GCP La participation active aux différentes phases de cadrage, de planification et de réalisation des tâches avec l’équipe Expertises requises pour la réalisation de la prestation : Au moins 1 an d’expérience dans un environnement data Compétences solides en data : structures de données, code, architecture Connaissance de l’un des Cloud Provider Public : de préférence GCP Connaissance de DBT obligatoire Références professionnelles sur des projets Big Data : de préférence Pyspark, BigQuery et dbt Compétences en SQL et Python Expertises dans la mise en place de pipeline ETL / ELT Bonnes connaissances de Gitlab et Gitlab CI/CD Forte capacité à vulgariser et à communiquer sur des aspects purement techniques Pratique des méthodes Agile (Scrum, Kanban)