Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Conception de solutions azure, optimisation de l'efficacité et de la qualité de la gestion des données en mettant en œuvre des processus automatisés, des normes de sécurité et une collaboration interfonctionnelle pour faciliter l'analyse et la prise de décision Conception et création des chaînes ci/cd pour databricks et data factory Développement des pipelines data ETL, ETL (Azure Data Factory, Databricks) Création des pipelines d’ingestion avec rivery Développement d’une solution Spark SQL pour extraire, copier et anonymiser les données dans un autre environnement Mise en place des solutions de monitoring et d’alerting Développement d’une solution finops sur databricks Participation a l’upgrade de Databricks, metastore vers unity catalog.

We are seeking a Databricks/Dataiku Tech Lead (Software Architect) to join a Project team As part of its Target Architecture, recently set-up Databricks and Dataiku platforms on top of an AWS platform and started migration projects for different use cases implemented in various technologies (SAS, AWS Sagemaker, BW/HANA, etc.). Objective is to combine the usage of Databricks (storage / compute) and of Dataiku (data transformation). Databricks Compétences demandées Avancé (5 à 7 ans inclus) SQL Expert ( > 7 ans) Bon niveau d'anglais

Nous recherchons un(e) développeur(se) python passionné(e) pour rejoindre notre équipe et contribuer à la création de pipelines d'orchestration des modèles ML (preparation de features, training, tunning et inférence). Ces pipelines de données permettent aux Quants & Data Scientist d'industrialiser l’utilisation des modèles ML avancés dans les processus de prévision de la consommation et de la production d'énergie. Le profil idéal est : - Un(e) data engineer maîtrisant Python/Spark qui comprend les enjeux du MLOps - Un(e) passionné(e) du développement Python, capable de jongler avec les bibliothèques et les frameworks. - Un(e) passionné du développement capable de travailler avec les Quants et Data Scientists pour résoudre des problèmes relatifs au cycle de vie des modèles de MachineLearning (e.g. mise en place de pipelines d'entraînement). Le poste requiert une maîtrise avancée de Python et Spark. Une expérience préalable autour de Databricks, des Feature Stores / Model Registries est un plus. Contexte Engie est un acteur majeur de la transition énergétique vers la neutralité carbone, qui investit massivement dans la digitalisation et la modernisation de son système d’information. Le groupe a récemment entrepris de créer une plateforme dédiée au forecasting, qui s’appuie sur l’intelligence artificielle, le big data et les données météorologiques pour optimiser la gestion des risques et la performance des activités Supply et Renewables.

Nous recherchons un(e) développeur(se) python passionné(e) pour rejoindre notre équipe et contribuer à la création de pipelines d'orchestration des modèles ML (preparation de features, training, tunning et inférence). Ces pipelines de données permettent aux Quants & Data Scientist d'industrialiser l’utilisation des modèles ML avancés dans les processus de prévision de la consommation et de la production d'énergie. Le profil idéal est : - Un(e) data engineer maîtrisant Python/Spark qui comprend les enjeux du MLOps - Un(e) passionné(e) du développement Python, capable de jongler avec les bibliothèques et les frameworks. - Un(e) passionné du développement capable de travailler avec les Quants et Data Scientists pour résoudre des problèmes relatifs au cycle de vie des modèles de MachineLearning (e.g. mise en place de pipelines d'entraînement). Le poste requiert une maîtrise avancée de Python et Spark. Une expérience préalable autour de Databricks, des Feature Stores / Model Registries est un plus.

Rejoignez une équipe internationale dans le secteur de l'assurance/réassurance, au sein d’un environnement technique stimulant. Vous serez en charge de la conception et de la mise en œuvre de solutions de données avancées en utilisant des technologies modernes comme Databricks et Palantir Foundry . Le rôle implique une collaboration étroite avec des équipes produit pour développer des pipelines de données, services et APIs performants. Collecter et analyser les besoins métiers pour répondre aux exigences fonctionnelles et techniques. Concevoir, développer et maintenir des artefacts de données (pipelines, services, APIs) basés sur les meilleures pratiques. Implémenter des cas d’usage liés à l’analyse de données, à l’exploration BI et au calcul distribué. Documenter et optimiser les architectures de données suivant des standards éprouvés (architecture médaillon, GitFlow, etc.). Travailler en collaboration avec des équipes pluridisciplinaires pour garantir des livrables de qualité. Compétences obligatoires : Expertise en Databricks , Palantir Foundry , Python , SQL et Data Visualization . Maîtrise des outils MSDevOps , Jenkins , Artifactory , et Container Registry . Connaissances solides en parallélisation et programmation distribuée . Compétences appréciées : Expérience avec Delta Lake , BlobStorage , FileShare , et l’architecture médaillon.

Rejoignez une entreprise innovante à la pointe des technologies data ! En tant que Data Engineer Senior spécialisé en Azure Databricks, vous serez un acteur clé dans la conception et la mise en œuvre de pipelines de données performants et scalables. Vous évoluerez dans un environnement technique avancé, collaborerez avec des experts passionnés et contribuerez à des projets stratégiques ayant un fort impact métier. Conception et développement de pipelines de données : Développer, tester et déployer des pipelines ETL/ELT complexes sur Azure Databricks. Garantir la performance et l'optimisation des traitements Big Data. Gestion des environnements Azure Databricks : Exploiter les fonctionnalités avancées de Databricks pour le traitement batch et streaming. Configurer et gérer des clusters Databricks performants et rentables. Optimisation et industrialisation : Mettre en place des pratiques DevOps (CI/CD) pour l'automatisation des workflows. Identifier et implémenter des solutions d'optimisation des coûts et de la performance sur Azure. Accompagnement et innovation : Être un référent technique pour les équipes Data et former les membres juniors. Participer à la définition de la roadmap technologique et à l'intégration de nouvelles solutions. Cloud et Big Data : Azure Databricks (5 ans minimum), Azure Data Lake, Azure Data Factory. Traitement de données : Spark, Delta Lake, Streaming (Kafka/Event Hub). Langages : Python, Scala, SQL. Bases de données : Snowflake, Cosmos DB, PostgreSQL. CI/CD : Git, Terraform, pipelines Azure DevOps. Monitoring et sécurité : Azure Monitor, Azure Security Center, IAM. Bac+5 en informatique, data ou équivalent. Expérience confirmée (5 ans minimum) sur Azure Databricks et solutions Big Data. Solides compétences en optimisation des performances et gestion de pipelines complexes. Expertise dans les environnements cloud Azure, avec une certification Azure (un plus). Capacité à travailler en équipe, à résoudre des problèmes complexes et à communiquer efficacement. Rémunération attractive : Fixe compétitif, bonus et primes. Formation continue : Certifications Azure Databricks et participation à des conférences spécialisées. Flexibilité : Télétravail partiel et horaires flexibles. Avantages : Mutuelle premium, RTT, prise en charge des transports. Impact et innovation : Projets ambitieux avec des technologies de pointe. Vous êtes prêt à relever des défis techniques passionnants et à jouer un rôle clé dans la transformation digitale des données ? Rejoignez-nous !

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Ton quotidien chez Komeet sera rythmé par : - Animation des ateliers afin d’étudier et cadrer les besoins clients en collaboration avec le Data Platform Architect - Analyser, conseiller, et faire des recommandations de façon à améliorer l’efficience et l’efficacité de la solution Databricks chez ton client. - Préconisation, conception et mise en œuvre du LakeHouse Databricks - Rédaction de dossiers d’architecture et spécifications techniques - Mise en œuvre des stratégies d’exploitation de la plateforme Databricks - Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. - Tests, validation et documentation des développements - Réalisation d’audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Nous recherchons un(e) développeur(se) python passionné(e) pour rejoindre notre équipe et contribuer à la création de pipelines d'orchestration des modèles ML (preparation de features, training, tunning et inférence). Ces pipelines de données permettent aux Quants & Data Scientist d'industrialiser l’utilisation des modèles ML avancés dans les processus de prévision de la consommation et de la production d'énergie. Le profil idéal est : - Un(e) data engineer maîtrisant Python/Spark qui comprend les enjeux du MLOps - Un(e) passionné(e) du développement Python, capable de jongler avec les bibliothèques et les frameworks. - Un(e) passionné du développement capable de travailler avec les Quants et Data Scientists pour résoudre des problèmes relatifs au cycle de vie des modèles de MachineLearning (e.g. mise en place de pipelines d'entraînement). Le poste requiert une maîtrise avancée de Python et Spark. Une expérience préalable autour de Databricks, des Feature Stores / Model Registries est un plus. Contexte Le groupe a récemment entrepris de créer une plateforme dédiée au forecasting, qui s’appuie sur l’intelligence artificielle, le big data et les données météorologiques pour optimiser la gestion des risques et la performance des activités Supply et Renewables.

Notre société recherche pour son client une personne passionnée par la Data et motivée par des missions stimulantes dans un environnement dynamique et humain. Acquisition et transformation des données pour des entrepôts de données. Participation au développement avec des responsabilités proches d'un Product Owner (PO). Gestion de projet : structuration, suivi des coûts et des délais. Maintenance des systèmes et gestion des coûts OPEX. Utilisation de technologies modernes : Hana, Snowflake, Databricks, etc. Bac +5 Expérience confirmée (3-5 ans) en modélisation avec des outils comme Snowflake, Databricks, SAP HANA, BW ou Business Object. Connaissance d'outils complémentaires : Power BI, Qliksense, SAP Analytics Cloud (appréciée). Français et anglais courants (pour collaborer avec une équipe offshore). Autonomie chez les clients, avec une aspiration à prendre des responsabilités en gestion de projet. Rémunération attractive : A partir de 45k€. Avantages inclus : intéressement, PEE, repas, transport, mutuelle, etc. Ambiance et collaboration : missions en équipe, soirées entre collègues, faible turn-over. Évolution et accompagnement : revue de performance biannuelle, formations techniques et certifiantes (SAP). 📍 Lieu : Paris 12e 👉 Postulez maintenant pour rejoindre une structure humaine et innovante !

Dans un contexte de transformation et modernisation, vous aurez pour mission de concevoir les fonctionnalités de notre datalake. Dans ce cadre, vos missions consisteront à : - Contribuer à la vision produit des fonctionnalités dont vous aurez la responsabilité. - Piloter les projets prévus au sein de la roadmap produit - Cadrer - Prioriser - Lotir les besoins métiers - Planifier les évolutions - Rédiger les US et maintenir le backlog de votre équipe - Rédiger et maintenir la documentation produit des fonctionnalités - Analyser des problématiques techniques et trouver des solutions en parfaite autonomie - Organiser la résolution des incidents avec l'équipe technique.

Mission temps plein longue durée à pourvoir début 2025 2 jours de remote/sem Mise en œuvre de projets data = missions principales o Data engineering : mise à disposition des données dans le datalake au format delta lake (Azure Databricks) ▪ Conception des flux data ▪ Développement des flux data ▪ Mise en œuvre avec le superviseur des flux du monitoring de ceux-ci ▪ Intégration des tests unitaires o Coordination des intervenants SI o Rédaction de spécifications o Etudes, analyses de données et Requêtages o Développement des briques transversales o Mise en place des exigences RGPD/SSI

Notre client basé à Avignon (84) est à la recherche d’un Tech Lead Data (H/F) freelance pour participer au maintien et à la modernisation d’une plateforme Data Cloud et d’une plateforme sécurisée C3. MISSIONS Au sein d’une équipe agile de 7 personnes, vous serez amené à : · Développer des rapports de visualisation de données sous PowerBi · Développer les traitements de données · Contribuer à la définition de la stratégie technique Data du projet · Développer des uses cases métier ENVIRONNEMENT TECHNIQUE · PYTHON · SQL · Azure Data Factory ou AWS Glue · Apache Nifi / Databricks, · Oracle, PowerBI

Mon client est à la recherche d'un Expert Dataiku à Bruxelles. Date de début : 01/2025 Visibilité : 12/2026 Lieu de travail : Bruxelles (minimum 3 jours au bureau) Dans le cadre de son architecture cible, mon client a récemment mis en place les plateformes Databricks et Dataiku au-dessus d'une plateforme AWS et a commencé des projets de migration pour différents cas d'utilisation mis en œuvre dans diverses technologies (SAS, AWS Sagemaker, BW/HANA, etc.). Détails de la mission : Nous recherchons un expert Dataiku pour rejoindre une équipe projet chargée de reconstruire les fonctionnalités des programmes SAS dont les résultats sont utilisés par notre équipe financière. L'objectif est de combiner l'utilisation de Databricks (stockage / calcul) et de Dataiku (transformation de données). - Développer et maintenir des étapes complexes de transformation de données en utilisant Dataiku sous des directives spécifiques (dev vs automation node, utilisation des recettes low code de Dataiku, etc.) - Sous la direction du Tech Lead, exploiter le compute Databricks pour améliorer le traitement des données et l'efficacité (performance, coûts). - Assurer la qualité et l'intégrité des données tout au long du cycle de vie de la transformation des données - Réaliser un transfert de connaissances au sein de l'équipe de projet et de l'équipe commerciale qui prendra la responsabilité de gérer les projets à l'avenir.

Notre client recherche un Product Owner (PO) pour rejoindre une équipe Data Platform . L'équipe a pour objectif de maintenir et faire évoluer la plateforme data , en travaillant sur la définition de la roadmap , l' architecture et la construction des solutions techniques. Le PO collaborera avec une équipe pluridisciplinaire composée de 10 experts, incluant : Un Tech Lead Un Architecte Plusieurs DevOps et Data Engineers La plateforme repose sur une stack Databricks , des processus ETL (Talend) , et une infrastructure basée sur AWS . Vos missions : maintenir la roadmap produit en alignement avec les objectifs stratégiques. Rédiger et affiner le Product Backlog en collaboration avec les parties prenantes. Travailler en étroite collaboration avec le Tech Lead , l'Architecte et l'équipe DevOps/Data Engineers pour définir des solutions techniques efficaces. Faciliter les échanges avec les parties prenantes pour recueillir les besoins et s'assurer que les livrables répondent aux attentes. Organiser, et animer les rituels Agile (daily stand-up, sprint planning, reviews, retrospectives). Assurer un suivi des KPIs et de la performance des livrables pour une évolution continue de la plateforme. Processus : 1 entretien Go - No Go

📑 CDI (42-50K€) / Freelance / Portage Salarial - 🏠 2 jours de télétravail / semaine - 📍Clermont-Ferrand - 🛠 Expérience de 5 ans minimum Nous poursuivons notre développement et recherchons actuellement un(e) Business Analyst – BI | Supply Chain pour intervenir chez un de nos clients dans le secteur industriel. Contexte : En tant que Business Analyst, vous concevrez et déploierez des solutions innovantes de suivi de performance opérationnelle en lien avec les équipes projet. Vos principales missions : - Développer et implémenter des solutions BI répondant aux enjeux de transformation data - Identifier les besoins en indicateurs, en collaboration avec les chefs de projets - Élaborer des spécifications et coordonner les développements avec l’équipe IS - Tester les solutions - Assurer la formation des utilisateurs sur les nouvelles applications