Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Missions Dans un environnement en pleine transformation avec des évolutions technologiques rapides, vous rejoindrez une équipe au sein des Services (TGITS). Cette équipe gère la construction et le support de la plateforme Data & Analytics utilisese par l’ensemble des entités Nous recherchons spécifiquement un(e) DevOps pour renforcer notre équipe. Administration, Mise en place de traitement de données. Infra, Admin et exploitation. Construction de data pipeline - Langues : Anglais et Français Rôles et responsabilités En tant que membre de la squad Data and Analytics Platform, vous participerez aux activités suivantes : • Conception de la Data & Analytics Platform • Évolution des infrastructures cloud via l’Infrastructure as Code • Gestion d’un cluster kubernetes • Développement de micro-services en Python et C# • Conception et maintenance de chaînes de déploiement automatisé • Assurer le bon fonctionnement opérationnel de la Data & Analytics Platform • Enrichissement de la documentation à l’attention des utilisateurs

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance. (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Pour l’un de nos clients, nous recherchons un Data Engineer / Développeur Python passionné(e) pour contribuer à la création de pipelines d'orchestration des modèles ML (préparation des features, entraînement, tuning et inférence). Missions : Développer et optimiser des pipelines de données pour industrialiser l'utilisation des modèles ML avancés . Collaborer avec les Quants & Data Scientists pour automatiser et améliorer le cycle de vie des modèles de Machine Learning. Participer à la modernisation et la digitalisation du SI , en intégrant des solutions innovantes basées sur l’IA, le big data et les données météorologiques . Concevoir et déployer des solutions sur Azure Databricks pour améliorer la gestion des risques et la performance énergétique.

Contexte : Vous travaillerez en étroite collaboration avec les équipes métiers (data owner et experts métier) afin de comprendre leurs enjeux, co-construire une feuille de route stratégique et mettre sous contrôle un domaine de données spécifique. Vos objectifs seront de comprendre et maîtriser les données de ce périmètre métier, ainsi que de son écosystème applicatif et assurer la qualité des données au sein de ce domaine. Missions : Catalogage des données : Collaborer avec le data owner pour cartographier les données du domaine et documenter les définitions ainsi que les flux de données. Travailler avec les équipes IT afin de réaliser le lignage des données avec les champs techniques. Assurer la mise à jour et la pérennité du catalogue de données dans le temps. Suivi de la qualité des données et mise en place des correctifs : Définir et construire les outils de reportings nécessaires au suivi quotidien de la qualité des données. Identifier, analyser et catégoriser les causes des anomalies, et coordonner les actions correctives avec les équipes métiers et IT, qu'elles soient ponctuelles ou structurelles. Structurer et améliorer les processus de suivi et de résolution des anomalies liées à la qualité des données. Piloter le plan d’action de remédiation autour de la qualité des données en s’appuyant sur les différentes plateformes IT. Contribuer aux projets IT : Accompagner les équipes projet dans la mise en place des standards data dans les projets IT. Porter les expressions de besoin liées à la data pour faire évoluer le SI. Compétences requises : Confirmé (3 ans d’expérience minimum) Compétences avérées en analyse de données poussées et/ou en modélisation. Bon niveau de maîtrise SQL, PowerBI et Excel (notamment sur les fonctions avancées). Des compétences en programmation (Python) seraient un plus. Capacité à gérer des projets. La connaissance d’un catalogue de données type Collibra serait un plus. La connaissance du fonctionnement de la fourniture d’énergie et du fonctionnement des marchés de l’électricité/gaz seront un plus. Un intérêt minimum dans le domaine est demandé. Compétences comportementales : Vous êtes force de proposition, rigoureux, organisé, pragmatique et autonome. Vous faites preuve d’un bon esprit critique. Vous présentez de bonnes capacités d’analyse et de synthèse. Vous avez le goût du travail en équipe et avez la capacité à vous coordonner avec des interlocuteurs aux profils variés. Vous aimez l'opérationnel et savez faire preuve d'agilité et de transparence. Environnement existant : Salesforce SAP Databricks AWS Power BI

Bonjour, Pour le compte de notre client, nous recherchons un consultant Power BI. En tant que Data Engineer spécialisé en traitement de données , vous intégrerez une équipe dédiée à la valorisation des données. Vous serez responsable de la conception, du développement et du suivi des solutions data en environnement Azure et Databricks . Missions principales 🔹 Analyse et formalisation des besoins : Rédaction des User Stories (US) en collaboration avec les équipes métiers. 🔹 Développement et bonnes pratiques : Implémentation des pipelines de données sous Databricks , en assurant un code propre, testé et versionné avec Git . 🔹 Architecture et intégration : Conception des schémas data en accord avec les besoins fonctionnels et techniques. 🔹 Visualisation et reporting : Production de tableaux de bord interactifs sous Power BI . 🔹 Suivi et documentation : Rédaction des spécifications techniques et des rapports d’avancement (hebdomadaires et mensuels). 🔹 Monitoring et amélioration continue : Mise en place des indicateurs de suivi et gestion des risques pour optimiser les performances des solutions. Livrables attendus ✅ Documentation et spécifications techniques des développements. ✅ Analyses de données et conception d’architectures adaptées. ✅ Pipelines de transformation et d’intégration sous Databricks . ✅ Tableaux de bord et visualisation des données avec Power BI . ✅ Rapports d’avancement et suivi des KPIs du projet. Compétences requises 📌 Techniques : Cloud & Data : Bonne maîtrise de Databricks, Azure (Data Factory, Data Lake, Synapse Analytics, etc.) Développement : Expérience avancée en SQL, Python, PySpark Reporting & BI : Maîtrise de Power BI pour la création de dashboards Orchestration & CI/CD : Connaissance des outils GitLab, Jenkins, VTOM, Step Function Systèmes & Supervision : Familiarité avec Linux, Windows, Kubernetes, Datadog, Kibana, Grafana Gestion de projet agile : Expérience avec Jira, Trello, ServiceNow

🎯 La mission : Ce que l'on attend de toi … Dans le cadre de mise en place de nouveaux projets Data (Data à l’échelle, DataToCloud, …) chez l’un de nos clients dans le secteur de l’énergie, nous souhaitons renforcer notre équipe Winside avec expert Databricks. Mission demandant une expertise sur les technos : Databrick, AWS, Python streamlit, Delat Live Table et AutoLeader ainsi qu'une bonne maitrise CI/CD et des outils Gitlab, DAB (Databricks Asset Bundles), Connaissances Airflow, Power BI Service.

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance. (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Offre de Mission Freelance : Ingénieur MLOps Azure Databricks (Intermédiaire) 📍 Localisation : Paris (présence sur site souhaitée) 📅 Contrat : Freelance 💼 Expérience : 2 à 5 ans d'expérience en MLOps À propos de nous Le client est une entreprise innovante spécialisée dans le Cloud, avec une forte orientation sur l’intelligence artificielle et le big data. Afin de renforcer notre équipe technique, nous recherchons un Ingénieur MLOps Azure Databricks pour une mission freelance, afin de contribuer à la gestion et à l’optimisation de nos pipelines de machine learning sur Azure. Missions principales Développement, gestion et optimisation de pipelines MLOps utilisant Azure Databricks et les services associés (Azure Data Lake, Azure ML, etc.). Automatisation des processus de déploiement des modèles de machine learning en production. Intégration des pratiques CI/CD spécifiques aux environnements ML dans un contexte Azure. Mise en place de solutions d’observabilité et de monitoring des modèles (Azure Monitor, Log Analytics). Collaboration avec les équipes Data et DevOps pour assurer l’intégration continue et l’évolution des modèles. Optimisation de la performance des modèles et gestion des coûts sur la plateforme Azure.

Nous recherchons un Data Engineer Databricks Sénior avec une expérience minimale de 5 ans. Le contexte : Migration des traitement Apache Spark/Scala du datalake depuis une plateforme AKS/Airflow vers Azure Databricks et mise en place de nouveaux pipelines Organisation et suivi des migrations des projets depuis AKS vers Databricks Audit du patrimoine applicatif et organisation de chantiers de refactorisation pour améliorer la résilience et les performances des applications Homogénéisation des pratiques de développement au sein du service (mise en place TU, process de code review, mise en place d’outils de code quality ...) Suivi et résolution de failles de sécurité Elargissement de l’utilisation des services Databricks par les projets (Unity Catalog, migration parquet vers delta, workflows ...) Maitrise DevOps Maitrise de Spark / Scala / Databricks & AZURE sont indispensables 2 ans d'expérience minimum dans le même environnement technique

Freelance / Mission / France / Paris / Data Engineer / Tech Lead / Python / Azurez Data Bricks / Anglais Rôle : Data engineer tech lead Python/Azure Data bricks Localisation : Paris Télétravail : 4j/semaine (80%) Date de démarrage : ASAP Durée : 2 à 3 ans Contexte : Mon client chez cherche en urgence un Data engineer tech lead Python/Azure Databricks. Profil recherché : Au moins 7 ans d'expérience en tant que Data Engineer Précédente expérience sur un rôle de Tech Lead Expertise Python & Azure Data Bricks Bon niveau d'Anglais Si cette opportunité vous intéresse, merci de postuler sur l’annonce ou de me contacter directement avec votre CV (Christopher Delannoy) afin que je puisse rapidement revenir vers vous pour en discuter.

CONTEXTE En tant que DATA ENGINEER spécialisé en traitement de données, vous intégrerez une équipe pour concevoir, réaliser, suivre et intégrer des travaux autour de la valorisation de la donnée. MISSIONS • Étude et rédaction d’US, en particulier sur des sujets liés à la data. • Maîtrise des bonnes pratiques de développement (utilisation de git, lisibilité du code, tests, intégration continue). • Fournir une vision complète des solutions data pour le programme. • La maitrise de DATABRICKS est impérative Résultats attendus et/ou livrables • Documentation et spécifications des développements à réaliser. La présentation interactive avec Power BI est à privilégiée • Analyse de données • Développements DATABRICKS • Schéma d’architecture data en lien avec les besoins • Rapports d’avancement : o Rapports hebdomadaires et mensuels sur l’état d’avancement du projet et des livrables, les points bloquants, les risques et les actions correctives. o Indicateurs associés propres au projet. • Documentation technique : o Documentation complète des solutions techniques mises en œuvre.

Je cherche un consultant Data Management / Finance : Référentiel Tiers pour un groupe mondiale de gestion d'actifs. le consultant va intégrer l’équipe EDM et Master Data Management (ils sont sur Neoxam). Au niveau du code, il faudrait des capacités d’analyse des données via SQL Server, Databricks et Python pour assurer une cohérence optimale des données métier et facilitant une récupération rapide des données publiques. Enfin, des compétences en Data Viz (PowerBI) est nécessaire pour construire les reportings pour les besoins de data management, réglementaires, transparisation des fonds et représentation des données métiers sur le référentiel.

Nous sommes à la recherche d'un Data Engineer Databricks-Power BI Sénior avec une expérience minimale de 5 ans. En tant que DATA ENGINEER spécialisé en traitement de données, vous intégrerez une équipe pour concevoir, réaliser, suivre et intégrer des travaux autour de la valorisation de la donnée. • Étude et rédaction d’US, en particulier sur des sujets liés à la data. • Maîtrise des bonnes pratiques de développement (utilisation de git, lisibilité du code, tests, intégration continue). • Fournir une vision complète des solutions data pour le programme. • La maitrise de DATABRICKS est impérative * La présentation interactive avec Power BI est à privilégiée • Analyse de données • Développements DATABRICKS • Schéma d’architecture data en lien avec les besoins • Rapports d’avancement : o Rapports hebdomadaires et mensuels sur l’état d’avancement du projet et des livrables, les points bloquants, les risques et les actions correctives. o Indicateurs associés propres au projet. • Documentation technique : o Documentation complète des solutions techniques mises en œuvre. Environnement technique Une connaissance avancée dans l’une ou plusieurs des technologies ci-dessous est recommandée pour être à même de faire le lien entre les besoins métiers et la réalisation technique. • SGBDR : PostgreSQL • ETL : Databricks • REPORTING : Power BI • USINE LOGICIELLE : GitLab, Jenkins, Artifactory, Harbor • SYSTEME : Windows, Linux (Ubuntu, RedHat …), Kubernetes • LANGAGE : SQL, SQL LOADER, Script KSH, Java / Groovy, Javascript / Angular, Python • ORDONNANCEMENT : VTOM, Step Function • SUPERVISION : Datadog, Kibana, Grafana • OUTILS : ServiceNow, Jira, Trello Par ailleurs, les niveaux d’expérience minimum suivant seront exigés, une préférence sera portée au profil ayant connaissance du contexte SNCF (procédure, process, organisation…) : • Plus de 5 ans sur le développement Databricks et Power bi

En quelques mots Cherry Pick est à la recherche d'un "Data Databricks Engineer" pour un client dans le secteur de l'énergie Description Contexte Au sein de notre équipe Data Platform, vous interviendrez dans les activités liées à Databricks :Unity Catalog, Policy, Cluster/Serverless, PySpark. Vous participerez à la maintenance et àl'évolution de la Data & Analytics Platform, à l'évolution des infrastructures cloud via Terraform,au développement de micro-services en Python, et à la conception et maintenance de chaînes dedéploiement automatisé (CICD). Vous assurerez le bon fonctionnement opérationnel de la Data &Analytics Platform (MCO/Run) et enrichirez la documentation à l'attention des utilisateurs. Missions Interventions sur Databricks : Vous travaillerez spécifiquement sur Unity Catalog, la gestion des politiques, les clusters/serveurless, et l'utilisation de PySpark. Maintenance et évolution de la Data & Analytics Platform : Vous participerez à la gestion et à l'amélioration continue de la plateforme de données et des infrastructures cloud. Infrastructure via Terraform : Vous serez impliqué dans l'évolution des infrastructures cloud avec Terraform. Développement de micro-services en Python : Vous contribuerez au développement de micro-services pour l'architecture globale. Gestion du déploiement automatisé (CICD) : Vous serez responsable de la conception et maintenance des chaînes de déploiement continu. MCO/Run (Maintenance et Opérations) : Vous veillerez au bon fonctionnement de la plateforme au quotidien. Documentation : Vous enrichirez et maintiendrez la documentation à l'attention des utilisateurs.

En quelques mots Cherry Pick est à la recherche d'un "Consultant BI" pour un client dans le secteur de l'industrie musicale Description Consultant Power BI – Administration, Transformation & Modélisation Contexte : Dans le cadre du renforcement de notre équipe Data, nous recherchons un expert Power BI pour prendre en charge l'administration de la plateforme Power BI, assurer le support aux utilisateurs, et collaborer avec les Data Engineers sur les transformations et la modélisation des couches Silver et Gold. Missions principales Administration & Support : Gérer et administrer l’environnement Power BI (Workspaces, sécurité, gouvernance). Assurer le support aux utilisateurs (débogage, aide à la prise en main, meilleures pratiques). Gérer les accès, l’actualisation des datasets, la supervision et le monitoring des rapports/dashboards. Transformation, Modélisation & Collaboration avec les Data Engineers : Contribuer activement à la transformation des données pour la constitution des modèles Silver et Gold. Participer à la conception, l’optimisation et l’industrialisation des modèles sémantiques (couche Gold). Travailler en étroite collaboration avec les Data Engineers pour garantir des modèles performants, robustes et bien documentés. Apporter une expertise sur les meilleures pratiques de modélisation (Power BI, DAX, Power Query) et de structuration des datasets analytiques. Qualité & Documentation : Appliquer les bonnes pratiques de modélisation, versioning, documentation et gouvernance des données. Former et accompagner les équipes internes sur Power BI, notamment sur la lecture et l’exploitation des modèles Silver et Gold. ).

Contexte de la mission : Notre plateforme data science sur Azure est en construction. Le dataops a deux activités : - le déploiement de l'infrastructure as code sur le cloud - le développement de pipeline CI/CD pour les usages data science qui sont en cours d'industrialisation. Les missions de l'équipe sont : - Assurer le maintien en condition opérationnelle, l’évolutivité et la connaissance de la plateforme Microsoft Azure CLAUDI.IA - Accompagner les directions métiers et leurs data scientists dans la réalisation de leurs expérimentations et de leurs produits industriels de data science - Apporter un support fonctionnel et technique aux directions métiers