Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Nous recherchons pour l'un de nos clients, une entreprise du CAC 40, un(e) Data Engineer senior pour intégrer une mission longue de 3 ans. Le rôle du Data Engineer senior dans ce projet impliquera la conception et la mise en œuvre des composants de plateforme suivants : • Ingestion de données • Traitement et normalisation des données. • Distribuer les données aux différentes parties prenantes. • Construire et améliorer un cadre commun comprenant la surveillance, le CI/CD, les tests, les performances, la résilience, les pratiques de développement et la qualité du code…

Responsabilités: 1- Mise en place de la gestion de code avec Git (CI/CD): Développer et maintenir les pipelines CI/CD pour assurer le déploiement continu des développements Databricks. Collaborer avec les équipes de développement (reporting power bi et data science) pour intégrer les meilleures pratiques de gestion de code. 2-Définition et mise en place des bonnes pratiques en termes d'architecture: Concevoir et mettre en œuvre des architectures de données efficaces et évolutives sur la plateforme Databricks. Élaborer des normes et des directives pour garantir la cohérence et la qualité des solutions. 3-Coordination avec l'éditeur et les équipes du group One Data Team: Être le point de contact principal avec l'éditeur Databricks pour résoudre les problèmes techniques et obtenir un soutien. Collaborer avec les équipes internes pour comprendre les exigences métier et traduire celles-ci en solutions techniques efficaces. 4-Accompagnement de l'équipe dans la montée en compétence sur Databricks: Former et encadrer les membres de l'équipe sur l'utilisation optimale de Databricks, y compris les fonctionnalités avancées. Fournir un support technique et des conseils pour résoudre les défis rencontrés lors du développement et de la mise en production.

Data Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud. Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir une bonne culture Data des best practices en terme de nettoyage, de transformation et modélisation de données Une certification sur Databricks est également fortement appréciée

Missions principales : Mise en œuvre de projets data Data engineering : mise à disposition des données dans le data Lake au format delta lake (Azure Databricks) ▪ Conception des flux data ▪ Développement des pipelines de données avec ADF et Databricks (ingestion Bronze*/ Implémentation Silver**) ▪ Mise en œuvre avec le superviseur des flux du monitoring de ceux-ci ▪ Intégration des tests unitaires Analyse & BI : ▪ Analyse des besoins ▪ Conception, élaboration et déploiement des rapports et tableaux de bord sous Power BI à partir du Gold ▪ Modélisation des datamarts ▪ Analyses de données et Requêtages ▪ Maintenance évolutive et corrective o Coordination des intervenants SI o Rédaction de spécifications & Documentation o Mise en place des exigences RGPD/SSI

Smarteo recherche pour l'un de ses clients, Un Data Architect sur Lyon / 2 jours de télétravail Description: UnData Architect qui aura pour mission de : Collecter les pratiques/besoins/usages/exigences Data qui ont été déployées au sein du métier Concevoir une architecture de données évolutive, en cohérence avec le schéma directeur du client Orienter l?équipe de développement et participer aux efforts de dev, au sein d?un collectif exclusivement composé de Data Architects et Data Engineers Conduire le changement auprès d?un métier qui pourrait offrir un peu de résistance Stack techno : Azure Databricks, Synapse, Power BI, Python, Pyspark Si vous êtes disponible intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

Notre client, un grand compte du secteur de l'énergie, souhaite renforcer les capacités de développements d’une des feature team sur la technologie de développement Databricks (Databricks, Python, Spark SQL) dans un environnement 100% Cloud Azure (AKS, Docker, Azure Functions, Web API, Azure API manager, REDIS cache, Event hub, StreamAnalytics). Une expérience Azure passée serait appréciée. Nous sommes à la recherche d'un profil de développeur Databricks H/F. Les principales activités sont : Développements de pipelines Data permettant la construction et l’évolution de notre Datalake : Azure Databricks, Python, Spark SQL, Azure Blob Storages Participation aux déploiements sur les environnements de test et de production Maintien en condition opérationnelle des éléments logiciels en production Interaction avec les équipes de développement Web, IoT, SQL et Wonderware En fonction des autres compétences du candidats, d’autres activités pourraient être : Participation à des réunions de conceptions et de chiffrages Participation à des réunions de prises de décisions techniques Conseils techniques au Tech Lead / Architecte de l’équipe « Data » et de la plateforme Le candidat devra pouvoir s’intégrer dans un projet dynamique en méthodologie agile et dans une équipe de grande taille. Contexte : La plateforme digitale dédiée aux énergies renouvelables. Ce nouvel outil de gestion des données est connecté à l’ensemble des centrales de production d’énergies renouvelables du Groupe à travers le monde pour améliorer les performances des parcs éoliens et solaires. Avec cette plateforme, notre client souhaite faciliter la prise de décision des exploitants, permettre une maintenance prédictive et améliorer la rentabilité des installations. Contexte technique : Il s'agit d'une plateforme contenant de nombreux modules différents tous basés sur des technologies Schneider ou Microsoft. Il s’agit d’une plateforme totalement hébergée dans le Cloud et déployée dans une vingtaine de pays.

Le data engineer intègre une équipe en charge du lakehouse. De nombreuses challenges techniques sont attendus, la maitrise de l'outil DATABRICKS est un pre requis. Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analyse) -Cadrage technique des besoins émis par les consommateurs de la plateforme Data -Est garant de la mise en production des traitements au sein de la plateforme -Optimisation du code et de la capacité des VMs mise en œuvre pour chaque traitement -Garantit la disponibilité et l'outillage pour les équipes métier, ainsi qu'aux utilisateurs de la plateforme (data scientists / data analystes / data engineer) -Est en relation avec les équipes infrastructure afin d'assurer le cadrage et le déploiement des solutions valides -Support aux équipes consommatrices -Analyse d'anomalie et proposition solution court / moyen terme - Developpement sous Databrick (Python / SQL / Spark / Airflow) -Est force de propositions techniques, en capacité de faire un état des lieux sur les normes et process de devt et faire appliquer les recommandations.

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : un Ingénieur data expérimenté (H/F) Le client recherche un profil expérimenté ayant déjà travaillé avec Airflow et Databricks pour la partie data engineering ainsi que Tableau pour la partie visualisation. Vos principales missions : Migration : connecter les sources de données vers AWS S3 Réalisation de dashboards avec Tableau Travail sur la qualité des données avec Databricks Création de flux de données automatisés avec Airflow

Data Architect pour Designer des flow de données Capable de comprendre les enjeux Faire des recommandations Développer dans un environnement Databricks et dans le sprojets où l'équipe travaille Travail d'équipe / transverse Des équipes ne sont pas toujours matures avec une roadmap claire Databricks +++ Anglais courant +++ c. c. c. c. c. c. c. c. c c. c. c. c. c. c. c.

emagine is looking for a Senior Data Architect AZURE for its international client in the automobile sector Location : Lyon Onsite : 3 days a week Languages : Fluent in French and English Team : Marketing and communication *** suite Azure autour d’Analytics ***databricks expert ***le design de solution Role : responsible for the design, documentation of the solution Data Architect Azure with a good overall understanding of available services in the Azure Analytics stack. Work with DPO, Data Analyst, Data Engineer & Data Scientist and Architect community to define architect with right quality Technical lead and discussion with Business Stakeholders and Enterprise Architecture. Oversee data management process and provide guidance and direction to development teams Responsabilities : Data Architecture design Develop, document and maintain logical and physical data models. Skills and Profile : Team Player and able to work in a big structured company Experiences in Databricks ( EXPERT ), ADLS storage, SQL DB, ADF ( Azure Data Factory ) and Power BI Data Architecture design Azure Advanced Analytics technologies and frameworks Programming language: Python, Pyspark Agile ( Group discussions every 10 weeks ) You have excellent communication skills in French and English (C1 level) For full project details please apply with your latest CV or send a message to Sumi at this mobile phone number +-téléphone masqué-

Tu corresponds au/à la Chef de Projet DATA que nous recherchons si tu possèdes une expérience sur les sujets suivants : - 3-5 ans d’expérience sur du pilotage de projet Data dans le Cloud - Maîtrise de l’animation et du pilotage d’équipes sur des projets BI en méthodologie agile et cycle en V. - Gestion de plusieurs projets en parallèle et reporting consolidé dans le cadre d’une gestion de portefeuille projet. - Maîtrise des indicateurs coût / délai / périmètre sur des projets en modalité forfaitaire et assistance technique - Gestion des risques et des remontées d’alertes. - Une certification de gestion de projet et sur le domaine Data d’un des Cloud Providers est un plus. Ton quotidien chez Komeet sera rythmé par : - Le pilotage de tes équipes projet - L’animation des ateliers afin d’étudier et cadrer les besoins clients en collaboration avec l’architecte. - L’animation de la comitologie projet en tant qu’interlocuteur privilégié de l’ensemble des parties prenantes (client, partenaire, équipe, management). - La participation à la veille de Komeet Technologies.

Nous recherchons un(e) développeur(se) python passionné(e) pour rejoindre notre équipe et contribuer à la création d'une librairie Python (un SDK) à destination de nos data engineers et de nos data scientists. Cette librairie servira de base à nos équipes Quants pour qu'ils développent des modèles avancés de prévision de la consommation et de la production d'énergie. Le SDK fournira le niveau d'abstraction requis afin d'assurer une séparation claire entre la préparation des données, le développement des modèles (exploration, entraînement) et les besoins en infrastructure sous-jacents. Le profil idéal est : - Un(e) passionné(e) du développement Python, capable de jongler avec les bibliothèques et les frameworks. - Un(e) geek qui adore résoudre des énigmes algorithmiques et trouver des solutions élégantes. - Un(e) artisan du code qui sait comment rendre les systèmes scalables et performants. - Quelqu’un qui comprend les enjeux du MLOps et qui a idéalement déjà navigué dans l’univers de Databricks/SageMaker. Le poste requiert une maîtrise avancée de Python, avec une solide expérience dans le développement de librairies et de packages. Une expérience préalable autour de Feature Stores/Model Registries est un plus certain. Contexte XXXX est un acteur majeur de la transition énergétique vers la neutralité carbone, qui investit massivement dans la digitalisation et la modernisation de son système d’information. Le groupe a récemment entrepris de créer une plateforme dédiée au forecasting, qui s’appuie sur l’intelligence artificielle, le big data et les données météorologiques pour optimiser la gestion des risques et la performance des activités Supply et Renewables.

💼 Missions pour le Consultant BI : Développement et optimisation : Concevoir et déployer des solutions BI en utilisant Tableau, Power BI, SQL , Python, et plus, pour répondre aux besoins des clients. Analyse de données : Utiliser AWS, DBT, Databricks, GCP ( BigQuery ), pour l'analyse et la transformation des données. Automatisation des processus : Mettre en place des pipelines de données automatisés avec Docker, Airflow, et Git. Surveillance et optimisation : Utiliser Datadog, Looker, SAP BO, Cognos , pour surveiller les performances et optimiser les systèmes. Expertise technique : Fournir des conseils d'expert sur SQL Server, Cubes , SSIS, SSRS, SSAS , pour améliorer les processus et les performances.

Sapiens Group recherche pour le compte de l'un de ses clients basé à Lille un Data engineer Senior disponible sous peu Vos missions : • Vous concevez, alimentez et maintenez les data pipelines, les différents espaces de stockage et leur code source ( IaC) • Vous êtes acteur de la qualité des données que nous servons à nos clients. Pour répondre, vous savez interpréter les données et comprendre les besoins fonctionnels. • Vous êtes acteur de la disponibilité et de la performance des solutions de collecte, transformation, stockage et exposition que vous mettez en place avec l’équipe. • Vous définissez et mettez en place le monitoring adéquate. • Vous formalisez, documentez et généralisez les bonnes pratiques pour accélérer l'apprentissage au sein des équipes travaillant avec les données. • Vous appliquez la data gouvernance et les règles de data management

Tu corresponds au/à la DevOps que nous recherchons si tu possèdes une solide expérience (3-5 ans) sur les sujets suivants : - Projets DevOps : architecture, déploiement d’applications, monitoring d’infrastructure. - Connaissances approfondies du DevOps (IaC, monitoring, CI/CD, ) - Expérience significative sur au moins un des Cloud Providers principaux (AWS, Azure, GCP) et les services DevOps associés. Tu as le profil d’un(e) futur(e) Komeeter si : - Tu es autonome et sais travailler en équipe notamment dans des contextes Scrum/Agile - Tu sais être force de proposition et as un esprit de synthèse. - Tu sais avoir à la fois une vision technique mais aussi métier Ton quotidien chez Komeet sera rythmé par : - L’animation des ateliers afin d’étudier et cadrer les besoins clients - La construction, le déploiement et le bon fonctionnement des infrastructures ainsi que des applications datas dans des environnements Cloud. - Le développement, via l’infrastructure as code, des fondamentaux réseaux et systèmes ainsi que des services Cloud Public - L’automatisation du provisioning des environnements via des outils de déploiement continu - La rédaction et l’évaluation des procédures d’exploitation - La participation à l’effort de veille technologique.

🌟 Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un(e) Data Architect pour intervenir chez un de nos clients. 💻💼 Votre mission 🎯 : Vous arrivez avec votre expertise technique et vous plongez dans le développement. Vous serez là, au cœur de la guilde des architectes, assurant la bonne marche du flux de données et donnant un coup de main aux équipes de développement. C'est vous qui aurez la responsabilité de donner vie à la solution dans votre domaine, en documentant chaque étape du processus. Et puis, vous avez l'habitude de façonner, documenter et garder en bon état les modèles de données, tant logiques que physiques.