Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

• Développer et maintenir des architectures Data évolutives et scalables . • Mettre en place et optimiser les flux de données (ETL, ELT) • Participer à l’industrialisation des traitements de données . • Implémenter les bonnes pratiques DevOps & CI/CD (automatisation, tests, monitoring) • Participer aux échanges techniques et contribuer à l’amélioration continue des solutions. • Documenter et partager les bonnes pratiques avec les autres membres de l’équipe.

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance. (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

À propos de SkillsFirst chez NEURONES : Filiale du groupe NEURONES, SkillsFirst accompagne les entreprises ayant un besoin d'assistance technique par l'intervention de compétences d'experts, notamment dans le domaine de la DATA. Nos valeurs : Ecoute, Réactivité, Professionnalisme. MISSIONS : Intégré chez nos clients Grands Comptes dans les secteurs Banque, Assurance, Energie, Industrie, etc., nous attendons de vous que vous maîtrisiez les missions suivantes : Mener des projets de recherche autour de l’IA Générative (e.g. évaluation et mesure de l’hallucination des LLM, fine tuning de LLM etc.) ; Implémenter des outils innovants d'aide à la décision se basant sur l'IA générative ( RAG, RAG multimodal, LLM, SLM pour un domaine spécifique de la Finance etc.) ; Concevoir et implémenter des solutions de traitement du langage naturel (NLP) pour l'analyse de documents financiers (classification de texte, extraction d’information, NER) ; Développer et optimiser des modèles d'IA prédictive (implémentation d’algorithmes de Machine et de Deep Learning, Feature engineering accompagné par les métiers de la finance, etc.) ; Intégrer des pipelines d’IA générative avec des infrastructures cloud ; Travailler sur la gestion des embeddings et des bases de données vectorielles.

ATTENTION, MAITRISE DU NEERLANDAIS OBLIGATOIRE EN PLUS DU FRANCAIS ET DE L'ANGLAIS; Toute candidature ne respectant pas ce premier critère sera de facto rejetée Le Data Functional Analyst & BI Developer joue un rôle clé dans le développement de solutions de données (entrepôts de données et data marts) pour NIHDI (INAMI-RIZIV). Il/elle est en contact régulier avec l’entreprise pour comprendre les besoins de l’entreprise et les traduire en données et exigences techniques. Il/elle dispose d’une expertise pratique suffisante avec la pile de technologie Microsoft SQL Server BI. Cela inclut la connaissance de Power BI et de Azure databricks. Le Data Functional Analyst & BI Developer fait partie du Data Office, une organisation centrale fournissant des services de données dans les différents secteurs d’activité NIHDI. Il/elle travaille au sein d’une équipe Scum en étroite collaboration avec le Proxy Product Owner et le Data Architect du projet. Responsabilités Faciliter et mener des entretiens avec les utilisateurs finaux de l’entreprise afin de déterminer les exigences fonctionnelles et non fonctionnelles des solutions de BI; Traduire les besoins de l’entreprise en modèles de données logiques et physiques avec une documentation appropriée; Travaille avec l’architecte de données pour traduire les exigences en spécifications fonctionnelles et techniques; Concevoir, construire, déployer et maintenir les solutions BI selon les normes établies (intégration de données, entrepôt de données, data marts) conformément aux exigences fonctionnelles et non fonctionnelles (performance, volume de données); Testez la solution analytique, effectuez un dépannage, fournissez une maintenance et une documentation technique adéquate; Créez des visualisations et des rapports pour les projets demandés dans Power BI ou SSRS; Effectuer des examens prototypes et des démonstrations incluant une formation sur le modèle de données aux utilisateurs professionnels; Travaille avec le chef de projet (PL) tout au long du cycle de vie du projet pour assurer une mise en œuvre appropriée dans une approche agile et pragmatique.

Mettre en place des solutions de traitement de la donnée et de restitution permettant de mener des analyses et de dégager les tendances Développement en Python . Automatisation des processus de collecte et de traitement de données . Développement de scripts ETL (Extract, Transform, Load) . Connexion et intégration avec diverses bases de données (SQL, NoSQL, API) . Développement de modèles analytiques et prédictifs (Machine Learning souhaité) . Optimisation des performances des scripts existants Développement sous Power BI . Conception et développement de tableaux de bord interactifs . Optimisation des performances des rapports et des requètes DAX . Connexion à différentes sources de données (SQL Server, APIs, fichiers Excel, etc.) . Déploiement et gestion des Workspaces Power BI . Sécurisation et gouvernance des données

Consultant Data Visualisation Power BI – Expert en Gouvernance et Modélisation des Données Missions Principales Dans le cadre de ce poste, le consultant interviendra sur des projets liés à la data visualisation en utilisant Power BI . Il devra concevoir, développer et optimiser des rapports interactifs , ainsi que structurer des modèles de données performants. Il assurera également la gouvernance des données et accompagnera les équipes dans la conduite du changement . Compétences Fonctionnelles Requises Expérience en gestion de projet agile Expérience sur des projets DATA ou produits DATA dans divers domaines fonctionnels Expérience en recette data Expérience en conduite du changement Compétences Techniques Requises Maîtrise de la création de rapports et tableaux de bord interactifs avec Power BI, DAX et Power Query Structuration et optimisation des modèles de données Connaissance des principes UX/UI pour la conception de dashboards impactants Maîtrise de la rédaction de requêtes SQL Connaissance des principes de sécurité et gouvernance des données : gestion des accès, conformité Connaissance des environnements Databricks et AWS Certifications appréciées : Power BI Data Analyst Associate (PL-300) Azure Enterprise Data Analyst Associate (PL-600) Qualités Requises Autonomie, méthode et rigueur Bonne aptitude relationnelle et communication Capacité à s’organiser, anticiper, prioriser et respecter les délais Force de proposition et esprit d’initiative Capacité à identifier les difficultés et remonter les alertes pertinentes Environnement de Travail Ce poste s’inscrit dans un cadre à fort enjeu opérationnel et au sein d’une structure organisationnelle dynamique . L’intervenant devra démontrer une autonomie certaine , tout en assurant une collaboration efficace avec les équipes . Une montée en compétence rapide est attendue pour être pleinement opérationnel.

Contexte du poste : Nous recrutons un Expert Data pour rejoindre une équipe projet dans le cadre de la mise en place d’une nouvelle plateforme de pilotage décisionnel. Cette plateforme accompagne la modernisation des systèmes d'information et remplace les outils existants devenus obsolètes. Vous serez directement impliqué dans l'intégration de données à fort volume, la modélisation et l’automatisation, le tout dans un environnement cloud moderne avec une forte culture de la donnée. Missions principales : Mettre en place les flux d’alimentation de données volumineuses via Databricks Concevoir les modèles de données décisionnels et les implémenter dans l’architecture cloud Participer aux rituels agiles du projet (daily, sprint review, planning, démo) Réaliser les notebooks sous Databricks et préparer les données pour la data visualisation Détecter les anomalies de données et contribuer à l'amélioration continue de la qualité Documenter l’architecture, les tests, les procédures de livraison et d’exploitation

Nous recherchons un Tech Lead Data Engineer pour diriger notre équipe et assurer la mise en œuvre de solutions robustes et évolutives dans un environnement technique basé sur Python, SQL, Databricks, PySpark, DBT, Dremio & Azure. Leadership Technique : Diriger une équipe de data engineers, en fournissant une expertise technique et en assurant la qualité des solutions développées. Architecture et Conception : Concevoir et mettre en œuvre des architectures de données évolutives et sécurisées, en utilisant des technologies telles que Snowflake, Databricks, et Azure. Développement et Optimisation : Développer et optimiser des pipelines de données ETL/ELT, en veillant à l'efficacité et à la performance des processus de traitement des données. Collaboration : Travailler en étroite collaboration avec les équipes de développement, les data scientists, et les parties prenantes pour comprendre les besoins métiers et traduire ces besoins en solutions techniques. Gestion de Projet : Gérer des projets de bout en bout, de la conception à la mise en production, en utilisant des méthodologies Agile. Sécurité et Conformité : Assurer la conformité des solutions avec les normes de sécurité et les réglementations en vigueur. Formation et Mentorat : Former et encadrer les membres de l'équipe, favoriser le développement des compétences et encourager l'innovation. Veille Technologique : Rester à jour avec les dernières tendances et innovations dans le domaine des technologies de données, et proposer des améliorations continues aux solutions existantes. Visualisation et Monitoring : Utiliser des outils comme Grafana et Streamlit pour créer des tableaux de bord interactifs et surveiller les performances des systèmes de données.

emagine recherche pour l’un de ses clients grand compte un principal data architect. Lieu : Lyon Durée : > 12 mois Démarrage : ASAP Télétravail : 2 jours par semaine Résumé Le poste de Principal Data architect est réservé aux professionnels les plus expérimentés, ce qui souligne l'importance stratégique de ce rôle dans l'organisation. Ce poste requiert des compétences clés telles qu'une expérience approfondie avec Azure , une expertise confirmée en PowerBI , et une compétence technique en Databricks . Responsabilités : Le Principal Data Architect sera chargé de définir la trajectoire de migration des données tout en gérant plusieurs projets. Définir la trajectoire de migration des données et gérer plusieurs projets simultanément. Collaborer avec des équipes techniques et métier pour les orienter dans leurs choix architecturaux. Etre le référent technique au sein de l'équipe en proposant des améliorations significatives. Assurer la sécurité et l'intégrité des systèmes de données existants en vue d'une migration vers l'IA. Must Haves : Expérience approfondie avec Azure. Compétence technique en Databricks. Expertise confirmée en PowerBI. Capacité à mener des projets de migration de données. Compétences en architecture des données. Nice to Haves : Expérience dans l'industrie manufacturière et des systèmes Power Train. Compétence en gestion de programmes de transformation numérique. Autres Détails : Équipe : GTO-MP (Manufacturing and Power Train). Type de contrat : Mission longue durée avec démarrage ASAP. Disponibilité requise : Urgente avec transfert de connaissances.

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

Almatek recherche pour l'un de ses clients, un Cloud Data Engineer Azure ou AWS sur Paris/ Grenoble. Descriptif: Le client cherche un ingénieur en données cloud qui pourra contribuer au développement de sa plateforme IA, utilisée par ses parties prenantes internes pour concevoir et déployer des cas d'utilisation de l'IA pour ses offres externes et ses fonctions internes. Nous recherchons une personne ayant une formation en ingénierie des données et qui a expérimenté les plateformes cloud. Il/elle doit être aguerri à la résolution de problèmes métiers et techniques complexes en appliquant les meilleures pratiques d'ingénierie, de qualité et de sécurité dans le contexte du développement et de l'intégration de logiciels d'IA. Notre plateforme d'IA est construite sur les fournisseurs de cloud Azure et AWS, et utilise également des solutions tierces telles que Databricks. Attendus : Expérience : entre 2 & 5 ans Background data engineering Bonne connaissance du langage Python Connaissance langage Spark Bonne connaissance d'au moins l'une des 2 plateformes cloud : Azure ou AWS Familier avec les outils de CI/CD et infrastructure as code La connaissance de Databricks est un plus Environnement technique : Langages : Python, Spark Plateformes cloud : Microsoft Azure, AWS Outils: Kubernetes, Databricks, Docker, Spark, OpenDataSoft, actions Github, Terraform. Compétence linguistique : Anglais

Cloud & DevOps : Microsoft Azure (AKS, AML, Azure Functions, App Services, Logic Apps, Azure OpenAI Service, Azure AI Foundry) Infrastructure as Code : Terraform CI/CD : Azure DevOps Cloud-native applications Sécurité cloud et conformité Surveillance et exploitation en production Intelligence Artificielle / GenAI : Intégration de services IA et GenAI Génération d'images et de vidéos par IA Stack IA avancée sur Azure Big Data & Plateformes de données : Databricks (analyse, scalabilité, traitement de données) Support de charges IA et Big Data Architecture & Gestion de projet : Design d'architectures cloud robustes Documentation technique et formation Collaboration avec les équipes sécurité, production, et exploitation Veille technologique (Google Cloud, Alibaba Cloud, etc.) 2 jours de remote Issy-les-Moulineaux

Nous recherchons plusieurs Architectes Technique OnPrem & Cloud pour une mission longue chez l'un de nos clients. Niveau expérimenté à senior requis. CONTEXTE DE LA MISSION Au sein de l'équipe Architecture de la Direction des Infrastructures et de la Production du groupe, le consultant contribuera aux activités : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation - Accompagnement de la stratégie Move2Cloud - Co-construction des solutions - Accompagnement des équipes d'exploitation et de développement Environnement général - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess DESCRIPTION DE LA MISSION - Etude des besoins issus des équipes de développement - Etude de l'évolution des composants de plateformes techniques ou de l'intégration de nouveaux services - Rédaction des documents d'architecture et d'intégration générale et détaillée - Rédaction des supports d'aide à l'exploitation et accompagnement des équipes d'exploitation durant la transition - Contribution à l'évaluation budgétaire des solutions mises en œuvre - Support N3 des équipes d'exploitation Démarrage souhaité : au plus tôt Durée de la mission : Longue Paris

Contexte Dans la continuité du développement de l'écosystème Digital du client, il construit le pilier décisionnel : DataHub Le Design System DataViz a été construit avec l'objectif de rendre les informations complexes accessibles et exploitables grâce à une visualisation claire et intuitive. La construction du Design System DataViz est au cœur de la construction des outils de pilotage chantier Cockpit). Il s'agit de construire un langage commun pour l’ensemble des métiers en standardisant les éléments design et les composants visuels Power BI. Mission Contenu détaillé de la prestation Vous allez travailler étroitement avec le directeur de projets Design System DataViz et les équipes Data et les métiers. Le but de la prestation consiste à l'accompagnement UX/UI design dans la production et livraison d'éléments design et graphiques, de composants Power BI dessinés dans le cadre du design system DataViz, de maquettes Power BI. Comprendre les besoins et les enjeux à piloter Comprendre les connaissances nécessaires pour le pilotage et la décision Traduire les besoins/enjeux en conception et en design en s'appuyant sur le design system actuel Par exemple : o Mettre en place les scénarisations des KPI o Mettre en place la hiérarchisation visuelle par typographie et graphique o Mettre en place les filtres interactifs… Concevoir / produire les éléments de design pour répondre au besoin conception Produire / enrichir / standardiser le design system Les éléments design pour conception (ex: palette de couleurs contrastées, encadrés et pictogrammes, graphiques enrichis et dessinés…) Produire / faire évoluer / enrichir / standardiser le design system Les composants Power BI pour Dashboard Maintenir / faire évoluer / produire la bibliothèque design system conception (éléments design) Maintenir / faire évoluer / produire la bibliothèque design system Power BI (composants PBI dessinés) Produire les maquettes Power BI Le(la) consultant(e) va travailler sur les environnements (Figma, PowerBI, Azure, Databricks, SQL, …) co-managé par les équipes Big Data ainsi que les équipes DCLD (direction client digital). Les interlocuteurs seront multiples : DCLD, DCL (direction client), DSI, Equipe Big Data, Equipe ASQ, Communication, Innovation. Attentes pour la prestation Conception / réalisation des outils de pilotage pour les différents enjeux / métiers Réalisation des éléments design Réalisation des éléments Power BI dessinés Réalisation des maquettes / reportings PBI dynamiques Enrichissement et gestion de nos dictionnaires design system Rédaction des cahiers des charges, spécifications fonctionnelles et techniques nécessaires Garant de la qualité de réalisation Technique Figma Power BI / DAX Cloud Azure Databricks SQL Python, Spark, Scala Spyder… Livrables Design system – éléments de conception UI/UX Design system – composants Power BI dessiné Reportings/Maquettes Power BI dynamique Cahiers des charges / CR / Dictionnaires Présentation / Documentation

Nb années d'expérience : 5 ans minimum Profil : Ingénieur(e) MLOps expérimenté(e) Description détaillée des tâches qui constituent la mission : en étroite collaboration avec les équipes de Data Science, Data Engineering et IT pour garantir l'alignement des solutions MLOps avec les besoins métier : Développer et gérer l'infrastructure en tant que code (IaC) avec Terraform pour provisionner et configurer nos ressources cloud Etre force de proposition dans l'adoption et l'intégration d'outils MLOps tels que MLflow et Unity Catalog Mettre en place des systèmes de monitoring et d'alerte pour assurer la qualité et la performance des modèles en production Optimiser les workflows MLOps pour améliorer l'efficacité et réduire les coûts Compétences techniques : Databricks Data Intelligence Platform HashiCorp Terraform MLflow, Unity Calog Machine Learning Compétences humaines : stratégie, synthèse, leadership, collaboration

Dans le cadre de notre croissance, nous recherchons un Cloud DevOps expérimenté pour renforcer notre équipe et accompagner nos clients dans la conception, l’optimisation et la sécurisation de leurs infrastructures Cloud. Vous interviendrez sur des projets à forte valeur ajoutée en assurant la mise en place et l’automatisation des environnements Cloud sur AWS ou Azure . Missions principales : Concevoir et gérer des architectures Cloud sécurisées, évolutives et hautement disponibles sur AWS ou Azure . Mettre en place et optimiser les services Cloud : Sur AWS : Réseau ( VPC, Load Balancer, VPN ), Données ( S3, RDS, DynamoDB, Athena ), Computing ( EC2, Lambda ), Sécurité ( IAM, Security Groups, KMS, AWS WAF, AWS Shield ). Sur Azure : Réseau ( VNet, Application Gateway, VPN Gateway ), Données ( Azure Storage Account, Azure SQL Database, Azure Data Factory, Databricks ), Computing ( Azure Virtual Machines, Azure Functions, App Services ), Sécurité ( Azure AD, NSG, Azure Key Vault, Azure Defender, Azure Firewall ). Déployer et administrer des clusters Kubernetes (EKS ou AKS) . Automatiser les processus de déploiement, de gestion des infrastructures et de monitoring (Terraform, Ansible, CI/CD, GitOps). Garantir la disponibilité, la résilience et la sécurité des services Cloud. Assurer la surveillance, le troubleshooting et l’amélioration continue des infrastructures. Accompagner et conseiller les équipes internes et les clients sur les bonnes pratiques DevOps et Cloud.