Trouvez votre prochaine mission ou futur job IT.

🎯 Bonjour à tous ! Un de mes client recherche un Data Engineer de 3 à 5 ans d'expérience pour une mission dans un environnement Azure. 📅 Mission de 3 mois renouvelable 📅Lieu : Lyon Auvergne-Rhone-Alpes 📅 Démarrage ASAP Seules les candidatures dans la région seront acceptés du fait de la politique de télétravail du client. L'objectif : participer à un projet de refonte profonde de la data platforme d'un client dans le secteur de l'industrie. Modélisation, visualisation de données, gestion des flux et des pipelines... le tout sur une stack Azure Notre client possède un environnement MS On-prem et Cloud, et pense faire jouer un rôle de plus en plus important à la dataplatform Fabric. Le petit + : certaines technos demanderont probablement une migration vers une stack Azure. Les candidats ayant participé à un projet similaire auront un bel avantage pour une intégration dans l'équipe.

Bonjour, Mon client recherche sur Marseille un Data Engineer pour un projet de migration vers une stack technique Azure, depuis un environnement On-prem* Le rôle : conception, développement et intégration de pipelines data complexes. participation à la mise en place des plateformes data hybrides (on-prem et cloud) Vous contribuez au déploiement des bonnes pratiques et enrichissez les outils de contrôle métier mis à disposition. La connaissance d'AwS est un +, afin de participer à l'environnement Hybride qui sera composé. Il s'agit d'une mission longue (plusieurs années si tout se passe bien). Merci de me faire signe si vous êtes intéressé ! Bon week-end

Description du poste Dans le cadre du développement et de la maintenance de solutions data, nous recherchons un Data Engineer Azure confirmé ou senior pour intervenir sur la mise en œuvre et l’évolution de plateformes analytiques sur Microsoft Azure. Vous participerez à la réalisation des solutions techniques , au maintien des outils existants , ainsi qu’à la maintenance en condition opérationnelle de niveau 2 . Ce rôle implique une forte collaboration avec plusieurs acteurs métiers et techniques : chefs de projets, architectes data, équipes Dev et OPS. Missions principales Réaliser les développements techniques des solutions Data définies en amont Assurer la maintenance corrective et évolutive des outils existants Documenter les solutions développées (technique, exploitation, utilisateurs) Prendre en charge les tickets utilisateurs (niveau 2) Collaborer avec les utilisateurs, chefs de projets et équipes techniques (OPS, Dev, Réseau, Infra) Participer aux tests, au déploiement et au suivi des réalisations Maintenir le backlog des applications en lien avec les utilisateurs Communiquer l’avancement des travaux aux parties prenantes Suivre les versions et planning de mise en production Livrables attendus User Stories Spécifications techniques détaillées Composants logiciels (code source, scripts, modèles de données, etc.) Plans de tests et bilans d'exécution Documentation technique et utilisateur Rapports d’activité Environnement techniqueBusiness Intelligence Azure Synapse Analytics Azure Data Factory Azure Stream Analytics MDX, DAX Bases de données Microsoft SQL Server 2016 T-SQL Azure SQL Database Azure Data Lake Azure Account Storage Outils Microsoft Visual Studio 2019 SQL Server Management Studio 2018 GitHub TFS Azure Langages T-SQL C# Localisation : Gare de Lyon Secteur : Immobilier Contrat : CDI

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : 💡 Contexte /Objectifs l'entité est en charge des développements liés aux applications sources, de contrôle et de valorisation des instruments, des données de marchés et des facteurs de risques. L'application sert à transférer les données sur le Cloud public (Azure) à des fins analytiques. 💡 Objectifs et livrables Les enjeux étaient nombreux :  Volumétrie de données  Performance / Multi-Threading  Data Quality  Legacy Management  Large éventail de technologies à maîtriser : o Etudes techniques o Refonte technique et refonte de l’architecture du projet o Migration On-Premise vers Azure o Optimisation des performances o Amélioration du Code Quality o Mise en place des process CI/CD o Mise en place du monitoring o Diverses implémentations et migrations techniques de composants déployés dans Azure (AirFlow, Migration Blue/Green, etc…)

Nous recherchons un Tech Lead Data Engineer pour diriger notre équipe et assurer la mise en œuvre de solutions robustes et évolutives dans un environnement technique basé sur Python, SQL, Databricks, PySpark, DBT, Dremio & Azure. Leadership Technique : Diriger une équipe de data engineers, en fournissant une expertise technique et en assurant la qualité des solutions développées. Architecture et Conception : Concevoir et mettre en œuvre des architectures de données évolutives et sécurisées, en utilisant des technologies telles que Snowflake, Databricks, et Azure. Développement et Optimisation : Développer et optimiser des pipelines de données ETL/ELT, en veillant à l'efficacité et à la performance des processus de traitement des données. Collaboration : Travailler en étroite collaboration avec les équipes de développement, les data scientists, et les parties prenantes pour comprendre les besoins métiers et traduire ces besoins en solutions techniques. Gestion de Projet : Gérer des projets de bout en bout, de la conception à la mise en production, en utilisant des méthodologies Agile. Sécurité et Conformité : Assurer la conformité des solutions avec les normes de sécurité et les réglementations en vigueur. Formation et Mentorat : Former et encadrer les membres de l'équipe, favoriser le développement des compétences et encourager l'innovation. Veille Technologique : Rester à jour avec les dernières tendances et innovations dans le domaine des technologies de données, et proposer des améliorations continues aux solutions existantes. Visualisation et Monitoring : Utiliser des outils comme Grafana et Streamlit pour créer des tableaux de bord interactifs et surveiller les performances des systèmes de données.

L' Ingénieur Data Azure Synapse est essentiel pour répondre aux besoins urgents de deux unités commerciales au sein de l'organisation. Ce poste sera partagé à parts égales entre l'unité opérationnelle A et l'unité opérationnelle B, qui ont toutes deux besoin de solutions rapides et efficaces en matière de données pour atteindre des objectifs immédiats. L' unité opérationnelle A se concentre sur l'achèvement de projets de données à petite échelle d'ici la fin de l'année fiscale, où l'objectif principal est de concevoir et de mettre en œuvre des flux de données qui améliorent les capacités de reporting et d'analyse. L' unité opérationnelle B a besoin d'un soutien « Fast Track » pour accélérer les projets en cours, en veillant à ce que les processus de données et les intégrations restent ininterrompus et optimisés. Cela implique un dépannage rapide, l'amélioration du pipeline de données et le soutien de l'architecture Azure Synapse existante. Compte tenu des délais serrés et de la nature partagée de ce rôle, l'ingénieur devra travailler dans un environnement dynamique, en équilibrant efficacement les responsabilités de développement et de support entre les deux unités. Les principaux objectifs de ce poste sont de fournir des solutions de données efficaces qui soutiennent les objectifs immédiats de chaque unité commerciale. L'ingénieur devra : Développer et mettre en œuvre des flux de données pour l'unité d'affaires A : Concevoir, développer et déployer des pipelines de données et des transformations dans Azure Synapse pour soutenir la réalisation des projets de reporting de fin d'année. Il s'assure de l'exactitude, de la performance et de l'évolutivité des données afin de répondre aux besoins croissants de l'unité en matière de données. Documenter les processus et le code pour faciliter la connaissance Fournir un soutien « accéléré » à l'unité opérationnelle B : Diagnostiquer et résoudre les problèmes liés aux pipelines et structures de données existants, en s'attachant à minimiser les temps d'arrêt et à garantir l'intégrité des données. Améliorer les performances des solutions Azure Synapse existantes, en apportant des correctifs et des améliorations rapides si nécessaire. Offrir des conseils sur les meilleures pratiques en matière d'ingénierie des données au sein d'Azure Synapse, en aidant l'équipe à assurer la pérennité de ses solutions de données.

Almatek recherche pour l'un de ses clients, un Cloud Data Engineer Azure ou AWS sur Paris/ Grenoble. Descriptif: Le client cherche un ingénieur en données cloud qui pourra contribuer au développement de sa plateforme IA, utilisée par ses parties prenantes internes pour concevoir et déployer des cas d'utilisation de l'IA pour ses offres externes et ses fonctions internes. Nous recherchons une personne ayant une formation en ingénierie des données et qui a expérimenté les plateformes cloud. Il/elle doit être aguerri à la résolution de problèmes métiers et techniques complexes en appliquant les meilleures pratiques d'ingénierie, de qualité et de sécurité dans le contexte du développement et de l'intégration de logiciels d'IA. Notre plateforme d'IA est construite sur les fournisseurs de cloud Azure et AWS, et utilise également des solutions tierces telles que Databricks. Attendus : Expérience : entre 2 & 5 ans Background data engineering Bonne connaissance du langage Python Connaissance langage Spark Bonne connaissance d'au moins l'une des 2 plateformes cloud : Azure ou AWS Familier avec les outils de CI/CD et infrastructure as code La connaissance de Databricks est un plus Environnement technique : Langages : Python, Spark Plateformes cloud : Microsoft Azure, AWS Outils: Kubernetes, Databricks, Docker, Spark, OpenDataSoft, actions Github, Terraform. Compétence linguistique : Anglais

Dans ce cadre , la prestation consiste à contribuer à : - L'intégration des cas d’usages Datalake dans le SI avec l'Architecture Techniques - Identifier et prévenir les risques éventuels de dérapages en terme de coûts et de délais afin de mitiger le risque identifié - Développement et Implémentations des collectes de données, des jobs de traitement et Mapping de données (Spark/Scala/SparkSQL) - Développement des moyens de restitution via génération de fichier et ou API & Dashboarding ( Java Spring Batch/Boot, rest API, Postgres) - A l'amelioration de la chaîne de livraison continue ( Jenkins, Sonar, Nexus , Kubernetes) - Mise en place de la revue de code avec l'entité - Initiatives projet sur la migration Azure Avec l'Architectures Techniques dans les choix d'implémentation au sein du SI, la prestation consistera à contribuer à/au(x) : - Préconisations en termes d'architecture big data - Mise en place des moyens techniques en conformité avec les lignes directrices fixées par les métiers, les normes et standard SG - La garantie de la qualité et de la maintenance technique du produit - Bon fonctionnement de la stratégie de test du produit - La veille technique

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performances Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance. (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance. (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance. (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Data engineer Azure Devops ( spark scala)anglais ( à Ecully 69) Maîtrise des langages et outils tels que Spark, Scala, Java, ainsi que les environnements Azure (Azure Data Explorer, Azure DevOps). Bonnes connaissances des services Azure pour le traitement de données batch et streaming (Data Factory, Synapse), ainsi que des requêtes KQL et de leur optimisation. KQL est un plus. Une base solide en SQL est un pré-requis. Une expérience dans les déploiements automatisés avec des outils comme ARM et un environnement data de production industrialisé. La maîtrise des concepts DevOps (Git, Maven) est un plus. Des expériences de travail dans un contexte de gestion de projets internationaux et de méthodologies agiles. Anglais courant compte tenu du périmètre du poste. Niveau B2 requis. 5 ans d'expériences minimum Contexte de la mission La mission s’opère en 3 jours sur site et 2 jours en télétravail. Le site est situé à Ecully. 400 e par jour