Trouvez votre prochaine offre d’emploi ou de mission freelance Azure Data Factory

Bonjour à tous, Mon client recherche un data engineer pour un poste dans un environnement full Azure. Les missions principales : Au sein de la DSI, vous travaillerez essentiellement à la conception et l'optimisation des pipelines sur Azure Data Factory. Une connaissance complète de Fabric est attendue (Azure Data Factory et synapse pour le volume de données). La mission est une mission classique de Data engineering avec une certaine dimension de conception de dashboards sur PowerBI. Le recueil de besoin de certaines équipes métiers peut entrer dans le day-to-day job. La mission demande l'implémentation des processus ETL/ELT robustes et performants, la modélisation de donnée, la mise en place d'une gouvernance et une documentation des Best Practices

Descriptif de la mission Notre Client recherche pour cette mission un data Engineer Le Client évolue dans un environnement technique Microsoft cloud Azure avec une architecture orientée Big Data avec un Data Lake (Sparks) alimentant des cubes tabulaires. Power BI est l’outil de reporting du groupe. Les tâches au quotidien seront : - Réaliser les projets BI de bout en bout sous la supervision du Tech lead - Assurer les projets pour l'ensemble de l'activité Client, Finance, Ticketing, Salesforce etc... - Assurer du support utilisateur - Documenter ses réalisations et procédures support Les compétences requises pour cette mission sont : - Justifier d'une expérience d'au moins 4 ans dans ce domaine - Disposer d'une bonne connaissance de la Stack AZURE - Azure Data FACTORY - AZure Databricks - Azure Analysis Services et modélisation de cubes (Tabulaires principalement) - Justifier d'une bonne connaissance du langage SQL - Avoir une excellente connaissance de Python et de PySpark - Avoir de bonnes connaissances de POWER BI et de DAX - Justifier d'une expérience de méthodologie DevOps / CI/CD

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performances Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Nous recherchons un Développeur Fullstack orienté Frontend dans le cadre d'un renforcement de notre département IT. Ce poste de Développeur Fullstack Java/Spring Boot & VueJS est ouvert dans le cadre de notre expansion et de l'intégration de nouveaux projets à fort impact stratégique. Vous travaillerez au sein d'une équipe agile de taille humaine, en interaction constante avec les experts backend et les designers UX/UI, pour améliorer nos applications et développer de nouvelles fonctionnalités. ## Missions Développer et maintenir les interfaces utilisateur en utilisant VueJS et PrimeVue. Concevoir et optimiser l'architecture backend avec Java, Spring Boot et le JPA pour assurer la robustesse et la scalabilité des applications. Assurer l'intégrité et la performance des données à l'aide de PostgreSQL. Maintenir la cohérence des applications en intégrant les messages via RabbitMQ. Participer aux processus de déploiement continu et d'intégration continue avec GitLab. Proposer des améliorations continues en vous basant sur une veille technologique proactive. ## Stack technique ### À maîtriser Backend : Java (Spring Boot, Spring AOP, Java Persistence API) Frontend : VueJS 3.0, PrimeVue, Typescript CI/CD : Gitlab Base de données : PostgreSQL Bus de messagerie : RabbitMQ ### Environnement technique global Technologies Web : HTML5, CSS3, Javascript ECMA6+ Outils de tests : Jest, Vitest, JUnit Architectures microservices et conteneurisation : Docker, Kubernetes Librairies cartographiques : MapLibre Cloud : Azure, Terraform, Ansible Outils Data : PowerBI, Azure Data Factory

Ingénieur Azure Analytics Services Lyon Télétravail autorisé (max de 2 jours / semaine) Détails des compétences : - Cloud : Azure (et AWS) - Database : PostgreSQL, MongoDB, (CosmosDB et DynamoDB) - PaaS Data : Azure Data Factory et Azure Synpase - Infra As Code : terraform , shell ou python Activités : - Automatisation et réalisation de modules Terraform pour le provisionnement - Expertise et accompagnement projet sur un périmètre de PaaS comme : poc, architecture, aide à l’utilisation, paramétrage spécifique, optimisation, etc. - Proposer une vision bout-en-bout et end-user sur un périmètre PaaS - Définir et mettre en œuvre des meilleures pratiques associées à l’optimisation de la consommation des services PaaS – FinOps et GreenIT. - Assurer une veille technologique constante : étude d’opportunité, analyse des nouveaux modèles d'utilisation pour faire évoluer les services existants, proposer de nouveaux produits et fonctionnalités. - Assurer le BUILD et le RUN d’un périmètre PaaS Détails des compétences : - Cloud : Azure (et AWS) - Database : PostgreSQL, MongoDB, (CosmosDB et DynamoDB) - PaaS Data : Azure Data Factory et Azure Synpase - Infra As Code : terraform , shell ou python Télétravail autorisé (max de 2 jours / semaine)

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance. (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Votre mission : Vous êtes capable de conseiller et designer une infra Datalakehouse : Compétences principales : A déjà conçu des plateformes Data Idéalement des expériences OnPrem et Cloud (Azure Data Factory, Azure Fabrik) Bonne maitrise des outils ETL également (Talend, Alteryx) Une base IA serait un plus (mission relativement courte (inférieure à 2 mois). Le besoin ne sera peut être pas à temps plein. Une fois la mission terminée, embauche en CDI possible si vous le souhaitez. Localisation : La défense Télétravail partiel possible TJM : Jusqu'à 650 euros

Missions Principales - en tant que Senior Data Engineer Snowflake , vous jouerez un rôle clé dans : ✅ La conception, la construction et la maintenance d’un Data Warehouse (DWH) et de DataMarts à partir de données financières. ✅ L’optimisation et le développement de requêtes SQL complexes et de procédures stockées dans Snowflake . ✅ L’exploitation des données SAP , en comprenant ses structures de tables et en assurant un mapping précis et performant. ✅ L’orchestration des pipelines de données à l’aide d’ Azure Data Factory . ✅ La mise en place de CI/CD avec Azure DevOps en collaboration avec les équipes DevOps. ✅ Le contrôle et l’amélioration continue de la qualité et de l’intégrité des données tout au long du processus ELT .

Description: Mission d'Expertise Azure Analytics Services Activités : - Automatisation et réalisation de modules Terraform pour le provisionnement - Expertise et accompagnement projet sur un périmètre de PaaS comme : poc, architecture, aide à l?utilisation, paramétrage spécifique, optimisation, etc. - Proposer une vision bout-en-bout et end-user sur un périmètre PaaS - Définir et mettre en ?uvre des meilleures pratiques associées à l?optimisation de la consommation des services PaaS ? FinOps et GreenIT. - Assurer une veille technologique constante : étude d?opportunité, analyse des nouveaux modèles d'utilisation pour faire évoluer les services existants, proposer de nouveaux produits et fonctionnali tés. - Assurer le BUILD et le RUN d?un périmètre PaaS Détails des compétences : - Cloud : Azure (et AWS) - Database : PostgreSQL, MongoDB, (CosmosDB et DynamoDB) - PaaS Data : Azure Data Factory et Azure Synpase - Infra As Code : terraform, shell ou python Télétravail autorisé (max de 2 jours / semaine) Skill:MS Azure Cloud Services,MS Azure CycleCloud,AWS Knowledge: Cloud Essentials,PostgreSQL,Python

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance. (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.

Smarteo recherche pour l'un de ses clients, Un consultant Azure Analytics Services sur Lyon avec 2 jours en TT Description: Mission d'Expertise Azure Analytics Services Activités : - Automatisation et réalisation de modules Terraform pour le provisionnement - Expertise et accompagnement projet sur un périmètre de PaaS comme : poc, architecture, aide à l'utilisation, paramétrage spécifique, optimisation, etc. - Proposer une vision bout-en-bout et end-user sur un périmètre PaaS - Définir et mettre en oeuvre des meilleures pratiques associées à l'optimisation de la consommation des services PaaS FinOps et GreenIT. - Assurer une veille technologique constante : étude d'opportunité, analyse des nouveaux modèles d'utilisation pour faire évoluer les services existants, proposer de nouveaux produits et fonctionnalités. - Assurer le BUILD et le RUN d'un périmètre PaaS Détails des compétences : - Cloud : Azure (et AWS) - Database : PostgreSQL, MongoDB, (CosmosDB et DynamoDB) - PaaS Data : Azure Data Factory et Azure Synpase - Infra As Code : terraform, shell ou python Télétravail autorisé (max de 2 jours / semaine) Skill:MS Azure Cloud Services,MS Azure CycleCloud,AWS Knowledge: Cloud Essentials,PostgreSQL,Python Si vous etes intéressé et disponible merci de me faire parvenir votre tjm ainsi que votre CV à jours en format word.

Bonjour, Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks. La mission est constituée à 50% de Scrum / agilité et à 50% d'expertise technique. Il faut à la fois maitriser absolument la méthodologie agile et une première expérience en tant que Dev Lead. Ci-après les tâches à maitriser et à réaliser : Gestion de l’équipe de développement et suivi opérationnel Le Dev Lead Data Engineer est plus orienté gestion d’équipe et suivi du delivery . Il assure que les projets avancent et que les objectifs sont atteints. 🎯 Principales responsabilités : ✅ Superviser le travail des Data Engineers et assurer leur productivité ✅ Organiser les cérémonies Agile (Daily, Sprint Planning, Retro, Review) ✅ Prioriser les tâches en lien avec le Product Owner ou les Business Units ✅ Assurer le suivi des deadlines et de la vélocité de l’équipe ✅ Identifier les risques et blocages techniques ✅ Collaborer avec le Tech Lead pour aligner les objectifs techniques et business Ci-après les tâches à maitriser côté technique : 1️⃣ Analyse et Conception Étudier les besoins métiers et concevoir l’architecture des pipelines de données en intégrant des modèles adaptés aux cas d’usage. (Tech Lead) Définir la stratégie technique, valider les choix d’architecture et assurer leur cohérence avec les exigences métier et techniques. 2️⃣ Développement des Pipelines Développer et optimiser des pipelines ETL/ELT avec PySpark , intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance. (Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors. 3️⃣ Gestion des Environnements Cloud Configurer et gérer les clusters Databricks , orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake . (Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances. 4️⃣ Optimisation et Performance Améliorer l’exécution des jobs avec Delta Lake , optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring. (Tech Lead) Définir et promouvoir les meilleures pratiques d’optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.