Trouvez votre prochaine offre d’emploi ou de mission freelance Big Data

Nous recherchons pour le compte d'un de nos clients dans le secteur des médias un Ingénieur Data freelance pour une durée de 12 mois sur la base d'un projet. Rôle : Data Ingénieur Lieu de travail : Paris Durée du contrat : 12 mois Travail hybride Date de début : Novembre/Décembre Principales responsabilités : Construire et améliorer les produits de données pour soutenir une culture axée sur les données et des expériences utilisateur personnalisées. Travailler au sein de l'équipe d'ingénierie analytique pour : Collecter des données brutes à partir de systèmes dorsaux, d'interactions avec les utilisateurs et d'autres sources. Transformer les données en ensembles de données et métriques de haute qualité et bien définis. Fournir un accès aux données via des tableaux de bord en libre-service, des API et d'autres plateformes. Collaborer avec des analystes, des développeurs et des parties prenantes au sein de différentes équipes (produit, marketing, ventes, finance, juridique, etc.). Assurer la fiabilité, l'exactitude et l'accessibilité des systèmes de données. Environnement Technique : Principale pile technologique : Google Cloud Platform, BigQuery, Scala, Airflow, Google Dataflow, dbt, Tableau, Mixpanel, Terraform. Si le rôle vous intéresse, veuillez postuler directement!

Participer à des projets de data engineering basés sur un framework méthodologique Développer, industrialiser et maintenir des pipelines de données (principalement ETL et ML) Effectuer de l’exploration de données et du prototypage rapide Mettre en application les meilleures pratiques : versioning, tests automatisés, CI/CD Participer activement à l’automatisation des infrastructures basées sur des services de Cloud Computing Implémenter des architectures de type Lakehouse pour casser les silos Déployer des algorithmes de machine learning at scale et sur des flux de streaming Collaborer avec l’ensemble des équipes depuis les spécifications fonctionnelles jusqu’aux validations métiers des solutions implémentées Contribuer à la mise en place de méthodologies Agile de type Scrum

Zsoft Consulting est une société de conseil, spécialisée dans les métiers d'ingénierie de développement logiciel. Nous travaillons principalement en étroite collaboration avec des grands comptes et également avec des PME. Depuis 2015, nous continuons à créer un environnement propice à l’innovation et à l’excellence. Dans le cadre de ce développement nous recherchons un(e) Consultant(e) Data Engineer - ETL. Contexte Projets impliquants des modifications des calculs des indicateurs principaux de notre client et la reprise d'historique sur des volumes conséquents. Nous souhaitons intégrer les données actuellement traitées dans notre solution BI existante (Informatica, SQL Server) au sein de notre nouveau socle cloud GCP (DBT, BigQuery), afin de bénéficier de sa performance pour retraiter l'historique et générer des simulations.

Collecter, traiter, et analyser des données issues de diverses sources, Concevoir, développer soit des tableaux de bord et/ou rapports existants soit des nouveaux de façon à ce qu'ils soient clairs et intuitifs (essentiellement sous PowerBi et parfois Looker Studio), Collaborer avec les équipes métiers pour comprendre leurs besoins et les traduire en solutions analytiques, Identifier des anomalies et opportunités dans les données pour proposer des solutions et recommandations concrètes, Garantir la qualité, la fiabilité et la sécurité des données utilisées.

En tant que Data Steward pour le domaine, vous dirigerez les initiatives de modélisation des données et d'amélioration de la qualité, en travaillant en étroite collaboration avec les équipes métiers, produit et techniques pour garantir une gouvernance des données appropriée et une conformité aux normes. Qualité des données & Modélisation : Piloter les initiatives de modélisation des données en suivant les exigences internes. Garantir l'utilisation sémantique appropriée et la cardinalité dans les modèles de données. Valider les structures de données avec l'équipe d'architecture. Maintenir les standards de qualité des données dans le domaine concerné. Animation des parties prenantes : Coordonner avec les Chefs de Projet (propriétaires des données). Faciliter les discussions entre les équipes métiers et techniques. Guider les équipes techniques dans l'amélioration des structures API/événements. Travailler en étroite collaboration avec les équipes produit pour intégrer les sujets de données dans la feuille de route. Collaborer avec l'équipe d'architecture pour la validation des modèles. Compréhension des processus métier : Analyser les processus métier existants. Proposer des recommandations initiales pour l'architecture des données. Garantir l'alignement entre les besoins métiers et les structures de données. Documenter les flux de données et les dépendances. Support à la mise en œuvre technique (20%) : Guider l’exposition des données selon les modèles validés. Supporter la restructuration des sujets Kafka et des API de points de terminaison. Superviser la mise en œuvre de la qualité des données. Valider les solutions techniques.

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

💼 Data Engineer Passionné 🎯 pour un beau projet technique au sein d'une entreprise innovante. 🌟 Contexte : Rejoignez une entreprise innovante où vous serez au cœur de la gestion et optimisation des pipelines de données 📊, en garantissant leur qualité et leur intégrité. Vous travaillerez dans un environnement scientifique stimulant, avec un accent particulier sur les biotechnologies et des projets techniques de grande envergure. 🔎 Qualifications & Expérience requises : * 🎓 Master en informatique, data engineering ou équivalent. * 🏗️ Expérience préalable : ○ Minimum 3 ans en Data Engineering. ○ Solides compétences en SQL, ETL, et gestion de données à grande échelle. * 🧬 Bonus : Expertise dans les environnements scientifiques ou biotechnologiques appréciée. 🛠️ Compétences techniques : * Gestion des données : ○ ❄️ Snowflake (expertise dans la gestion de données et la création de pipelines). ○ 🔄 SSIS (Intégration des données et gestion des flux ETL). ○ 🗄️ SQL (requêtes complexes, optimisation des performances). * Pipeline & Data Engineering : ○ Conception, gestion et optimisation de pipelines de données, en garantissant leur qualité et leur intégrité. * Cloud & DevOps : ○ ☁️ Expérience avec AWS (environnement full-cloud pour la gestion des données). ○ 🔗 Familiarité avec les microservices et API RESTful. 💡 Profil recherché : * 🗣️ Langues : Niveau professionnel en anglais (indispensable pour réunions et reportings). * 🧠 Compétences clés : ○ Forte capacité à résoudre des problèmes techniques complexes. ○ Esprit analytique et goût pour les challenges. ○ Capacité à collaborer efficacement avec des équipes multidisciplinaires. 🚀 Conditions & avantages : * Contrat : CDI avec salaire compétitif selon expérience. * 🧑‍🔬 Environnement stimulant : Opportunité de travailler sur des projets innovants dans des domaines scientifiques. 💡 Pourquoi les rejoindre ? Intégrez une structure où la technologie, l'innovation et la collaboration sont au cœur des missions. Vous aurez l'opportunité de travailler sur des projets à forte valeur ajoutée dans un environnement flexible et moderne. 👉 Intéressé ? Envoyez-moi votre CV et vos disponibilités pour un échange rapide ! 💬

Mission 1 : Garantir la cohérence du SI L'Architecte SI participe à l'élaboration du schéma Directeur. Il définit un cadre de travail applicatif cohérent avec les socles techniques et les attentes des métiers. Il identifie, explique et partage les principes d'architectures dans l'entreprise. Mission 2 : Réaliser les études préalables L'Architecte SI doit comprendre les besoins d'évolutions métiers. Il assiste les clients internes dans la formalisation de leurs besoins. Il identifie les modules et fonctions impactés par les nouveaux besoins métiers. Il identifie et partage les contraintes d'architecture. Il définit les cibles d'architecture fonctionnelle en cohérence avec le SI existant et cible. Il formalise les scénarios d'architecture retenus dans une note de cadrage V0. Il cadre voire pilote la réalisation POC (Proof of Concept). Il participe aux macros-chiffrages des scenarios. Mission 3 : Définir l'architecture dans le cadre des projets L'Architecte SI définit la note de cadrage détaillée ou le dossier d'architecture applicatif sur la base du cahier des charges. Il encadre et challenge les niveaux de service et exigences métier des applications au travers de la note de cadrage et la conception applicative des produits Il assiste les Chefs de projet, ou les Responsables de Domaine pour l'analyse d'impact des projets. Il assiste, oriente et contribue à la validation la conception des applications. Il identifie et communique les contraintes logicielles au Responsable d'Intégration afin d'assurer la bonne gestion de l'infrastructure technique. Il identifie et facilite l'utilisation des services fonctionnels exposés dans le SI. Il met à jour la cartographie applicative, effectue sa publication et sa diffusion au sein de l'entreprise. Il vérifie que l'ensemble des préconisations d'architecture soient respectés. Mission 4 : Assurer le support opérationnel L'Architecte SI assure le maintien de la cartographie applicative, sa publication et la diffusion au sein de l'entreprise. Il assiste, oriente, valide la conception des applications dont les Responsables d'application ont la charge. Relations transverses : L'ensemble des Directions Métiers L'ensemble de la DSI L'ensemble de la DPM L'équipe BI

Mission : Data Engineer Teradata Localisation : Lille, France Référence : RFP-192024-1 Le Data Engineer aura pour rôle de : Créer des datasets enrichis avec des KPI pour alimenter des tableaux de bord front-end ou des dashboards destinés aux Business Units. Assurer le run des produits data sur les périmètres "connaissance client" et "performance commerciale". Collaborer avec les équipes front-end pour garantir l'intégrité et la disponibilité des données. Une connaissance de Looker ML est un atout apprécié, mais non obligatoire. Attention : Ce rôle ne correspond pas à un poste de Data Scientist. Élaborer des jeux de données enrichis et optimisés. Mettre en place des pipelines fiables pour assurer l’intégrité des données tout au long de leur cycle de vie. Superviser et assurer le suivi des produits data existants sur les périmètres définis. Identifier et résoudre les éventuels problèmes de performance. Appliquer les meilleures pratiques en modélisation de données et gestion de pipelines. Exploiter les outils et technologies avancées pour répondre efficacement aux besoins des projets. Langages : Python, SQL, NoSQL, Shell Outils : Git, Teradata, GCP (BigQuery, GCS, Dataflow) Concepts : Modélisation de données, pipelines de traitement des données Familiarité avec Looker ML Expérience en environnement Agile Expérience significative en tant que Data Engineer, avec expertise avancée en Python, Teradata, et GCP. Maîtrise des pipelines de données et des pratiques de modélisation avancée. Capacité à collaborer efficacement avec des équipes multidisciplinaires et à résoudre des problématiques complexes. Proactif et autonome, avec une forte orientation vers la qualité et les résultats. Début de mission : 5 décembre 2024 Durée initiale : 3 mois, avec possibilité de prolongation (durée totale estimée : plus de 6 mois). Localisation : Lille, France

Contexte • Mission : Support transverse pour améliorer la performance opérationnelle des métiers via la valorisation des données. • Objectifs : Maintenir et développer des tableaux de bord Power BI pour des besoins métiers variés, améliorer la qualité des données et sensibiliser les métiers à leur importance. • Livrables attendus : Tableaux de bord Power BI, alertes qualités ciblées, vues / datasets spécifiés pour développement par le Data Engineer, et plans de test pour recette, supports et comptes-rendus des réunions avec les métiers, reporting projet, documentation des tableaux de bord, des règles qualités, des règles métiers, des erreurs rencontrées en production. • Lieu et télétravail : Montpellier, 3 jours sur site / 2 jours de télétravail • Début : Entretiens à partir du 03/01/2025.

Nous recherchons un(e) Ingénieur(e) Data/Expert(e) Apache Flink passionné(e) par le traitement de données en flux et par lots. Vous serez chargé(e) de contribuer au développement, à l’optimisation et à la maintenance d’applications Apache Flink, tout en collaborant étroitement avec des équipes multidisciplinaires. Ce poste vous permettra de travailler sur des projets stratégiques liés au traitement des données, en garantissant des performances élevées, une grande évolutivité et une fiabilité optimale des applications Flink en production. Développer et déployer des applications Apache Flink pour le traitement par lots et en flux. Assurer la maintenance des pipelines Flink en production et optimiser leurs performances. Déployer et configurer un cluster Flink prêt pour la production, optimisé pour l’évolutivité et la tolérance aux pannes. Mettre en place et configurer des outils de surveillance et d’alertes (ex. : Prometheus, Grafana). Identifier et résoudre les problèmes liés aux performances et aux échecs des tâches Flink. Fournir une documentation détaillée (architecture, tuning, troubleshooting, meilleures pratiques). Animer une session de transfert de connaissances avec les équipes internes. Familiarité avec l’écosystème Big Data et les meilleures pratiques d’ingénierie des données. Sens de la collaboration et capacité à transférer des connaissances à une équipe technique. Profil recherché Expertise technique : Maîtrise d’Apache Flink pour le traitement par lots et en flux. Excellentes compétences en programmation : Java ou Scala, et SQL. Bonne connaissance des technologies Big Data : Hadoop et Spark. Expérience confirmée dans l'utilisation des services de données AWS. Expérience professionnelle : Participation à des projets de production avec Apache Flink. Démonstration de la capacité à optimiser des pipelines Flink pour des performances élevées.

🌟 Quel sera ton poste en tant que Directeur Data H/F chez SYD ? 🌟 📍Lieu : Bordeaux, France 👉 Contexte client : Dans le cadre de l'activité de notre client, en tant que Directeur Data H/F, tu auras pour mission de piloter et coordonner la stratégie data au sein de l'entreprise. Tu devras définir et mettre en œuvre les orientations stratégiques en matière de gestion des données, de data science et d'analyse prédictive. Tu auras pour missions de : - Définir la stratégie data de l'entreprise et garantir son déploiement - Piloter les projets data et assurer la qualité des données - Coordonner les équipes internes et externes impliquées dans les projets - Assurer un reporting régulier auprès de la direction et des parties prenantes Si tu es prêt(e) à relever ce défi et à contribuer activement à la réussite de la stratégie data de notre client, n'hésite plus et postule pour devenir un pilier de l'équipe Data chez SYD !

À propos de l'opportunité : Envie de contribuer aux projets data de demain au sein d'une structure à l'avant-garde de l'innovation ? Nous recherchons un Data Engineer Senior spécialisé en Google Cloud Platform (GCP) , passionné par les environnements Cloud et motivé par la création d'architectures de données robustes et scalables. Rejoignez une équipe data dynamique, qui travaille sur des projets divers et stimulants pour accompagner la transformation numérique de ses clients. Missions 🏗️ : 📊 Concevoir et Développer des Pipelines de Données : Concevoir et optimiser des pipelines ETL/ELT dans un environnement GCP, en assurant la performance et la fluidité des flux de données. 🚀 Optimiser les Processus de Collecte et Transformation : Travailler avec les équipes Data Science et Analytics pour automatiser et améliorer l'ingestion, la transformation et le stockage de données, avec des outils comme Dataflow et BigQuery. 🛠️ Mettre en Place des Meilleures Pratiques DevOps : Implémenter des processus de CI/CD et des solutions de monitoring pour garantir des déploiements rapides et fiables. 🕹️ Participer à la Stratégie de Gouvernance et Sécurité : Veiller à la sécurité et à la conformité des données en respectant les standards de sécurité et en participant à la mise en œuvre de pratiques de gouvernance data. 🤝 Collaborer avec les Équipes : Travailler en étroite collaboration avec les équipes produits, data scientists, et analystes pour bien aligner les solutions techniques avec les objectifs business. Environnement Technique 💻 : Cloud : Google Cloud Platform (BigQuery, Dataflow, Pub/Sub, Dataproc) Outils d'Ingénierie de Données : Spark, Apache Beam, Airflow Langages de Programmation : Python, SQL Outils de DevOps : Terraform, Docker, Kubernetes Gouvernance et Sécurité : IAM, gestion des rôles, chiffrement de données Profil Recherché : Expérience : Minimum 4 ans en ingénierie de données avec une spécialisation Cloud, idéalement sur Google Cloud Platform. Compétences Techniques : Maîtrise de GCP (BigQuery, Dataflow), avec de solides compétences en Python et SQL pour le traitement et la transformation de données. Connaissances Avancées en Cloud et Data Engineering : Expérience dans la conception et l'optimisation de pipelines ETL/ELT. Esprit d'Analyse et Résolution de Problèmes : Capacité à identifier des solutions data innovantes et efficaces, en tenant compte des contraintes de temps et des impératifs business. Qualités Personnelles : Proactivité, esprit d'équipe, rigueur et capacité à communiquer efficacement avec des interlocuteurs variés (techniques et non techniques). Pourquoi Rejoindre ? 🌐 Notre environnement est à la fois stimulant et axé sur l'innovation, où chaque membre de l'équipe peut exprimer sa créativité technique et avoir un réel impact sur les projets clients. En rejoignant cette équipe, vous participerez activement à la transformation numérique et bénéficierez d'opportunités de développement professionnel.

Cherry Pick est à la recherche d'un "Data Steward" pour un client dans le secteur du commerce de détail Contexte de la mission Dans le cadre du projet d’intégration de la solution (Workday) choisie par le Domaine Corporate RH et son déploiement pour les 65 pays dans lesquels le groupe est implanté, vous jouerez un rôle essentiel dans la gestion et la protection des données au sein de l'entreprise. Vous travaillerez en étroite collaboration avec les équipes métiers, les équipes informatiques et les autres parties prenantes pour garantir que les données soient précises, disponibles et conformes aux normes internes et réglementaires. Vous serez en charge, sur le domaine de données de notre équipe, d’assurer la complétude et la conformité de la documentation afin qu’elle réponde aux besoins. Objectifs et livrables Missions principales : Connaître et participer (avec le Data Manager et les Data Owner) à la structuration des concepts Business du domaine RH en conformité avec les principes et normes de modélisation de l’entreprise. Garantir une documentation cohérente et claire : remettre en question et valider la documentation fonctionnelle et technique (cohérence, conformité et clarté) Assurer le lien entre les concepts Business et les connaissances techniques S’assurer que la mise à disposition de la donnée sur le Data lake est conforme aux normes de la plateforme (storage zone, schémas, nomenclatures,..) Être le référent auprès des utilisateurs de données : les accompagner sur la localisation et l'utilisation des données en les orientant vers le data catalog. S’assurer que l’usage des données est bien conforme au registre de traitement des données tenu par le délégué à la protection des données Informer les utilisateurs sur la stratégie d’utilisation des données de Decathlon et des pré-requis à suivre pour intégrer ou utiliser la data. Relayer les bonnes pratiques en matière d'architecture et de gouvernance des données auprès des producteurs de données Contribuer et participer activement à la communauté des Data Stewards

Dans le cadre de la transformation, l'équipe Engineering de la Data Factory Team à deux missions: 1- Développer l'entité et l'ensemble des services Data qui seront exposés aux différentes équipes du groupe. 2- Développer des use cases Data sur la Data Platform à l'aide des équipes de la Data Gouvernance. Définition de la prestation L'équipe Data Engineering cherche un expert pour : - Designer l'architecture et développer la solution - Définir et développer les Data Model - Garantir la qualité du code - DevOps (Utilisation/mise en place de chaine CI/CD et support niveau L3 des développements) Les projets se font en méthodologie Agile. Bonne qualités de communication requises