Trouvez votre prochaine offre d’emploi ou de mission freelance Data cleaning

Nous recherchons un Expert Big Data (Spark) pour rejoindre notre équipe et apporter son expertise dans le traitement et la manipulation de données massives. En tant que tel, vous aurez pour missions principales : Apporter votre expertise en Big Data, en particulier sur Spark D éfinir et évaluer des solutions techniques permettant de traiter de grands volumes de données, tout en garantissant des pipelines sécurisés et clairs. Intervenir auprès des architectes et urbanistes pour la préparation des dossiers techniques. Mettre en place et maintenir des solutions de stockage de données (SQL, NoSQL, etc.), en veillant à leur efficacité. Proposer des optimisations des requêtes SQL, PL/SQL pour garantir les meilleures performances applicatives. Piloter et encadrer les équipes à chaque étape du processus de traitement des données. Partager les meilleures pratiques avec les équipes et assurer un accompagnement technique transverse. Big Data : Spark, Hive, Indexima. Stockage : Oracle, CEPH S3 (parquet). Langages : Java, Python, PL/SQL, Shell. CI/CD : Ansible, Terraform, Jenkins, GIT. ETL : Informatica. Dataviz : Tableau Server. Ordonnanceur : Control-M.

Nous recherchons pour notre client un manager Data pour rejoindre notre groupe basé a Colombes Responsabilités : Alignement stratégique avec les objectifs de l'entreprise : Contribuer à la définition et à la mise en œuvre de la stratégie de la Business Unit DATA en accord avec les objectifs globaux de l'entreprise. Assurer la cohérence des projets DATA avec les priorités stratégiques de l'entreprise et les besoins des clients. Suivre les tendances du marché et les évolutions technologiques pour adapter la stratégie DATA en conséquence. Préparer et présenter des rapports réguliers à la direction, mettant en évidence les progrès réalisés et les axes d'amélioration. Management des collaborateurs : Superviser et encadrer l'équipe DATA, en veillant à leur développement professionnel et à leur motivation. Organiser des réunions régulières pour suivre l'avancement des projets et résoudre les éventuels problèmes. Définir les objectifs individuels et collectifs de l'équipe, et évaluer les performances. Promouvoir un environnement de travail collaboratif et stimulant, favorisant l'innovation et l'excellence. Développement business : Identifier et exploiter de nouvelles opportunités commerciales pour élargir le portefeuille clients de la Business Unit DATA. Développer et maintenir des relations solides avec les clients existants, en assurant leur satisfaction et en répondant à leurs besoins. Participer activement à la prospection de nouveaux marchés et à la préparation des propositions commerciales. Collaborer avec les autres Business Units et départements pour développer des offres de services innovantes et compétitives ainsi d’assurer une cohérence globale.

Notre client recherche un Développeur Big Data senior pour l’accompagner dans l'organisation et la mise en œuvre d'une solution Cloudera au sein de son dispositif technique. L'équipe est actuellement composée de 3 personnes pour le POC, qui devrait être terminé fin septembre, mais il y a des retards techniques : La possibilité de faire des mises à jour par rapport à Teradata Hadoop est plus permissif Trouver une solution de requêtage facile pour les statisticiens Descriptif de la mission : Rattaché au responsable Fabrication Décisionnel & Big Data, vous aurez pour principales missions : Concevoir techniquement les traitements dans le respect de l'architecture mise en place des exigences du client. Codifier les traitements des applications et rédiger la documentation technique dans le respect des normes de développement et des processus établis à notre client. Prendre en charge les maintenances correctives (modification d'une application existante pour corriger des erreurs techniques ou fonctionnelles) Réaliser les tests unitaires pour chaque composant : nouvelle fonctionnalité et non-régression, dans le cas de la maintenance ; Réaliser les tests d'assemblage des composants décrivant une fonction applicative : nouvelle fonctionnalité et non-régression, dans le cas de la maintenance ; premier niveau de vérification des performances et de l'exploitabilité. Transformation du SI BI : Passage de Datastage / Cognos à Hadoop / Power BI.

En partenariat avec un client financier établi de GloComms, nous recherchons un responsable senior de la plateforme de données pour aider à diriger le développement et la gestion de la plateforme de données existante. Role: Responsable de Plateforme Data Lieu: Paris Hybride Teletravail Debut: Novembre/Decembre Role: Superviser la création et l'entretien d'une infrastructure et d'une plateforme de données sûres, évolutives et performantes. Travailler avec les équipes de Data Science, Data Engineering et Quant pour s'assurer que les pipelines de données et les procédures s'intègrent de manière transparente. Superviser le développement de services et de parties communes utilisés par les équipes Data et Quant. Réduire le temps de mise en production en rationalisant les opérations de développement à l'aide de l'automatisation et de modèles réutilisables. Superviser un groupe multidisciplinaire d'ingénieurs en logiciels, en fiabilité des sites et en DevOps. Établir, mettre en pratique et garder un œil sur les KPI qui sont liés à la valeur de l'entreprise et à l'expérience de l'utilisateur.

Dans le cadre d’une transformation technologique majeure, nous recherchons un Consultant Data Engineer spécialisé en PySpark et Power BI, avec une solide expérience en décommissionnement de SAS, pour accompagner notre client dans une mission stratégique. Votre rôle principal sera de migrer les processus existants de SAS vers PySpark sur une infrastructure Azure , tout en assurant une documentation claire et exhaustive pour une reprise par une équipe novice. Power BI sera utilisé pour la visualisation des données . Migration des programmes SAS : Réécriture et optimisation en PySpark sur Azure. Documentation et qualité du code : Rédaction détaillée des étapes et respect des standards de codage. Formation des équipes : Accompagnement d’une équipe novice en PySpark pour une prise en main autonome. Mise en œuvre de dashboards Power BI : Création de tableaux de bord interactifs et adaptés aux besoins métiers. Gestion des délais : Respect de l’échéance stratégique pour le décommissionnement de SAS d’ici fin 2024.

Objectif Cette étude vise à : Identifier les solutions de gestion de données les plus appropriées qu’elles soient on premise ou sur le cloud souverain, en prenant en compte notre volonté de développer à la fois des cas d’usage data et IA, pour des données sensibles qui ne peuvent pas bénéficier de notre plateforme data existante (Azure) Rationaliser, dans la mesure du possible, les plateformes data existantes Définir le périmètre fonctionnel optimal de chacune de nos briques applicatives Nos capacités de traitement "data" sont actuellement réparties sur deux plateformes. Une plateforme unique pourrait-elle améliorer la performance/les délais de réalisations des projets ? Qu'elles seraient les gains associés à une solution unifiées de gestion de la donnée ? Est-ce que les opérateurs de cloud souverains proposent des solutions suffisamment matures pour hébergés de manière efficace une plateforme data/IA (GPU, scalabilité …) ?

En tant que Lead Développeur, vous êtes garant des solutions techniques implémentées et de la qualité des applications. Vos principales missions incluent : Réalisation des Etudes de Cadrage : Effectuer des conceptions techniques détaillées ; Collaborer avec le Lead Tech afin de garder la cohérence transverse des produits ; Estimer les charges et les délais pour les développements en fonction des besoins émanant des clients, de la roadmap produits et sécurité. Collaboration transversale : Travailler sur des projets transverses de rationalisation (monitoring, supervision, purge, sécurité, etc.) et de transformation (move2cloud, stratégie éditeur / intégrateur) ; Intégrer les produits dans le système d’information (architecture orientée micro-service, interopérabilité, etc.) ; Collaborer avec le Product Owner pour optimiser, stabiliser, ajouter des fonctionnalités, effectuer une veille technique et gérer l’obsolescence des composants. Gestion de l’équipe de développement : Répartir les tâches au sein de l’équipe ; Superviser la charge de travail et les délais ; Accompagner l’équipe dans leurs développements. Développement des Solutions : Participer activement au développement de solutions techniques ; Relire le code et valider les merge requests ; Gérer le versionning, les tests unitaires et les tests d’intégration ; Assurer la performance du patrimoine applicatif de la ligne produit ; Prendre en charge le support niveau 3 en appui aux équipes de RUN ; Implémenter les solutions dans le respect des normes et standards qualité / sécurité édictés par le Lead Tech (tests unitaires, tests d’intégration, …) ; Respecter le process de build et de déploiement au travers de la bonne utilisation des outils de la CICD. Gestion du patrimoine documentaire Assister à la rédaction des documents liés à l’exploitation de la solution ; Rédiger et co valider les documents garantissant le partage de connaissance des applications. Respect des bonnes pratiques et engagements : Adhérer aux bonnes pratiques définies dans le framework Software Développement Life Cycle de l'entreprise ; Garantir le respect des engagements. En tant que Lead Développeur, vous jouez un rôle crucial dans la réussite de notre ligne de produit et l’engagement est attendu pour assurer la qualité et la performance des solutions techniques livrées.

Expertise permettant de couvrir les besoins en expertises d’Ingénierie Cloud sur les sujets et produits liés aux données : administration bases de données, expertise data, architecture cloud data, etc. Automatisation et réalisation de modules Terraform pour le provisionnement Expertise et accompagnement projet (DSM ou DSI) sur un périmètre de PaaS comme : poc, architecture, aide à l’utilisation, paramétrage spécifique, optimisation, etc. Proposer une vision bout-en-bout et end-user sur un périmètre PaaS Définir et mettre en œuvre des meilleures pratiques associées à l’optimisation de la consommation des services PaaS – FinOps et GreenIT. Assurer une veille technologique constante : étude d’opportunité, analyse des nouveaux modèles d'utilisation pour faire évoluer les services existants, proposer de nouveaux produits et fonctionnalités. Assurer le BUILD et le RUN d’un périmètre PaaS.

En tant que Senior Data Engineer Azure, vous jouerez un rôle clé dans la conception, l'implémentation et l'optimisation des solutions de données cloud. Vous travaillerez en étroite collaboration avec les équipes de développement, les data scientists et les analystes pour construire et maintenir une architecture de données robuste et scalable. Concevoir et développer des pipelines de données sur la plateforme Azure en utilisant des technologies telles qu’Azure Data Factory, Databricks, Synapse, etc. Garantir la qualité, la sécurité et la gouvernance des données. Optimiser les performances des bases de données et des entrepôts de données. Collaborer avec les équipes métiers pour comprendre les besoins en données et concevoir des solutions adaptées. Assurer la maintenance, la supervision et le monitoring des pipelines et des flux de données. Réaliser des audits techniques et des revues de code pour garantir les bonnes pratiques en matière de développement de données. Assurer une veille technologique et recommander des évolutions architecturales et technologiques.

Chez K-LAGAN , nous sommes à la recherche d'un-e Architect des solutions, data GCP, au sein de notre équipe des experts DATA, chez un de nos clients - secteur assurances, 📍 Niort (Nouvelle-Aquitaine, hybride). 🔥Rejoignez une aventure passionnante au sein du cabinet Pure Player Data & IA du Groupe🔥 Vous intégrerez une super équipe d'experts passionnés, et utiliserez les technologies de pointe. Vous aurez l'opportunité de travailler sur des projets innovants, de collaborer avec des partenaires de renom et d'apporter votre expertise à une entreprise en pleine croissance. 🧑‍💻 Compétences nécessaires : Connaissance et maître du cloud GCP Capacité à construire une feuille de route technique de mise en œuvre de plateforme Data (type Hub/lakehouse) Capacité à construire des plans de migration data cloud Connaissance des architectures hybrides/ multiCloud Bon background engineering. Connaissance CI/CD Avoir, au minimum, 3-5 ans d'expérience en tant qu'architecte BIG DATA (hors stage et/ou alternance).

Descriptif de la prestation Prestation complexe sur une technologie de niche innovante ou en cours de raréfaction. Projet de grande envergure. Présence de certifications liées au contexte de la prestation. Contexte & Objectifs de la prestation Dans le cadre de l'initiative IA Gen, un chantier socle commence autour de l'architecture et la construction d'une plateforme IA Gen, mobilisant des briques à orchestrer autour des LLM du marché, le RAG, l'architecture Cloud, le prompting, la sécurité et la gestion des droits. Nature et étendue de la prestation Prestation de cadrage technique et de pilotage de la mise en oeuvre du socle technique GenAI : - Challenge d'une première version de l'architecture macro réalisée par les équipes Data/Architecture - Organisation d'ateliers d'affinage de la vision et définition du plan d'actions nécessaire pour la réalisation - Animation des ateliers avec les experts Data engineers, Architectes, Data Scientists

Notre client, est un acteur majeur dans le domaine de l'éducation supérieure et de la recherche, avec une forte spécialisation en gestion et en management. Son histoire et sa réputation lui permettent de se distinguer par une approche innovante et tournée vers l'avenir, notamment en matière de transformation numérique et de gestion de la donnée. Dans ce cadre, notre client un Architecte DATA visant à optimiser les infrastructures de gestion et d'analyse des données pour soutenir son évolution technologique et assurer une prise de décision basée sur des données fiables et précises. Directement rattaché à la direction générale, vous intégrerez un data office constitué de deux pôles, digital et métier, représentant une équipe d’une dizaine de personnes.

-Pilotage et mise en œuvre opérationnelle des travaux de fiabilisation des socles Hadoop -Vérification de la bonne application des normes et des standards -Force de de proposition, étude, analyse et mise en œuvre de solutions pour améliorer l’outillage utilisateurs, optimiser les performances et la résilience du Duster -Etude d’impact et réalisation opérationnelle des montées de version Cloudera et outils Hadoop, -Prise en compte de l’écosystème : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheurs/Grafana Expertise Hadoop de niveau 3 : -Configuration du Cluster Cloudera en fonction des besoins identifiés -Optimisation des traitements Support : -Accompagnement des équipes de développement -Assistance auprès des équipes : optimisation des traitements, Prise en main de l’outillage mis à disposition, chargement des données -Transmission de savoir-faire via la rédaction de documentations et transfert de connaissances Savoir être : -Coordination et pilotage des chantiers en collaboration avec les différents services DSI -Autonomie pour la prise en charge des sujets et travail en équipe -Capacité à s’adopter en fonction des différents interlocuteurs

Dans le cadre de la mission votre objectifs sera de réaliser un déploiement massif de monitoring sur un périmètre applicatif et technique Organiser la migration Réaliser la migration Etre moteur pour embarquer les équipes sur cette nouvelle plateforme Troubleshooting et Apport de solution en cas d'incident Organiser la migration Réaliser la migration Etre moteur pour embarquer les équipes sur cette nouvelle plateforme Troubleshooting et Apport de solution en cas d'incident Organiser la migration Réaliser la migration Etre moteur pour embarquer les équipes sur cette nouvelle plateforme Troubleshooting et Apport de solution en cas d'incident

Résumé Administrateur technique de Collibra Contexte Assurer l'administration technique de Collibra Détails 1 Administrateur Technique Collibra : - Maintenance technique - Scripts maison pour copier les métadonnées de Mega vers Collibra - Mise en place d’API d’Ares et revue d’habilitation - Création des workflows RGDP - - ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------- ---------

Au sein de l'équipe Data As a Service Customer, vous dirigerez des évaluations/études dans le segment d'activité HPS (High Performance Solutions) du client et participerez, après l'évaluation, à la phase d'exécution du projet. Missions & livrables : - Organiser l'étude et recueillir les exigences de toutes les par?es prenantes - Comprendre les ambitions, les enjeux et les objectifs de l'entreprise - Organiser et animer des ateliers avec le métier - Collecter tous les éléments nécessaires pour l'étude - Documenter l'architecture fonctionnelle - Faire de la modélisation de données / concevoir les couches métier (couche Silver) - Organiser les contributeurs Data As a Service (Architecte Technique, Ingénieurs Data & BI) - Documenter la valeur de la solution - Préparer le budget et le planning de la phase de construction / exploitation - Formaliser les propositions finales pour le lancement du projet ("Go to project") Processus : 2 entretiens Go - No Go